一、考慮的因素（僅代表個(gè)人觀點(diǎn)）

1.首先我們看到他的這篇文章所考慮的不同方面從而做出的不同改進(jìn)，首先考慮到了對(duì)于基因組預(yù)測(cè)的深度學(xué)習(xí)方法的設(shè)計(jì)?，我們?cè)O(shè)計(jì)出來(lái)這個(gè)方法就是為了基因組預(yù)測(cè)而使用，這也是主要目的，所以要抓住事物的主要方面。

2.DNNGP相比于其他方法的預(yù)測(cè)準(zhǔn)確性的比較，提出一個(gè)新方法當(dāng)然要比其它方法在某些方面表現(xiàn)的要更好，才證明有可行性，比其他方法有改進(jìn)才可以。

3.這篇文章的創(chuàng)新之處還有就是輸入數(shù)據(jù)形式的不同，輸入數(shù)據(jù)的形式支持多種格式，在這當(dāng)然也要比較不同輸入形式下的預(yù)測(cè)準(zhǔn)確性。

4.通過(guò)使用DNNGP在所有的數(shù)據(jù)集中捕捉到的非線性關(guān)系，能夠找到數(shù)據(jù)集之間更多的關(guān)系。

5.樣本量的大小對(duì)預(yù)測(cè)方法的影響，通常來(lái)說(shuō)的話也是樣本集越大預(yù)測(cè)方法的準(zhǔn)確性便越高，樣本集的大小通常來(lái)說(shuō)都是衡量預(yù)測(cè)方法性能的一個(gè)重要評(píng)判標(biāo)準(zhǔn)，要注意觀察隨著樣本量的增加是不是準(zhǔn)確率越來(lái)越高。

6.SNP的數(shù)量對(duì)預(yù)測(cè)方法的影響性也是很大的，所以也要考慮不同SNP數(shù)量的影響，結(jié)合樣本量的大小的話是不是可以同時(shí)考慮樣本量的大小和SNP數(shù)量的組合，設(shè)置不同的組合來(lái)分別進(jìn)行驗(yàn)證。

7.假如模型準(zhǔn)確性的提升帶來(lái)的是計(jì)算時(shí)間的提升，也要考慮兩個(gè)因素的共同影響了，如何才能選擇更優(yōu)化的方案，準(zhǔn)確性高的同時(shí)不以犧牲其它指標(biāo)為代價(jià)。

當(dāng)然無(wú)論什么樣的方法可能在某個(gè)特定的數(shù)據(jù)集或者某個(gè)品種的數(shù)據(jù)集下的表現(xiàn)比較好，但是換了其它數(shù)據(jù)集的表現(xiàn)效果就會(huì)因數(shù)據(jù)集而異了，評(píng)判一個(gè)方法的好壞需要在多個(gè)數(shù)據(jù)集上得到驗(yàn)證。

二、不同方法比較?

?DNNGP相比DeePGS的亮點(diǎn)是在于多加了 early stopping ,相比于 DLGWAS 的亮點(diǎn)是多加了Batch normalization 結(jié)構(gòu)，根據(jù)這個(gè)模型是不是可以創(chuàng)造出相對(duì)更復(fù)雜一些的神經(jīng)網(wǎng)絡(luò)來(lái)提升準(zhǔn)確率，降維之后的數(shù)據(jù)是否還能準(zhǔn)確反應(yīng)之前未降維數(shù)據(jù)的線性關(guān)系，考慮進(jìn)環(huán)境和基因組關(guān)系后模型表現(xiàn)又如何呢

三、early stopping 結(jié)構(gòu)詳解

early stopping 是一種常用的深度學(xué)習(xí)regularization技術(shù),可以提前停止神經(jīng)網(wǎng)絡(luò)的訓(xùn)練,以避免過(guò)擬合。它的工作原理是:

1. 劃分出驗(yàn)證集。一般從訓(xùn)練數(shù)據(jù)中劃出一部分作為驗(yàn)證集。

2. 訓(xùn)練時(shí)同時(shí)在訓(xùn)練集和驗(yàn)證集上測(cè)試模型。

3. 記錄驗(yàn)證集loss,如果驗(yàn)證集loss在連續(xù)一定Steps(如50)未提升,則停止訓(xùn)練。

4. 返回最佳模型參數(shù)(validation loss最小時(shí)的參數(shù))。Early stopping的主要作用是:- 避免模型在訓(xùn)練集上過(guò)擬合,從而提高模型在測(cè)試集上的泛化能力。- 提前停止無(wú)效的訓(xùn)練,節(jié)省計(jì)算資源和時(shí)間。- 提取最優(yōu)模型參數(shù),避免模型退化。

使用Early Stopping的主要注意事項(xiàng):- 需要設(shè)置patience參數(shù),即容忍多少個(gè)epoch驗(yàn)證集loss不下降就停止。- 驗(yàn)證集大小需要合適,太小難以反映泛化能力,太大影響模型訓(xùn)練。- 需要保存最佳模型參數(shù)。訓(xùn)練結(jié)束后需要加載最佳參數(shù)。- 可結(jié)合其他正則化方法如L2正則化使用。

總之,Early stopping是深度學(xué)習(xí)中比較常用并有效的一種正則化技術(shù)。

import tensorflow as tf
# 設(shè)置early stopping參數(shù)
PATIENCE = 20 # 容忍20個(gè)epoch視為loss不下降
STOP_DELTA = 0.001 # loss變化小于0.001視為不下降
model = tf.keras.Sequential()
# 構(gòu)建模型...
# 定義early stopping的回調(diào)函數(shù)
early_stopping = tf.keras.callbacks.EarlyStopping(monitor='val_loss', # 監(jiān)控驗(yàn)證集losspatience=PATIENCE,min_delta=STOP_DELTA,restore_best_weights=True # 是否將模型恢復(fù)到best weights
)model.compile(optimizer='adam', loss='sparse_categorical_crossentropy',metrics=['acc'])history = model.fit(train_data, train_labels, validation_data=(val_data, val_labels),epochs=100, callbacks=[early_stopping])# 加載恢復(fù)最優(yōu)模型參數(shù)
model.load_weights(early_stopping.best_weights) # 進(jìn)行評(píng)估和預(yù)測(cè)

1. 設(shè)置Early Stopping的參數(shù):- PATIENCE = 20:連續(xù)20個(gè)epoch驗(yàn)證集loss不下降,就停止訓(xùn)練。- STOP_DELTA = 0.001:這個(gè)是最小變化程度,如果一個(gè)epoch的loss比上個(gè)epoch的loss下降了不到0.001,就認(rèn)為loss沒(méi)有下降。- restore_best_weights = True:在停止訓(xùn)練的時(shí)候,是否將模型的參數(shù)值恢復(fù)到最佳狀態(tài)(即驗(yàn)證集loss最小時(shí)的參數(shù))。連續(xù)訓(xùn)練20次后損失函數(shù)的值沒(méi)有超過(guò)下降閾值時(shí)便停止訓(xùn)練，損失之在訓(xùn)練迭代的時(shí)候它的值不是只會(huì)下降，也有可能會(huì)上升，True就代表返回的值是驗(yàn)證集 loss 最小時(shí)候的值，即代表最佳狀態(tài)。

2. 定義回調(diào)函數(shù)EarlyStopping:- monitor='val_loss':指定要監(jiān)控驗(yàn)證集的loss值。- patience=PATIENCE:設(shè)置之前定義的PATIENCE值。- min_delta=STOP_DELTA:設(shè)置之前定義的最小變化程度。- restore_best_weights=True:恢復(fù)最佳參數(shù)狀況。

3. 模型訓(xùn)練:- 通過(guò)callbacks參數(shù)設(shè)置回調(diào)函數(shù)early_stopping。- 當(dāng)觸發(fā)early stopping條件時(shí),自動(dòng)停止訓(xùn)練。

4. 恢復(fù)最佳參數(shù):- early_stopping.best_weights儲(chǔ)存了最佳參數(shù)值。- 通過(guò)model.load_weights()恢復(fù)這些最佳參數(shù)。這樣就實(shí)現(xiàn)了Early Stopping的整個(gè)流程,避免模型過(guò)擬合,得到最佳參數(shù)。

5.compile函數(shù)含義

在TensorFlow/Keras中,compile是模型配置和優(yōu)化的一個(gè)過(guò)程,主要包括以下作用:1. 指定損失函數(shù):模型將使用何種損失函數(shù)來(lái)評(píng)估當(dāng)前參數(shù)情況下的預(yù)測(cè)誤差。常見的有mse、binary_crossentropy等。2. 指定優(yōu)化器:訓(xùn)練模型時(shí)使用的優(yōu)化算法,如sgd、adam、rmsprop等。優(yōu)化器負(fù)責(zé)基于損失函數(shù)更新模型參數(shù)。3. 指定評(píng)估指標(biāo):用于監(jiān)控模型訓(xùn)練和測(cè)試的指標(biāo),如accuracy、AUC等。這些指標(biāo)不會(huì)用于訓(xùn)練,只是進(jìn)行評(píng)估。4. 將損失函數(shù)和優(yōu)化器關(guān)聯(lián)到模型:將定義的損失函數(shù)和優(yōu)化器“編譯”到模型上,完成模型的配置。5. 編譯計(jì)算圖:針對(duì)特定的后端(TensorFlow、Theano等)編譯模型的計(jì)算圖,為訓(xùn)練和預(yù)測(cè)優(yōu)化計(jì)算圖的結(jié)構(gòu)和執(zhí)行。一個(gè)典型的compile示例如下:

model.compile(optimizer='rmsprop',loss='categorical_crossentropy', metrics=['accuracy']
)

這里指定了優(yōu)化器rmsprop、損失函數(shù)categorical_crossentropy、評(píng)估指標(biāo)accuracy。綜上,compile對(duì)模型進(jìn)行各種設(shè)置,建立模型Optimization的相關(guān)計(jì)算圖,使模型成為一個(gè)可訓(xùn)練的狀態(tài),這是一個(gè)必須的步驟。之后才可以使用model.fit進(jìn)行訓(xùn)練。

Early Stopping 主要適用于以下幾種情況:

1. 模型容易過(guò)擬合的情況。對(duì)于容易在訓(xùn)練數(shù)據(jù)上過(guò)擬合的模型,使用 Early Stopping 可以避免模型過(guò)度復(fù)雜化。

2. 需要找到最佳模型的情況。Early Stopping 可以通過(guò)保留最佳參數(shù),避免模型在迭代后期發(fā)生退化。

3. 計(jì)算資源有限的情況。Early Stopping 可以減少不必要的訓(xùn)練迭代,節(jié)省計(jì)算時(shí)間和資源。

4. 需要調(diào)節(jié)過(guò)擬合和欠擬合的情況。通過(guò)設(shè)定 Early Stopping 的超參數(shù),可以得到適當(dāng)?shù)倪^(guò)擬合程度。

隨著迭代次數(shù)增加,模型的訓(xùn)練 loss 和驗(yàn)證 loss 的變化一般有以下幾種情況:

1. 欠擬合:訓(xùn)練 loss 和驗(yàn)證 loss 都在下降,但驗(yàn)證 loss 下降緩慢或效果不明顯。

2. 過(guò)擬合:訓(xùn)練 loss 持續(xù)下降,但驗(yàn)證 loss 下降緩慢甚至開始上升。

3. 正常:訓(xùn)練 loss 和驗(yàn)證 loss 均較快下降,然后變緩。驗(yàn)證 loss 達(dá)到局部最小值時(shí)停止迭代。

4. 發(fā)散:訓(xùn)練 loss 和驗(yàn)證 loss 均再次上升,模型出現(xiàn)問(wèn)題。Early Stopping 主要用于情況2,避免過(guò)擬合。設(shè)置合適的 Early Stopping 閾值,可以在情況1、2、3中停止訓(xùn)練,取得最佳模型。

四、Batch normalization結(jié)構(gòu)詳解

Batch Normalization (批標(biāo)準(zhǔn)化)是深度學(xué)習(xí)中一個(gè)常用的正則化技術(shù)。它的主要作用是:

1. 加速訓(xùn)練過(guò)程,模型收斂速度更快。

2. 減少對(duì)參數(shù)初始化的依賴。

3. 減少過(guò)擬合,提高泛化能力。它的工作原理是:在網(wǎng)絡(luò)的中間層(通常是卷積層或全連接層)中,對(duì)每個(gè)batch的數(shù)據(jù)進(jìn)行標(biāo)準(zhǔn)化(均值為0,方差為1)。標(biāo)準(zhǔn)化公式如下:x_norm = (x - μ) / (σ+ε)這里 x 是原始數(shù)據(jù),μ和σ分別是該batch數(shù)據(jù)的均值和方差,ε是一個(gè)很小的數(shù)(防止分母為0)。通過(guò)減去batch的均值,然后除以方差,實(shí)現(xiàn)標(biāo)準(zhǔn)化。這樣可以減小內(nèi)部covshift的問(wèn)題。在測(cè)試時(shí),使用整個(gè)訓(xùn)練過(guò)程中均值和方差的移動(dòng)平均值進(jìn)行標(biāo)準(zhǔn)化。

Batch Normalization的使用注意事項(xiàng):- 一般只適用于中間層,不要應(yīng)用在網(wǎng)絡(luò)輸出。- 在ReLU之后、激活函數(shù)之前使用。- 訓(xùn)練和測(cè)試時(shí)的表現(xiàn)可能不太一樣,需要校正。- 可能影響某些優(yōu)化器的效果?？傊?BN通過(guò)減小內(nèi)部covshift,加速訓(xùn)練過(guò)程,對(duì)參數(shù)初始化和過(guò)擬合都有很好的控制效果。是深度學(xué)習(xí)中非常重要的技術(shù)之一。

BN(Batch Normalization)可以減小內(nèi)部covshift(內(nèi)部 covariate shift)。covshift指的是在神經(jīng)網(wǎng)絡(luò)的訓(xùn)練過(guò)程中,每一層輸入數(shù)據(jù)的分布在不斷發(fā)生變化。由于每一層的參數(shù)會(huì)影響后面層的輸入分布,所以會(huì)導(dǎo)致后面層的輸入分布隨著訓(xùn)練的進(jìn)行而發(fā)生變化。這種變化稱為內(nèi)部covshift。內(nèi)部covshift會(huì)對(duì)訓(xùn)練過(guò)程產(chǎn)生負(fù)面影響:- 后層需要不斷適應(yīng)前層分布的變化,造成訓(xùn)練過(guò)程波動(dòng)和收斂緩慢。- 模型對(duì)參數(shù)初始化更加敏感。BN的標(biāo)準(zhǔn)化操作可以減小covshift。因?yàn)槊繉虞斎脒M(jìn)行標(biāo)準(zhǔn)化后,其分布變化會(huì)被很大程度抑制,使各層輸入分布相對(duì)穩(wěn)定。這就加快了模型的收斂速度,降低了對(duì)參數(shù)初始化的依賴。同時(shí)也減少了過(guò)擬合風(fēng)險(xiǎn),起到了正則化的作用?？傊?減小內(nèi)部covshift是BN技術(shù)的核心作用和數(shù)學(xué)基礎(chǔ),這帶來(lái)了訓(xùn)練加速和正則化的雙重收益。

import tensorflow as tf# 創(chuàng)建輸入數(shù)據(jù),shape為[batch_size, height, width, channels]  
x = tf.placeholder(tf.float32, [None, 32, 32, 3])# 創(chuàng)建BN層
beta = tf.Variable(tf.constant(0.0, shape=[3]))  
gamma = tf.Variable(tf.constant(1.0, shape=[3]))
batch_mean, batch_var = tf.nn.moments(x, [0,1,2], keepdims=True)
x_normalized = tf.nn.batch_normalization(x, batch_mean, batch_var, beta, gamma, 0.001)# BN層在訓(xùn)練和測(cè)試中的moving average
ema = tf.train.ExponentialMovingAverage(decay=0.5)
maintain_averages_op = ema.apply([batch_mean, batch_var])with tf.control_dependencies([maintain_averages_op]):training_op = tf.no_op(name='train')mean, variance = ema.average(batch_mean), ema.average(batch_var)  
x_normalized_inference = tf.nn.batch_normalization(x, mean, variance, beta, gamma, 0.001)

BN層實(shí)現(xiàn)的代碼:

1. x 是輸入數(shù)據(jù),shape為[batch_size, height, width, channels]。TensorFlow的placeholder,用來(lái)定義輸入數(shù)據(jù)x的形狀和類型。具體來(lái)看:1. tf.placeholder: 創(chuàng)建一個(gè)占位符tensor,在執(zhí)行時(shí)需要填入實(shí)際的tensor。2. tf.float32: 定義placeholder中的數(shù)據(jù)類型為32位浮點(diǎn)數(shù)(float32)。3. [None, 32, 32, 3]: 定義了placeholder的形狀shape,是一個(gè)4維tensor。4. None: 第一個(gè)維度設(shè)置為None,表示batch大小不定,可以是任意正整數(shù)。5. 32, 32: 第二和第三個(gè)維度固定為32,表示輸入圖像的高度和寬度均為32像素。6. 3: 第四個(gè)維度固定為3,表示輸入中的通道數(shù),這里為RGB 3通道圖像。7. 所以整體的shape表示可以輸入batch大小不定的32x32大小的RGB圖像。這樣定義的placeholder x在運(yùn)行時(shí)需要填入實(shí)際的輸入tensor,比如一個(gè)batch size為128的32x32 RGB圖像,則傳入的tensor應(yīng)該是[128, 32, 32, 3]的形狀。

這里x表示BN層的輸入數(shù)據(jù),它的shape為[batch_size, height, width, channels]:- batch_size:表示一個(gè)batch中樣本的數(shù)量。- height:輸入圖片的高度。- width:輸入圖片的寬度。- channels:輸入圖片的通道數(shù),例如RGB圖像為3通道。舉個(gè)例子,如果輸入是RGB圖像,batch size為128,圖像大小是32x32,那么x的shape就是[128, 32, 32, 3]。其中第一個(gè)維度128表示這個(gè)batch中有128張圖像,后三個(gè)維度表示每張圖像的高、寬和通道數(shù)。BN層就是在這種shape的4D輸入數(shù)據(jù)上進(jìn)行運(yùn)算的,先計(jì)算這個(gè)batch的均值和方差,然后進(jìn)行標(biāo)準(zhǔn)化。不同batch之間進(jìn)行標(biāo)準(zhǔn)化使用了移動(dòng)平均的均值和方差。所以明確輸入x的shape對(duì)理解BN的運(yùn)算對(duì)象非常重要。這也是BN層只能在4D張量上進(jìn)行運(yùn)算的原因,需要確定樣本、空間和特征維度進(jìn)行標(biāo)準(zhǔn)化。

2. beta和gamma是可訓(xùn)練的縮放參數(shù),shape為[channels],分別初始化為0和1。在批標(biāo)準(zhǔn)化(Batch Normalization)層中,beta和gamma是兩個(gè)可訓(xùn)練的參數(shù):- beta: 是一個(gè)偏移量,通常初始化為0。shape與特征矩陣的通道維度相同。- gamma:是一個(gè)縮放參數(shù),通常初始化為1。shape與特征矩陣的通道維度相同。批標(biāo)準(zhǔn)化的計(jì)算公式如下:x_norm = (x - μ) / σ?? # μ和σ為x的均值和方差
out = gamma * x_norm + beta可以看到,beta和gamma分別用來(lái)進(jìn)行偏移和縮放,以便恢復(fù)標(biāo)準(zhǔn)化前的數(shù)據(jù)分布。因此,beta和gamma增加了BN層的表達(dá)能力,模型可以學(xué)習(xí)到適合當(dāng)前任務(wù)的偏移和縮放參數(shù)。在BN層實(shí)現(xiàn)時(shí),我們需要?jiǎng)?chuàng)建beta和gamma變量,并在訓(xùn)練過(guò)程中更新,以優(yōu)化模型的效果。

總結(jié)一下,beta和gamma是BN層中的可學(xué)習(xí)參數(shù),起到偏移和縮放的作用,用來(lái)校正標(biāo)準(zhǔn)化后的結(jié)果,提高模型的適應(yīng)性。它們和特征維度大小相同,并可以通過(guò)反向傳播更新。

3. batch_mean和batch_var計(jì)算輸入x在當(dāng)前batch上的均值和方差。moments函數(shù)計(jì)算KEEP_DIMS為True的mean和variance。

4. x_normalized利用batch_mean和batch_var對(duì)x進(jìn)行標(biāo)準(zhǔn)化。加上beta和gamma進(jìn)行縮放。

5. ema對(duì)象維護(hù)batch_mean和batch_var的移動(dòng)平均值,decay控制平均的速度。

ema對(duì)象在這里是用于維護(hù)batch_mean和batch_var的移動(dòng)平均的。ema代表指數(shù)移動(dòng)平均(Exponential Moving Average),它的計(jì)算公式如下:ema_t = decay * ema_{t-1} + (1 - decay) * value_t這里:- ema_t 是時(shí)刻t的移動(dòng)平均值
- ema_{t-1} 是上一時(shí)刻的移動(dòng)平均值
- value_t 是當(dāng)前時(shí)刻的監(jiān)測(cè)值,這里是batch的mean和variance
- decay 是衰減因子,控制平均的速度decay越大,EMA會(huì)更多地依賴歷史,變化越緩慢。decay越小,EMA對(duì)新的value更敏感。在BN中,訓(xùn)練時(shí)直接使用batch的mean/variance;而測(cè)試時(shí)使用EMA的mean/variance。這是因?yàn)閎atch mean在訓(xùn)練時(shí)可計(jì)算但測(cè)試時(shí)不可用。EMA可以更平滑地跟蹤訓(xùn)練過(guò)程中的mean/variance變化,用來(lái)模擬測(cè)試時(shí)的mean/variance。所以ema對(duì)象在這里的作用就是維護(hù)訓(xùn)練mean/variance的EMA,decay控制EMA的更新速度。這是讓BN層在訓(xùn)練和測(cè)試中獲得一致性的關(guān)鍵。

6. maintain_averages_op通過(guò)ema.apply更新移動(dòng)平均值?？刂埔蕾囮P(guān)系確保此操作執(zhí)行。

7. training_op是一個(gè)空操作,但控制依賴關(guān)系使moving average得以更新。

8. mean和variance取兩個(gè)移動(dòng)平均值,用于推理時(shí)標(biāo)準(zhǔn)化。

?