學(xué)習(xí)參考：

• 動手學(xué)深度學(xué)習(xí)2.0
• Deep-Learning-with-TensorFlow-book
• pytorchlightning

①如有冒犯、請聯(lián)系侵刪。
②已寫完的筆記文章會不定時一直修訂修改(刪、改、增)，以達到集多方教程的精華于一文的目的。
③非常推薦上面（學(xué)習(xí)參考）的前兩個教程，在網(wǎng)上是開源免費的，寫的很棒，不管是開始學(xué)還是復(fù)習(xí)鞏固都很不錯的。

深度學(xué)習(xí)回顧，專欄內(nèi)容來源多個書籍筆記、在線筆記、以及自己的感想、想法，佛系更新。爭取內(nèi)容全面而不失重點。完結(jié)時間到了也會一直更新下去，已寫完的筆記文章會不定時一直修訂修改(刪、改、增)，以達到集多方教程的精華于一文的目的。所有文章涉及的教程都會寫在開頭、一起學(xué)習(xí)一起進步。

學(xué)習(xí)推薦：

• https://blog.csdn.net/hjkdh/article/details/124565443
• 卷積神經(jīng)網(wǎng)絡(luò)的深入理解-基礎(chǔ)篇（卷積，激活，池化，誤差反傳）

1.特征提取的重要性

在LeNet提出后，卷積神經(jīng)網(wǎng)絡(luò)在計算機視覺和機器學(xué)習(xí)領(lǐng)域中很有名氣。但卷積神經(jīng)網(wǎng)絡(luò)并沒有主導(dǎo)這些領(lǐng)域。這是因為雖然LeNet在小數(shù)據(jù)集上取得了很好的效果，但是在更大、更真實的數(shù)據(jù)集上訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)的性能和可行性還有待研究。

在計算機視覺中，直接將神經(jīng)網(wǎng)絡(luò)與其他機器學(xué)習(xí)方法進行比較也許不公平。這是因為，卷積神經(jīng)網(wǎng)絡(luò)的輸入是由原始像素值或是經(jīng)過簡單預(yù)處理（例如居中、縮放）的像素值組成的。但在使用傳統(tǒng)機器學(xué)習(xí)方法時，從業(yè)者永遠不會將原始像素作為輸入。在傳統(tǒng)機器學(xué)習(xí)方法中，計算機視覺流水線是由經(jīng)過人的手工精心設(shè)計的特征流水線組成的。對于這些傳統(tǒng)方法，大部分的進展都來自于對特征有了更聰明的想法，并且學(xué)習(xí)到的算法往往歸于事后的解釋。

因此，與訓(xùn)練端到端（從像素到分類結(jié)果）系統(tǒng)不同，經(jīng)典機器學(xué)習(xí)的流水線看起來更像下面這樣：

• 獲取一個有趣的數(shù)據(jù)集。在早期，收集這些數(shù)據(jù)集需要昂貴的傳感器（在當(dāng)時最先進的圖像也就100萬像素）。
• 根據(jù)光學(xué)、幾何學(xué)、其他知識以及偶然的發(fā)現(xiàn)，手工對特征數(shù)據(jù)集進行預(yù)處理。
• 通過標(biāo)準(zhǔn)的特征提取算法，如SIFT（尺度不變特征變換）和SURF（加速魯棒特征）或其他手動調(diào)整的流水線來輸入數(shù)據(jù)。
• 將提取的特征送入最喜歡的分類器中（例如線性模型或其它核方法），以訓(xùn)練分類器。

然而，推動領(lǐng)域進步的是數(shù)據(jù)特征，而不是學(xué)習(xí)算法。計算機視覺研究人員相信，從對最終模型精度的影響來說，更大或更干凈的數(shù)據(jù)集、或是稍微改進的特征提取，比任何學(xué)習(xí)算法帶來的進步要大得多。

2.學(xué)習(xí)表征

（1）另一種預(yù)測這個領(lǐng)域發(fā)展的方法————觀察圖像特征的提取方法。在2012年前，圖像特征都是機械地計算出來的。事實上，設(shè)計一套新的特征函數(shù)、改進結(jié)果，并撰寫論文是盛極一時的潮流。SIFT 、SURF 、HOG（定向梯度直方圖）、bags of visual words和類似的特征提取方法占據(jù)了主導(dǎo)地位。

（2）另一組研究人員，包括Yann LeCun、Geoff Hinton、Yoshua Bengio、Andrew Ng、Shun ichi Amari和Juergen Schmidhuber，想法則與眾不同：他們認為特征本身應(yīng)該被學(xué)習(xí)。此外，他們還認為，在合理地復(fù)雜性前提下，特征應(yīng)該由多個共同學(xué)習(xí)的神經(jīng)網(wǎng)絡(luò)層組成，每個層都有可學(xué)習(xí)的參數(shù)。在機器視覺中，最底層可能檢測邊緣、顏色和紋理。事實上，Alex Krizhevsky、Ilya Sutskever和Geoff Hinton提出了一種新的卷積神經(jīng)網(wǎng)絡(luò)變體AlexNet。在2012年ImageNet挑戰(zhàn)賽中取得了轟動一時的成績。

有趣的是，在網(wǎng)絡(luò)的最底層，AlexNet模型學(xué)習(xí)到了一些類似于傳統(tǒng)濾波器的特征抽取器。

AlexNet的更高層建立在這些底層表示的基礎(chǔ)上，以表示更大的特征，如眼睛、鼻子、草葉等等。而更高的層可以檢測整個物體，如人、飛機、狗或飛盤。最終的隱藏神經(jīng)元可以學(xué)習(xí)圖像的綜合表示，從而使屬于不同類別的數(shù)據(jù)易于區(qū)分。盡管一直有一群執(zhí)著的研究者不斷鉆研，試圖學(xué)習(xí)視覺數(shù)據(jù)的逐級表征，然而很長一段時間里這些嘗試都未有突破。深度卷積神經(jīng)網(wǎng)絡(luò)的突破出現(xiàn)在2012年。突破可歸因于兩個關(guān)鍵因素：數(shù)據(jù)和硬件（GPU）。

2.1 缺少的成分：數(shù)據(jù)

包含許多特征的深度模型需要大量的有標(biāo)簽數(shù)據(jù)，才能顯著優(yōu)于基于凸優(yōu)化的傳統(tǒng)方法（如線性方法和核方法）。 然而，限于早期計算機有限的存儲和90年代有限的研究預(yù)算，大部分研究只基于小的公開數(shù)據(jù)集。

例如，不少研究論文基于加州大學(xué)歐文分校（UCI）提供的若干個公開數(shù)據(jù)集，其中許多數(shù)據(jù)集只有幾百至幾千張在非自然環(huán)境下以低分辨率拍攝的圖像。這一狀況在2010年前后興起的大數(shù)據(jù)浪潮中得到改善。

2009年，ImageNet數(shù)據(jù)集發(fā)布，并發(fā)起ImageNet挑戰(zhàn)賽：要求研究人員從100萬個樣本中訓(xùn)練模型，以區(qū)分1000個不同類別的對象。ImageNet數(shù)據(jù)集由斯坦福教授李飛飛小組的研究人員開發(fā)，利用谷歌圖像搜索（Google Image Search）對每一類圖像進行預(yù)篩選，并利用亞馬遜眾包（Amazon Mechanical Turk）來標(biāo)注每張圖片的相關(guān)類別。這種規(guī)模是前所未有的。這項被稱為ImageNet的挑戰(zhàn)賽推動了計算機視覺和機器學(xué)習(xí)研究的發(fā)展，挑戰(zhàn)研究人員確定哪些模型能夠在更大的數(shù)據(jù)規(guī)模下表現(xiàn)最好。

2.2 缺少的成分：硬件

深度學(xué)習(xí)對計算資源要求很高，訓(xùn)練可能需要數(shù)百個迭代輪數(shù)，每次迭代都需要通過代價高昂的許多線性代數(shù)層傳遞數(shù)據(jù)。這也是為什么在20世紀(jì)90年代至21世紀(jì)初，優(yōu)化凸目標(biāo)的簡單算法是研究人員的首選。然而，用GPU訓(xùn)練神經(jīng)網(wǎng)絡(luò)改變了這一格局。圖形處理器（Graphics Processing Unit，GPU）早年用來加速圖形處理，使電腦游戲玩家受益。GPU可優(yōu)化高吞吐量的 4×4 矩陣和向量乘法，從而服務(wù)于基本的圖形任務(wù)。幸運的是，這些數(shù)學(xué)運算與卷積層的計算驚人地相似。由此，英偉達（NVIDIA）和ATI已經(jīng)開始為通用計算操作優(yōu)化gpu，甚至把它們作為通用GPU（general-purpose GPUs，GPGPU）來銷售。

3.AlexNet模型

論文：《ImageNet Classification with Deep ConvolutionalNeural Networks》

2012年，AlexNet橫空出世。它首次證明了學(xué)習(xí)到的特征可以超越手工設(shè)計的特征。它一舉打破了計算機視覺研究的現(xiàn)狀。 AlexNet使用了8層卷積神經(jīng)網(wǎng)絡(luò)，并以很大的優(yōu)勢贏得了2012年ImageNet圖像識別挑戰(zhàn)賽。AlexNet已經(jīng)被更有效的架構(gòu)所超越，但它是從淺層網(wǎng)絡(luò)到深層網(wǎng)絡(luò)的關(guān)鍵一步。

完整的模型結(jié)構(gòu)：

AlexNet和LeNet的架構(gòu)非常相似，這里提供的是一個稍微精簡版本的AlexNet，去除了當(dāng)年需要兩個小型GPU同時運算的設(shè)計特點。

AlexNet和LeNet對比：

AlexNet和LeNet的設(shè)計理念非常相似，但也存在顯著差異。

• AlexNet比相對較小的LeNet5要深得多。AlexNet由八層組成：五個卷積層、兩個全連接隱藏層和一個全連接輸出層。
• AlexNet使用ReLU而不是sigmoid作為其激活函數(shù)。

3.1模型設(shè)計

在AlexNet的第一層，卷積窗口的形狀是 11×11 。 由于ImageNet中大多數(shù)圖像的寬和高比MNIST圖像的多10倍以上，因此，需要一個更大的卷積窗口來捕獲目標(biāo)。 第二層中的卷積窗口形狀被縮減為 5×5
，然后是 3×3 。 此外，在第一層、第二層和第五層卷積層之后，加入窗口形狀為 3×3 、步幅為2的最大匯聚層。 而且，AlexNet的卷積通道數(shù)目是LeNet的10倍。

在最后一個卷積層后有兩個全連接層，分別有4096個輸出。 這兩個巨大的全連接層擁有將近1GB的模型參數(shù)。 由于早期GPU顯存有限，原版的AlexNet采用了雙數(shù)據(jù)流設(shè)計，使得每個GPU只負責(zé)存儲和計算模型的一半?yún)?shù)。 幸運的是，現(xiàn)在GPU顯存相對充裕，所以現(xiàn)在很少需要跨GPU分解模型。

現(xiàn)在只需要簡化即可，即取一個GPU中的結(jié)構(gòu)即可。

3.2激活函數(shù)

AlexNet將sigmoid激活函數(shù)改為更簡單的ReLU激活函數(shù)。 一方面，ReLU激活函數(shù)的計算更簡單，它不需要如sigmoid激活函數(shù)那般復(fù)雜的求冪運算。 另一方面，當(dāng)使用不同的參數(shù)初始化方法時，ReLU激活函數(shù)使訓(xùn)練模型更加容易。 當(dāng)sigmoid激活函數(shù)的輸出非常接近于0或1時，這些區(qū)域的梯度幾乎為0，因此反向傳播無法繼續(xù)更新一些模型參數(shù)。 相反，ReLU激活函數(shù)在正區(qū)間的梯度總是1。 因此，如果模型參數(shù)沒有正確初始化，sigmoid函數(shù)可能在正區(qū)間內(nèi)得到幾乎為0的梯度，從而使模型無法得到有效的訓(xùn)練。

3.3容量空值和預(yù)處理

AlexNet通過暫退法（DropOut）控制全連接層的模型復(fù)雜度，而LeNet只使用了權(quán)重衰減。 為了進一步擴充數(shù)據(jù)，AlexNet在訓(xùn)練時增加了大量的圖像增強數(shù)據(jù)，如翻轉(zhuǎn)、裁切和變色。 這使得模型更健壯，更大的樣本量有效地減少了過擬合。

Dropout、ReLU和預(yù)處理是提升計算機視覺任務(wù)性能的其他關(guān)鍵步驟。AlexNet已經(jīng)被更有效的架構(gòu)所超越，但它是從淺層網(wǎng)絡(luò)到深層網(wǎng)絡(luò)的關(guān)鍵一步。

3.4 模型結(jié)構(gòu)與定義

模型結(jié)構(gòu)：

import tensorflow as tf
from d2l import tensorflow as d2ldef net():return tf.keras.models.Sequential([# 這里使用一個11*11的更大窗口來捕捉對象。# 同時，步幅為4，以減少輸出的高度和寬度。# 另外，輸出通道的數(shù)目遠大于LeNettf.keras.layers.Conv2D(filters=96, kernel_size=11, strides=4,activation='relu'),tf.keras.layers.MaxPool2D(pool_size=3, strides=2),# 減小卷積窗口，使用填充為2來使得輸入與輸出的高和寬一致，且增大輸出通道數(shù)tf.keras.layers.Conv2D(filters=256, kernel_size=5, padding='same',activation='relu'),tf.keras.layers.MaxPool2D(pool_size=3, strides=2),# 使用三個連續(xù)的卷積層和較小的卷積窗口。# 除了最后的卷積層，輸出通道的數(shù)量進一步增加。# 在前兩個卷積層之后，匯聚層不用于減少輸入的高度和寬度tf.keras.layers.Conv2D(filters=384, kernel_size=3, padding='same',activation='relu'),tf.keras.layers.Conv2D(filters=384, kernel_size=3, padding='same',activation='relu'),tf.keras.layers.Conv2D(filters=256, kernel_size=3, padding='same',activation='relu'),tf.keras.layers.MaxPool2D(pool_size=3, strides=2),tf.keras.layers.Flatten(),# 這里，全連接層的輸出數(shù)量是LeNet中的好幾倍。使用dropout層來減輕過擬合tf.keras.layers.Dense(4096, activation='relu'),tf.keras.layers.Dropout(0.5),tf.keras.layers.Dense(4096, activation='relu'),tf.keras.layers.Dropout(0.5),# 最后是輸出層。由于這里使用Fashion-MNIST，所以用類別數(shù)為10，而非論文中的1000tf.keras.layers.Dense(10)])

構(gòu)造一個高度和寬度都為224的(單通道數(shù)據(jù)，來觀察每一層輸出的形狀)。 它與AlexNet架構(gòu)相匹配。

X = tf.random.uniform((1, 224, 224, 1))
for layer in net().layers:X = layer(X)print(layer.__class__.__name__, 'output shape:\t', X.shape)

Conv2D output shape:	 (1, 54, 54, 96)
MaxPooling2D output shape:	 (1, 26, 26, 96)
Conv2D output shape:	 (1, 26, 26, 256)
MaxPooling2D output shape:	 (1, 12, 12, 256)
Conv2D output shape:	 (1, 12, 12, 384)
Conv2D output shape:	 (1, 12, 12, 384)
Conv2D output shape:	 (1, 12, 12, 256)
MaxPooling2D output shape:	 (1, 5, 5, 256)
Flatten output shape:	 (1, 6400)
Dense output shape:	 (1, 4096)
Dropout output shape:	 (1, 4096)
Dense output shape:	 (1, 4096)
Dropout output shape:	 (1, 4096)
Dense output shape:	 (1, 10)

3.5 Fashion-MNIST數(shù)據(jù)上訓(xùn)練AlexNet

將AlexNet直接應(yīng)用于Fashion-MNIST的一個問題是，Fashion-MNIST圖像的分辨率（ 28×28 像素）低于ImageNet圖像。

為了解決這個問題，將它們增加到 224×224 （通常來講這不是一個明智的做法，但在這里這樣做是為了有效使用AlexNet架構(gòu)）。 這里需要使用d2l.load_data_fashion_mnist函數(shù)中的resize參數(shù)執(zhí)行此調(diào)整。

batch_size = 128
train_iter, test_iter = d2l.load_data_fashion_mnist(batch_size, resize=224)

這里使用更小的學(xué)習(xí)速率訓(xùn)練，這是因為網(wǎng)絡(luò)更深更廣、圖像分辨率更高，訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)就更昂貴。

lr, num_epochs = 0.01, 10
d2l.train_ch6(net, train_iter, test_iter, num_epochs, lr, d2l.try_gpu())

3.6一些注意事項

• 在AlexNet中，較大的卷積層和全連接層需要更多的計算資源，因為它們涉及更多的矩陣乘法和加法運算。
• 在AlexNet中，主要占用顯存的部分是大型的卷積層和全連接層，這些層通常需要大量的參數(shù)和中間計算結(jié)果。
• 修改批量大小可以影響訓(xùn)練的速度和模型精度，較大的批量大小通?？梢詼p少訓(xùn)練時間，但也可能導(dǎo)致顯存占用較多。需要權(quán)衡以獲得最佳性能。
• Fashion-MNIST數(shù)據(jù)集相比于傳統(tǒng)的手寫數(shù)字數(shù)據(jù)集MNIST更加復(fù)雜，但相對于ImageNet這樣更大更復(fù)雜的數(shù)據(jù)集，Fashion-MNIST規(guī)模較小。AlexNet作為一個大型深度網(wǎng)絡(luò)對于這樣一個小數(shù)據(jù)集可能會顯得過于復(fù)雜，容易發(fā)生過擬合。
• 增加迭代輪數(shù)通常能夠使模型在訓(xùn)練集上學(xué)習(xí)更多的特征，提高泛化能力。與LeNet相比，增加迭代輪數(shù)的模型可能會更加精細地學(xué)習(xí)數(shù)據(jù)中的模式，產(chǎn)生更好的性能。
• 將Dropout和ReLU應(yīng)用于LeNet-5可以幫助減輕過擬合問題并加速收斂，提升模型的泛化能力。預(yù)處理方法如數(shù)據(jù)歸一化、數(shù)據(jù)增強等也可以提升模型性能，使其更好地學(xué)習(xí)數(shù)據(jù)中的模式。