MobileNet網(wǎng)絡(luò)是由google團隊在2017年提出的，專注于移動端或者嵌入式設(shè)備中的輕量級CNN網(wǎng)絡(luò)。相比傳統(tǒng)卷積神經(jīng)網(wǎng)絡(luò)，在準(zhǔn)確率小幅降低的前提下大大減少模型參數(shù)與運算量。(相比VGG16準(zhǔn)確率減少了0.9%，但模型參數(shù)只有VGG的1/32)。MobileNet網(wǎng)絡(luò)最大的優(yōu)勢在于其輕量化，也就是大幅度減少的運算量和參數(shù)數(shù)量優(yōu)點。

MobileNet-V1

原文地址：https://arxiv.org/abs/1704.04861

創(chuàng)新點：深度可分離卷積

深度可分離卷積：由一個輸出通道為1的3×3卷積和一個1×1的卷積組成

使用relu激活函數(shù)

MobileNet-v1?網(wǎng)絡(luò)結(jié)構(gòu)?

MobileNet-V2

原文地址：https://arxiv.org/abs/1704.04861

創(chuàng)新點：倒殘差block、改變某些層為線性激活函數(shù)，非線性激活函數(shù)從relu修改為relu6（對輸入值進行最大為6的限制，減少float16/int8下的精度損失）

倒殘差block(Inverted Residuals)

老的殘差結(jié)構(gòu)：結(jié)構(gòu)為1x1卷積降維->3x3卷積->1x1卷積升維

倒殘差block：1x1卷積升維->3x3DW卷積->1x1卷積降維 。（需要注意的是，只有在stride 步長為1 的時候才進行short add操作，stride為2不進行short add）

為解決V1在輸入為低維度時，卷積核丟失了大量信息的問題，將原先relu非線性激活函數(shù)在某些層中替換為線性函數(shù)，并且在低維輸入時提高輸入維度兩個措施。

MobileNet-v2 網(wǎng)絡(luò)結(jié)構(gòu)

MobileNet-V3

原文地址：https://arxiv.org/pdf/1905.02244.pdf

主要創(chuàng)新點：使用NMS搜索得到網(wǎng)絡(luò)的最優(yōu)參數(shù)、新增加SE注意力機制、修改激活函數(shù)（h-swish）、減少第一個卷積層的卷積核個數(shù)（ 32-> 16）、精簡末端網(wǎng)絡(luò)結(jié)構(gòu)

MobileNet-v3 網(wǎng)絡(luò)結(jié)構(gòu)

SE注意力機制

H-swish

精簡末端網(wǎng)絡(luò)結(jié)構(gòu)