相關(guān)文章：

神經(jīng)網(wǎng)絡(luò)中常用的激活函數(shù)

神經(jīng)網(wǎng)絡(luò)（系統(tǒng)性學(xué)習(xí)一）：入門篇

神經(jīng)網(wǎng)絡(luò)（系統(tǒng)性學(xué)習(xí)二）：單層神經(jīng)網(wǎng)絡(luò)（感知機(jī)）

---

多層感知機(jī)（MLP）

多層感知機(jī)（MLP）是一種經(jīng)典的前饋神經(jīng)網(wǎng)絡(luò)（Feedforward Neural Network），通常用于解決分類、回歸、監(jiān)督學(xué)習(xí)任務(wù)。它由一個(gè)輸入層、一個(gè)或多個(gè)隱藏層和一個(gè)輸出層組成。

網(wǎng)絡(luò)結(jié)構(gòu)

• 輸入層：接收數(shù)據(jù)輸入，特征維度等于數(shù)據(jù)的特征數(shù)。

• 隱藏層：一個(gè)或多個(gè)隱藏層，每層包含若干個(gè)神經(jīng)元，負(fù)責(zé)提取數(shù)據(jù)的特征。

• 輸出層：根據(jù)任務(wù)（分類或回歸）輸出最終的結(jié)果。

主要參數(shù)

• 權(quán)重（Weights）：連接各層神經(jīng)元的參數(shù)，決定信號的強(qiáng)弱。

• 偏置：為每個(gè)神經(jīng)元添加額外的靈活性。

• 超參數(shù)：學(xué)習(xí)率、隱藏層數(shù)、每個(gè)隱藏層的神經(jīng)元數(shù)等

特別強(qiáng)調(diào)：每個(gè)神經(jīng)元之間的權(quán)重和偏置絕大多數(shù)時(shí)候不相同！！！

核心步驟

以隱藏層只有一層為例。

（一）初始化權(quán)重和偏置

初始化權(quán)重和偏置矩陣。即對每個(gè)神經(jīng)元之間的權(quán)重和偏置隨機(jī)設(shè)定一個(gè)初始值。

1.1 避免對稱性問題

如果所有權(quán)重都初始化為相同的值（比如都為0），反向傳播計(jì)算的梯度對所有權(quán)重的更新將是完全相同的。這會導(dǎo)致所有神經(jīng)元學(xué)習(xí)到相同的特征，從而失去模型的表達(dá)能力。

1.2 權(quán)重的初始化

權(quán)重的初始化影響網(wǎng)絡(luò)的輸入和輸出值的分布。如果初始化值過大，可能導(dǎo)致激活函數(shù)的輸出進(jìn)入飽和區(qū)（如Sigmoid激活函數(shù)趨近于0或1），使得梯度變得極小，網(wǎng)絡(luò)難以訓(xùn)練（梯度消失問題）。如果初始化值過小，網(wǎng)絡(luò)學(xué)習(xí)速度會很慢。

權(quán)重可以初始化為均值為0的小隨機(jī)值。

常見方法包括：

• 均勻分布：隨機(jī)生成值在 [?a,a] 區(qū)間內(nèi)。

• 正態(tài)分布：隨機(jī)生成值符合 。

1.3 偏置的作用

偏置的初始化相對簡單，通常設(shè)為零或一個(gè)小的隨機(jī)值即可。它的作用是為神經(jīng)元提供一個(gè)額外的自由度，允許模型學(xué)習(xí)非零輸出。

（二）選擇損失函數(shù)、激活函數(shù)

對于分類問題，常用交叉熵?fù)p失函數(shù)，對于回歸問題，常用均方誤差損失函數(shù)。以MSE損失函數(shù)為例，我們假定損失函數(shù)為L：

其中，??是預(yù)測值，?是真實(shí)標(biāo)簽。

激活函數(shù)的選擇參考文章：常見的激活函數(shù)

（三）前向傳播

1、從輸入層到隱藏層

假設(shè)輸入層的神經(jīng)元為 ，隱藏層的神經(jīng)元為 ?（隱藏層有 k?個(gè)神經(jīng)元）。輸入到第 j?個(gè)隱藏層神經(jīng)元 hj 的計(jì)算公式如下：

其中：

• 是第 j?個(gè)隱藏層神經(jīng)元與第 i?個(gè)輸入神經(jīng)元之間的權(quán)重。

• xi? 是輸入層第 i?個(gè)神經(jīng)元的輸入值。

• bj? 是第 j?個(gè)隱藏層神經(jīng)元的偏置。

經(jīng)過激活函數(shù) ，得到隱藏層神經(jīng)元的輸出：

2、從隱藏層到輸出層

隱藏層的輸出 ? 將作為輸入傳遞到輸出層的神經(jīng)元。假設(shè)輸出層有 m?個(gè)神經(jīng)元，輸出層的第 ?個(gè)神經(jīng)元的計(jì)算公式為：

其中：

• ?是第? 個(gè)輸出層神經(jīng)元與第 i?個(gè)隱藏層神經(jīng)元之間的權(quán)重。

• ? 是隱藏層第 i 個(gè)神經(jīng)元的輸出值。

• ? 是第? 個(gè)輸出層神經(jīng)元的偏置。

同樣，經(jīng)過激活函數(shù)（通常是Softmax或Sigmoid）后，得到輸出層的輸出：

反向傳播與權(quán)重更新

（四）誤差計(jì)算與反向傳播

訓(xùn)練MLP時(shí)，使用反向傳播算法來更新網(wǎng)絡(luò)中的權(quán)重和偏置。反向傳播算法基于鏈?zhǔn)椒▌t計(jì)算損失函數(shù)對每個(gè)權(quán)重和偏置的梯度，然后使用梯度下降法（默認(rèn)使用全批量梯度下降）來更新參數(shù)。

假設(shè)損失函數(shù)為 L，權(quán)重為 w，偏置為 b，則每個(gè)權(quán)重和偏置的更新規(guī)則為：

其中 η 是學(xué)習(xí)率，?和 ? 是損失函數(shù)關(guān)于權(quán)重和偏置的偏導(dǎo)數(shù)。

（五）迭代過程

重復(fù)步驟三和步驟四，不斷迭代更新權(quán)重和偏置。

終止條件：達(dá)到最大迭代次數(shù)、損失收斂、目標(biāo)性能達(dá)標(biāo)等。

注：整個(gè)過程只以一個(gè)隱藏層為例，如果有多個(gè)隱藏層，從隱藏層到隱藏層之間的傳遞也是類似的。也是以上一層的輸出作為該層的輸入，并通過激活函數(shù)將該層輸入轉(zhuǎn)化為該層的輸出；其次就是注意每個(gè)神經(jīng)元之間的權(quán)重和偏置不一樣。

MLP優(yōu)缺點(diǎn)總結(jié)

????????MLP 是一種通用的神經(jīng)網(wǎng)絡(luò)模型，廣泛用于分類、回歸、特征提取和強(qiáng)化學(xué)習(xí)等任務(wù)。盡管它的能力和表現(xiàn)已經(jīng)被更復(fù)雜的模型（如卷積神經(jīng)網(wǎng)絡(luò) CNN 和循環(huán)神經(jīng)網(wǎng)絡(luò) RNN）在某些領(lǐng)域超越，但由于其簡單性和強(qiáng)大的非線性擬合能力，MLP仍然是很多基礎(chǔ)任務(wù)和小型數(shù)據(jù)集問題中的首選模型。同時(shí)，它常常作為其他復(fù)雜模型中的子模塊，為解決復(fù)雜問題提供基礎(chǔ)支持。

?

# 若對大噶有幫助的話，希望點(diǎn)個(gè)贊支持一下叭！

?