最近接觸目標(biāo)檢測(cè)較多，再此對(duì)最基本的神經(jīng)網(wǎng)絡(luò)知識(shí)進(jìn)行補(bǔ)充，本博客適合想入門(mén)人工智能、其含有線性代數(shù)及高等數(shù)學(xué)基礎(chǔ)的人群觀看

1.構(gòu)成

由輸入層、隱藏層、輸出層、激活函數(shù)、損失函數(shù)組成。

• 輸入層：接收原始數(shù)據(jù)
• 隱藏層：進(jìn)行特征提取和轉(zhuǎn)換
• 輸出層：輸出預(yù)測(cè)結(jié)果
• 激活函數(shù)：非線性變換
• 損失函數(shù)：衡量模型預(yù)測(cè)結(jié)果與真實(shí)值之間的差距

2.正向傳播過(guò)程

? 基礎(chǔ)的神經(jīng)網(wǎng)絡(luò)如下圖所示，其中層1為輸入層，層2為隱藏層，層3為輸出層：

? 每一個(gè)圓圈代表了一個(gè)神經(jīng)元，各層的神經(jīng)元各自相連，如圖中的綠色箭頭。每一條相連的綠線上擁有起始設(shè)定好的權(quán)重。隱藏層的神經(jīng)元后跟著激活函數(shù)，進(jìn)行信號(hào)的轉(zhuǎn)變。

? 對(duì)于每一層信號(hào)的輸入輸出，均有以下公式表達(dá)，X為此層的輸入，O為此層的輸出，一般輸入層采用激活函數(shù)，即輸入即為輸出。
$$\begin{gathered} X=W?Input \\ O=sigmoid(X) \end{gathered}$$
$Input$ 為輸入矩陣，此處以如下為例：
$$Input=\left[\begin{array}{c}1.0\\ 0.5\\ 0.35\end{array}\right]$$
$W$ 為權(quán)重矩陣，各層的權(quán)重各不相同
$$W=\left[\begin{array}{ccc}{w}_{1.1}& w_{1.2}& w_{1.3}\\ w_{2.1}& w_{2.2}& w_{2.3}\\ w_{3.1}& w_{3.2}& w_{3.3}\end{array}\right]$$
$sigmoid$ 為激活函數(shù)
$$y=\frac{1}{1+e^{?x}}$$

過(guò)程演示（3層）

1.輸入層： 由于輸入層一般不使用激活函數(shù)，輸入層的輸出即為輸入數(shù)據(jù) $Input$。

2.隱藏層： 此層的輸入為：
$$X_{hidden}=W_{input2hidden}?Input=\left[\begin{array}{ccc}{w}_{1.1}& w_{1.2}& w_{1.3}\\ w_{2.1}& w_{2.2}& w_{2.3}\\ w_{3.1}& w_{3.2}& w_{3.3}\end{array}\right]?\left[\begin{array}{c}1.0\\ 0.5\\ 0.35\end{array}\right]$$
? 此層的輸出為：
$$O_{hidden}=sigmoid(X_{hidden})=\frac{1}{1+e^{X_{hidden}}}$$
3.輸出層： 輸出層永遠(yuǎn)不使用激活函數(shù)，輸出層的輸出即為輸入，輸出層的輸入為：
$$X_{output}=W_{hidden2output}?O_{hidden}$$

3.激活函數(shù)

? 上文使用的是$sigmoid$函數(shù)作為激活函數(shù)，還可以將其根據(jù)具體應(yīng)用，更換為以下函數(shù)：

• Sigmoid函數(shù)：將輸入值壓縮到0到1之間，常用于二分類問(wèn)題

• ReLU函數(shù)：將負(fù)值置為0，常用于深度神經(jīng)網(wǎng)絡(luò)中
  
• Tanh函數(shù)：將輸入值壓縮到-1到1之間，常用于回歸問(wèn)題

• Leaky ReLU函數(shù)：對(duì)負(fù)值進(jìn)行微小的縮放，避免梯度消失問(wèn)題

4.反向傳播過(guò)程

? 誤差計(jì)算：目標(biāo)值-實(shí)際值 $e_n=t_n?o_n$

? 下面以單個(gè)神經(jīng)元返回誤差為例：

? 對(duì)于最后輸出的誤差我們需要將他根據(jù)前一層的權(quán)重傳播到前一層，以上面單個(gè)神經(jīng)元的反向傳播過(guò)程為例。傳回1號(hào)神經(jīng)元的誤差為 $errors?\frac{w_1}{w_1+w_2}$ ，傳回2號(hào)神經(jīng)元的誤差為 $errors?\frac{w_2}{w_1+w_2}$ 。

過(guò)程演示（3層）

? 下面我們把這個(gè)過(guò)程放到三層的神經(jīng)網(wǎng)絡(luò)中分析：

? 我們以第二層第一個(gè)神經(jīng)元為例，分析誤差傳播到此的值。
$$e_{hidden1}=e_{output1}?\frac{w_{1.1}}{w_{1.1}+w_{2.1}+w_{3.1}}+e_{output2}?\frac{w_{1.2}}{w_{1.2}+w_{2.2}+w_{3.2}}+e_{output3}?\frac{w_{1.3}}{w_{1.3}+w_{2.3}+w_{3.3}}$$
? 接下來(lái)我們使用矩陣來(lái)表達(dá)這個(gè)麻煩的公式：

輸出層誤差：
$$erro{r}_{output}=\left(\begin{array}{c}{e}_1\\ e_2\\ e_3\end{array}\right)$$
隱藏層誤差：
$$erro{r}_{hidden}=\left[\begin{array}{ccc}\frac{w_{1.1}}{w_{1.1}+w_{2.1}+w_{3.1}}& \frac{w_{1.2}}{w_{1.2}+w_{2.2}+w_{3.2}}& \frac{w_{1.3}}{w_{1.3}+w_{2.3}+w_{3.3}}\\ \frac{w_{2.1}}{w_{1.1}+w_{2.1}+w_{3.1}}& \frac{w_{2.2}}{w_{1.2}+w_{2.2}+w_{3.2}}& \frac{w_{2.3}}{w_{1.3}+w_{2.3}+w_{3.3}}\\ \frac{w_{3.1}}{w_{1.1}+w_{2.1}+w_{3.1}}& \frac{w_{3.2}}{w_{1.2}+w_{2.2}+w_{3.2}}& \frac{w_{3.3}}{w_{1.3}+w_{2.3}+w_{3.3}}\end{array}\right]?erro{r}_{output}$$
去歸一化：
$$erro{r}_{hidden}=\left[\begin{array}{ccc}{w}_{1.1}& w_{1.2}& w_{1.3}\\ w_{2.1}& w_{2.2}& w_{2.3}\\ w_{3.1}& w_{3.2}& w_{3.3}\end{array}\right]?erro{r}_{output}=w_{hidden2output}?erro{r}_{output}$$

5.更新權(quán)重

? 下一步需要取得誤差最小的權(quán)重作為最優(yōu)權(quán)重，在此我們使用梯度下降的方法找到誤差最小時(shí)的權(quán)重。

? 梯度下降： 用于計(jì)算函數(shù)的最小值。隨機(jī)起始點(diǎn)，通過(guò)導(dǎo)數(shù)的正負(fù)判斷方向，朝著函數(shù)減小的方向，一步步增加x，并計(jì)算他的導(dǎo)數(shù)當(dāng)導(dǎo)數(shù)為零或?yàn)樵O(shè)定范圍內(nèi)，取得最小值；否則繼續(xù)增加。

? 在神經(jīng)網(wǎng)絡(luò)中由于x為權(quán)重矩陣，我們使用的梯度下降為多維梯度下降。

設(shè)定誤差函數(shù)

? 在此例中我們使用 $E=(t_n?o_n{)}^2$

誤差函數(shù)的斜率

$$\frac{?E}{?w_{ij}}=\frac{?}{?w_{ij}}\sum _n(t_n?o_n{)}^2$$

由于在這里 $o_n$? 僅取決于連接著的權(quán)重，所以誤差函數(shù)的斜率可以改寫(xiě)為：
$$\frac{?}{?w_{ij}}(t_n?o_n{)}^2$$
根據(jù)導(dǎo)數(shù)的鏈?zhǔn)椒▌t，我們改寫(xiě)斜率函數(shù)：
$$\frac{?E}{?w_{ij}}=\frac{?E}{?o_n}\times \frac{?o_n}{?w_{ij}}=?2(t_n?o_n)\frac{?o_n}{?w_{ij}}$$
我們?cè)賹?span id="ieo6y2aa" class="katex--inline">$o_n$帶入到此函數(shù) $o_n=sigmoid({\sum }_j{w}_{j,k}?o_j)$，$o_j$為前一層的輸出，得到函數(shù)如下：
$$斜率函數(shù)=?2(t_n?o_n)\frac{?}{?w_{i,j}}sigmoid(\sum _j{w}_{jk}?o_j)$$
我們對(duì)sigmoid函數(shù)進(jìn)行微分：
$$\frac{?sigmoid(x)}{?x}=sigmoid(x)(1?sigmoid(x))$$
我們?cè)侔阉诺叫甭屎瘮?shù)之中：
$$\begin{gathered} 斜率函數(shù)=?2?(t_n?o_n)?sigmoid(\sum _j{w}_{jk}?o_j)?(1?\sum _j{w}_{jk}?o_j)?\frac{?}{?w_{i.j}}(\sum _j{w}_{jk}?o_j) \\ =?2?(t_n?o_n)?sigmoid(\sum _j{w}_{jk}?o_j)?(1?\sum _j{w}_{jk}?o_j)?o_j \end{gathered}$$
由于在此過(guò)程中我們只需判斷斜率方向，我們可以把常數(shù)去除，即：
$$斜率函數(shù)=?(t_n?o_n)?sigmoid(\sum _j{w}_{jk}?o_j)?(1?\sum _j{w}_{jk}?o_j)?o_j$$
我們根據(jù)已有的關(guān)系對(duì)斜率在此修改：

• $(t_n?o_n)$ 為 $(目標(biāo)值?實(shí)際值)$，即$e_i$
• ${\sum }_i{w}_{i,j}?o_i$ 為進(jìn)入上一層的輸入
• $o_i$ 為上一層的輸出

$$\frac{?E}{?w_{ij}}=?e_i?sigmoid(\sum _i{w}_{ij}{o}_i)?(1?sigmoid(\sum _i{w}_{ij}{o}_i))?o_i$$

更新權(quán)重

? 有了誤差函數(shù)的斜率，我們就可以通過(guò)梯度下降的方式更新權(quán)重，其中$\alpha$為設(shè)定好的學(xué)習(xí)率：
$$W_{new}=W_{old}?\alpha \frac{?E}{?w_{ij}}$$

權(quán)重的矩陣變化

$$\Delta w_{ij}=\alpha ?E_k?o_k?(1?o_k)?o_j$$

6.代碼實(shí)現(xiàn)

神經(jīng)網(wǎng)絡(luò)代碼應(yīng)該由三部分組成：初始化函數(shù)、訓(xùn)練函數(shù)、查詢函數(shù)

• 初始化函數(shù)：應(yīng)該包含各層的節(jié)點(diǎn)數(shù)，學(xué)習(xí)率，隨機(jī)權(quán)重矩陣以及激活函數(shù)
• 訓(xùn)練函數(shù)：應(yīng)該包含正、反向傳播，權(quán)重更新
• 查詢函數(shù)：正向傳播過(guò)程

import numpy.random
import scipy.special# 激活函數(shù)設(shè)置
def activation_function(x):return scipy.special.expit(x)# 神經(jīng)網(wǎng)絡(luò)類
class NeuralNetwork:# 初始化函數(shù)def __init__(self, inputnodes, hiddennodes, outputnodes, learningrate):# 輸入層、隱含層、輸出層節(jié)點(diǎn)數(shù)self.inodes = inputnodesself.hnodes = hiddennodesself.onodes = outputnodes# 學(xué)習(xí)率self.lr = learningrate# 隨機(jī)權(quán)重矩陣self.Wih = numpy.random.normal(0.0, pow(self.hnodes, -0.5), (self.hnodes, self.inodes))self.Who = numpy.random.normal(0.0, pow(self.onodes, -0.5), (self.onodes, self.hnodes))# 激活函數(shù)self.activation_function = activation_functionpass# 訓(xùn)練函數(shù)def train(self, inputs_list, targets_list):# 輸入的目標(biāo)list改為2D數(shù)組targets = numpy.array(targets_list, ndmin=2).T# 第一步計(jì)算結(jié)果（與query一致）inputs = numpy.array(inputs_list, ndmin=2).Thidden_inputs = numpy.dot(self.Wih, inputs)hidden_outputs = self.activation_function(hidden_inputs)final_inputs = numpy.dot(self.Who, hidden_outputs)final_outputs = self.activation_function(final_inputs)# 計(jì)算輸出層誤差 error_output = 目標(biāo)值 - 測(cè)量值output_errors = targets - final_outputs# 計(jì)算隱含層誤差 errors_hidden = w_hidden2output^T · errors_outputhidden_errors = numpy.dot(self.Who.T, output_errors)# 權(quán)重更新self.Who += self.lr * numpy.dot((output_errors * final_outputs * (1.0 - final_outputs)),numpy.transpose(hidden_outputs))self.Wih += self.lr * numpy.dot((hidden_errors * hidden_outputs * (1.0 - hidden_outputs)),numpy.transpose(inputs))pass# 查詢函數(shù)def query(self, inputs_list):# 輸入的list改為2D數(shù)組inputs = numpy.array(inputs_list, ndmin=2).T# 隱含層的輸入 hidden_inputs = w_input2hedden · inputshidden_inputs = numpy.dot(self.Wih, inputs)# 隱含層的輸出 hidden_outputs = sigmoid(hidden_inputs)hidden_outputs = self.activation_function(hidden_inputs)# 輸出層的輸入final_inputs = numpy.dot(self.Who, hidden_outputs)# 輸出層的輸出final_outputs = self.activation_function(final_inputs)return final_outputs