目錄

LSTM 神經(jīng)網(wǎng)絡(luò)架構(gòu)

分類 LSTM 網(wǎng)絡(luò)

回歸 LSTM 網(wǎng)絡(luò)

視頻分類網(wǎng)絡(luò)

更深的 LSTM 網(wǎng)絡(luò)

網(wǎng)絡(luò)層

分類、預(yù)測(cè)和預(yù)報(bào)

序列填充、截?cái)嗪筒鸱?/p>

按長度對(duì)序列排序

填充序列

截?cái)嘈蛄?/p>

拆分序列

指定填充方向

歸一化序列數(shù)據(jù)

無法放入內(nèi)存的數(shù)據(jù)

可視化

LSTM 層架構(gòu)

---

        本主題說明如何使用長短期記憶 (LSTM) 神經(jīng)網(wǎng)絡(luò)處理分類和回歸任務(wù)的序列和時(shí)間序列數(shù)據(jù)。有關(guān)如何使用 LSTM 神經(jīng)網(wǎng)絡(luò)對(duì)序列數(shù)據(jù)進(jìn)行分類的示例。

        LSTM 神經(jīng)網(wǎng)絡(luò)是一種循環(huán)神經(jīng)網(wǎng)絡(luò) (RNN)，可以學(xué)習(xí)序列數(shù)據(jù)的時(shí)間步之間的長期依存關(guān)系。

LSTM 神經(jīng)網(wǎng)絡(luò)架構(gòu)

        LSTM 神經(jīng)網(wǎng)絡(luò)的核心組件是序列輸入層和 LSTM 層。序列輸入層將序列或時(shí)間序列數(shù)據(jù)輸入神經(jīng)網(wǎng)絡(luò)中。LSTM 層學(xué)習(xí)序列數(shù)據(jù)的時(shí)間步之間的長期相關(guān)性。

        下圖說明用于分類的簡單 LSTM 網(wǎng)絡(luò)的架構(gòu)。該神經(jīng)網(wǎng)絡(luò)從一個(gè)序列輸入層開始，后跟一個(gè) LSTM 層。為了預(yù)測(cè)類標(biāo)簽，該神經(jīng)網(wǎng)絡(luò)的末尾是一個(gè)全連接層、一個(gè) softmax 層和一個(gè)分類輸出層。

        如圖所示：

        下圖說明用于回歸的簡單 LSTM 神經(jīng)網(wǎng)絡(luò)的架構(gòu)。該神經(jīng)網(wǎng)絡(luò)從一個(gè)序列輸入層開始，后跟一個(gè) LSTM 層。該神經(jīng)網(wǎng)絡(luò)的末尾是一個(gè)全連接層和一個(gè)回歸輸出層。

        如圖所示：

        下圖說明用于視頻分類的神經(jīng)網(wǎng)絡(luò)的架構(gòu)。要將圖像序列輸入到神經(jīng)網(wǎng)絡(luò)，請(qǐng)使用序列輸入層。要使用卷積層來提取特征，也就是說，要將卷積運(yùn)算獨(dú)立地應(yīng)用于視頻的每幀，請(qǐng)使用一個(gè)序列折疊層，后跟一個(gè)卷積層，然后是一個(gè)序列展開層。要使用 LSTM 層從向量序列中學(xué)習(xí)，請(qǐng)使用一個(gè)扁平化層，后跟 LSTM 層和輸出層。

        如圖所示：

分類 LSTM 網(wǎng)絡(luò)

        要?jiǎng)?chuàng)建針對(duì)“序列到標(biāo)簽”分類的 LSTM 網(wǎng)絡(luò)，請(qǐng)創(chuàng)建一個(gè)層數(shù)組，其中包含一個(gè)序列輸入層、一個(gè) LSTM 層、一個(gè)全連接層、一個(gè) softmax 層和一個(gè)分類輸出層。

        將序列輸入層的大小設(shè)置為輸入數(shù)據(jù)的特征數(shù)量。將全連接層的大小設(shè)置為類的數(shù)量。不需要指定序列長度。

        對(duì)于 LSTM 層，指定隱含單元的數(shù)量和輸出模式 'last'。

numFeatures = 12;
numHiddenUnits = 100;
numClasses = 9;
layers = [ ...sequenceInputLayer(numFeatures)lstmLayer(numHiddenUnits,'OutputMode','last')fullyConnectedLayer(numClasses)softmaxLayerclassificationLayer];

        要針對(duì)“序列到序列”分類創(chuàng)建一個(gè) LSTM 網(wǎng)絡(luò)，請(qǐng)使用與“序列到標(biāo)簽”分類相同的架構(gòu)，但將 LSTM 層的輸出模式設(shè)置為 'sequence'。

numFeatures = 12;
numHidd