一、基于CNN+Softmax函數(shù)進行分類

1數(shù)據(jù)集準備

2模型設計

3模型訓練

4模型評估

5結果分析

二、?基于CNN+sigmoid函數(shù)進行分類

1數(shù)據(jù)集準備

2模型設計

3模型訓練

4模型評估

5結果分析

三、?基于CNN+SVM進行分類

1數(shù)據(jù)集準備

2模型設計

3模型訓練

4模型評估

5結果分析

四、?基于svm對MNIST進行分類

1?數(shù)據(jù)集準備

2?數(shù)據(jù)預處理

3?模型訓練

4?模型評估

5?結果可視化

6?總結與展望

五、?總結

---

一、基于CNN+Softmax函數(shù)進行分類

本擴展實驗旨在通過構建卷積神經網絡（CNN）結合Softmax分類器的方式，對MNIST數(shù)據(jù)集進行手寫數(shù)字識別任務，探索不同訓練參數(shù)對模型性能的影響，并最終驗證CNN+Softmax在手寫數(shù)字分類問題中的有效性。以下是實驗的具體步驟與過程描述。

1數(shù)據(jù)集準備

本實驗使用MNIST數(shù)據(jù)集的簡化版本，包含1797張8×8像素的灰度圖像，分為10個類別（數(shù)字0到9）。為了確保數(shù)據(jù)分布均勻，我按照80%的比例隨機劃分數(shù)據(jù)為訓練集，20%為測試集。

在數(shù)據(jù)預處理過程中，我首先對每張圖像進行了標準化，將每個像素值縮放至零均值和單位方差的分布，這有助于提高模型訓練的穩(wěn)定性和收斂速度。隨后，將每張圖像從一維向量格式（64維）重塑為二維張量格式（1×8×8），以滿足卷積神經網絡的輸入要求。此外，為避免數(shù)據(jù)順序對模型訓練的影響，我在訓練開始前對數(shù)據(jù)進行了隨機打亂操作。

2模型設計

本實驗構建的卷積神經網絡由兩層卷積層和兩層全連接層組成。第一層卷積操作通過16個3×3的卷積核提取圖像的初級特征，激活函數(shù)采用ReLU，并結合批歸一化和最大池化操作，減小特征圖尺寸。第二層卷積層在第一層的基礎上進一步提取高級特征，輸出32個特征圖。

卷積層輸出的特征圖經過展平操作后輸入到全連接層。隱藏層由128個神經元組成，使用ReLU激活函數(shù)捕捉特征之間的非線性關系，并結合Dropout操作減少過擬合風險。最終輸出層采用Softmax激活函數(shù)，將提取的特征映射到10個類別的概率分布。

3模型訓練

模型訓練過程中，我選取以下三組超參數(shù)進行實驗對比：

• 學習率：0.0001和0.00001。
• 批量大小：16和32。
• 訓練輪數(shù)：30和50。

訓練時，采用交叉熵損失函數(shù)和Adam優(yōu)化器優(yōu)化模型參數(shù)。在每輪訓練結束后，我記錄訓練損失值和測試集準確率，以評估模型的訓練效果和泛化能力。

4模型評估

在訓練完成后，我使用測試集對模型性能進行了評估，主要通過以下指標衡量模型的分類表現(xiàn)：

1. 準確率：模型對測試集樣本的總體分類準確率。
2. 分類報告：包括精準率、召回率和F1分數(shù)，用于分析模型在各類別上的表現(xiàn)。

為了展示實驗中不同超參數(shù)組合的性能差異，我制作了一張包含所有實驗數(shù)據(jù)的結果匯總表（表1-1）以及一張訓練損失曲線和測試集準確率曲線的對比圖（圖1-1）。

表1-1 不同參數(shù)下的訓練指標

輪數(shù)	學習率	批次	數(shù)據(jù)量	準確率	精確率	召回率	F1分數(shù)	訓練時間(秒)
30	0.0001	16	500	0.92	0.922435	0.913131	0.913465	3.172704
30	0.0001	16	1797	0.988889	0.989189	0.989039	0.988888	6.810793
30	0.0001	32	500	0.91	0.931758	0.908333	0.913395	1.093283
30	0.0001	32	1797	0.972222	0.972911	0.972297	0.971546	3.849656
30	1.00E-05	16	500	0.42	0.395408	0.408788	0.36996	1.910461
30	1.00E-05	16	1797	0.8	0.807025	0.797906	0.77158	6.851056
30	1.00E-05	32	500	0.19	0.182126	0.19154	0.178736	1.097944
30	1.00E-05	32	1797	0.688889	0.704355	0.687917	0.674851	3.865439
50	0.0001	16	500	0.97	0.972576	0.968889	0.969218	3.172215
50	0.0001	16	1797	0.983333	0.983542	0.98325	0.983249	11.35059
50	0.0001	32	500	0.86	0.865837	0.863914	0.86281	1.878025
50	0.0001	32	1797	0.986111	0.986253	0.986032	0.986067	6.559904
50	1.00E-05	16	500	0.53	0.533913	0.517172	0.472246	3.250488
50	1.00E-05	16	1797	0.861111	0.870307	0.860195	0.85589	11.56044
50	1.00E-05	32	500	0.32	0.3163	0.301616	0.277392	1.935893
50	1.00E-05	32	1797	0.797222	0.806196	0.796038	0.771853	6.420624

圖1-1 訓練損失值曲線對比（左）和測試集準確率曲線對比（右）

5結果分析

從表1-1和圖1-1可以看出，不同超參數(shù)組合對模型性能有顯著影響。較大的學習率（如0.0001）在訓練初期能夠加速收斂，但由于梯度波動較大，在訓練后期容易導致?lián)p失值震蕩，限制測試集準確率的進一步提升；而較小的學習率（如0.00001）盡管收斂速度較慢，但更穩(wěn)定，能夠有效降低損失值，并在訓練后期取得更高的測試集準確率。此外，批量大小對模型的穩(wěn)定性和泛化能力也起到了關鍵作用。較大的批量大小（如 2）在訓練過程中展現(xiàn)了平滑的損失曲線，有助于模型更快地找到全局最優(yōu)解，但較小的批量大小（如16）由于引入了更多的梯度波動，在某些實驗中表現(xiàn)出了更優(yōu)的泛化性能。訓練輪數(shù)的增加同樣對模型性能有重要影響，當訓練輪數(shù)從 30 增加到 50 時，大多數(shù)參數(shù)組合下的測試集準確率明顯提高，顯示出更充分的特征學習效果。然而，在部分組合（例如較大的學習率）中，增加訓練輪數(shù)可能導致過擬合，表現(xiàn)為訓練集損失持續(xù)下降，而測試集準確率停滯甚至略有下降。綜合分析，較小的學習率、適中的批量大小以及合理的訓練輪數(shù)可以共同優(yōu)化模型的收斂速度和泛化性能，為實現(xiàn)最佳分類效果提供了有力支持，其中分類最好的就是參數(shù)為輪數(shù)30，學習率0.0001，批次16，數(shù)據(jù)量1797，這樣訓練下來的模型的準確率98.89%，精確率為98.92%，召回率為98.90%，F1分數(shù)為98.89%。

二、?基于CNN+sigmoid函數(shù)進行分類

本擴展實驗采用卷積神經網絡（CNN）結合Sigmoid激活函數(shù)，針對MNIST數(shù)據(jù)集中的手寫數(shù)字進行二分類任務。具體而言，每次訓練一個模型以區(qū)分目標數(shù)字與非目標數(shù)字，以數(shù)字9為例，正類為數(shù)字9的樣本，負類為非數(shù)字9的樣本。以下是實驗的具體描述。

1數(shù)據(jù)集準備

MNIST數(shù)據(jù)集包含1797張8×8像素的灰度圖像，每張圖像對應一個手寫數(shù)字（0到9）。在本實驗中，我們選擇了所有數(shù)字9的樣本作為正類，其余數(shù)字（0到8）的樣本作為負類。

（1）數(shù)據(jù)劃分：數(shù)據(jù)集按照80%的比例作為訓練集，20%作為測試集。在劃分時確保類別分布的平衡，即正類和負類樣本在訓練集和測試集中的比例與原始數(shù)據(jù)一致。

（2）數(shù)據(jù)預處理：為提高模型訓練的效率，所有數(shù)據(jù)均進行了標準化處理，將每個像素的值縮放為零均值和單位方差。此外，為適應卷積神經網絡的輸入格式，將原始數(shù)據(jù)從一維向量（64維）轉換為二維張量（1×8×8），其中“1”代表灰度圖像的單通道。

2模型設計

本實驗的CNN模型包括兩個卷積層和兩個全連接層：

卷積層1：提取低級特征，使用16個3×3卷積核，通過ReLU激活函數(shù)和最大池化操作將特征圖從8×8降至4×4；卷積層2：進一步提取高級特征，使用32個3×3卷積核，特征圖大小從4×4降至2×2；全連接層：隱藏層包含128個神經元，通過ReLU激活函數(shù)提取更高維特征，并使用Dropout操作防止過擬合；輸出層包含1個神經元，使用Sigmoid激活函數(shù)，將輸出映射為目標類別的概率。

該模型的設計以提高分類精度為核心，同時通過批歸一化和Dropout技術增強模型的泛化能力。

3模型訓練

訓練過程中，我設計了多組超參數(shù)組合以分析其對模型性能的影響：

（1）學習率設置為 0.0001 和 0.00001；

（2）批量大小設置為 16 和 32；

1. 訓練輪數(shù)設置為 30 和 50；

（4）訓練樣本數(shù)量分別為 500 和 1797。

使用二元交叉熵損失函數(shù)（BCELoss）作為目標函數(shù)，Adam優(yōu)化器更新模型權重。在每輪訓練結束后，記錄訓練集的損失值和測試集的準確率，并通過這些指標評估模型的收斂性和泛化能力。

4模型評估

在訓練過程中，通過記錄每輪的損失值和準確率曲線來分析模型性能。圖2-1展示了針對數(shù)字9的不同超參數(shù)組合訓練損失值和測試集準確率的對比，具體分為兩部分：

• 左圖：不同超參數(shù)組合的訓練損失值隨訓練輪數(shù)的變化趨勢；
• 右圖：測試集準確率隨訓練輪數(shù)的變化趨勢。

圖2-1 cnn與sigmoid結合判別數(shù)字9的訓練結果圖

同時，表2-1總結了不同超參數(shù)組合的實驗結果，包括訓練時間、測試集準確率以及其他相關指標。

表2-1 不同參數(shù)下的訓練指標

輪數(shù)	學習率	批次	數(shù)據(jù)量	數(shù)字	準確率	精確率	召回率	F1分數(shù)	訓練時間(秒)
30	0.00001	16	500	4.5	0.9	0	0	0	2.500253773
30	0.00001	16	1797	4.5	0.957777778	0.992592593	0.582932218	0.703569316	8.941141605
30	0.00001	32	500	4.5	0.9	0.1	0.01	0.018181818	1.471897554
30	0.00001	32	1797	4.5	0.910277778	0.7	0.103350493	0.173507193	5.065258026
30	0.0001	16	500	4.5	0.983	0.96979798	0.866590909	0.910008354	2.448956275
30	0.0001	16	1797	4.5	0.993611111	0.986009539	0.94951523	0.966081351	8.880677223
30	0.0001	32	500	4.5	0.975	0.968888889	0.787070707	0.858948474	1.451798534
30	0.0001	32	1797	4.5	0.993055556	0.985780781	0.944189189	0.963781102	4.981439614
50	0.00001	16	500	4.5	0.902	0.2	0.018333333	0.033566434	4.255874515
50	0.00001	16	1797	4.5	0.984166667	0.991260504	0.849401544	0.909094998	15.11490703
50	0.00001	32	500	4.5	0.9	0	0	0	2.536227655
50	0.00001	32	1797	4.5	0.955	0.984307692	0.557226512	0.676030105	8.341904068
50	0.0001	16	500	4.5	0.987	0.980909091	0.876111111	0.918452381	4.242441463
50	0.0001	16	1797	4.5	0.995833333	0.997142857	0.960864436	0.978219878	15.16263766
50	0.0001	32	500	4.5	0.987	0.991666667	0.876559829	0.925241957	2.495580506
50	0.0001	32	1797	4.5	0.995555556	0.997297297	0.957852853	0.976041458	8.38677721

5結果分析

實驗結果清晰地表明，不同超參數(shù)組合對模型性能具有顯著影響：

1，學習率的影響：較大的學習率（如 0.0001）在訓練初期的收斂速度較快，但在后期可能出現(xiàn)損失震蕩，導致模型無法進一步優(yōu)化。相比之下，較小的學習率（如 0.00001）盡管收斂較慢，但表現(xiàn)出更好的穩(wěn)定性，并在測試集上取得了更高的準確率。

2，批量大小的影響：較大的批量大小（如 32）在訓練過程中展現(xiàn)了更加平滑的損失曲線，能夠加速模型的收斂。然而，較小的批量大小（如 16）由于增加了梯度更新的隨機性，在部分實驗中表現(xiàn)出了更好的泛化能力。

3，訓練輪數(shù)的影響：隨著訓練輪數(shù)從 30 增加到 50，測試集準確率普遍提升，顯示出模型隨著訓練的深入能夠學習到更加復雜的特征。然而，在部分超參數(shù)組合下（如較大的學習率），增加訓練輪數(shù)會導致過擬合現(xiàn)象，即訓練損失值持續(xù)下降而測試集準確率停滯甚至略有下降。

4，訓練樣本數(shù)量的影響：全量樣本（1797個）的實驗結果明顯優(yōu)于500個樣本的實驗，這表明更多的訓練數(shù)據(jù)能夠有效提高模型性能。

綜合來看，最佳的參數(shù)組合為學習率0.0001、批量大小16、訓練輪數(shù)50和全量數(shù)據(jù)。在該組合下，模型的訓練損失值最低，測試集準確率達到最高水平，且曲線收斂平滑，表現(xiàn)出良好的穩(wěn)定性和泛化能力。

三、?基于CNN+SVM進行分類

本擴展實驗旨在利用卷積神經網絡（CNN）作為特征提取器，并結合支持向量機（SVM）分類器，對MNIST數(shù)據(jù)集進行手寫數(shù)字分類。以下是本實驗的詳細描述。

1數(shù)據(jù)集準備

MNIST數(shù)據(jù)集包含1797張8×8像素的灰度圖像，每張圖像對應一個手寫數(shù)字（0到9）。實驗中，我們將數(shù)據(jù)劃分為80%的訓練集和20%的測試集。為了提高分類性能和訓練效率，我們對數(shù)據(jù)進行了以下預處理：

數(shù)據(jù)標準化：使用標準化方法將每個像素的值縮放為零均值和單位方差的分布；數(shù)據(jù)格式轉換：將圖像從一維向量（64維）轉換為二維張量（1×8×8），以適應卷積神經網絡的輸入格式。

在實驗中，我們分別使用500個樣本和全量樣本（1797個樣本）進行訓練和對比。

2模型設計

本實驗的模型包括兩個模塊：CNN特征提取器和SVM分類器。

CNN特征提取器：

兩層卷積操作：第一層使用16個3×3卷積核，特征圖從8×8降至4×4；第二層使用32個3×3卷積核，特征圖進一步降至2×2；全連接層：特征圖展平后，輸入到隱藏層（特征維度為64、128或256），提取高維特征；特征輸出：通過BatchNorm和ReLU激活函數(shù)，輸出標準化的特征向量。

SVM分類器：

使用提取的高維特征作為輸入，SVM采用不同核函數(shù)（線性核、徑向基核和多項式核）進行分類。正則化參數(shù)C設置為0.1、1和10，以控制模型的復雜度和泛化能力。

3模型訓練

在實驗中，我們對不同參數(shù)組合進行了全面測試，包括特征維度（64、128、256）、核函數(shù)類型（線性核、徑向基核、多項式核）和正則化參數(shù)C（0.1、1、10）。訓練過程如下：

特征提取：使用CNN模型對訓練集和測試集提取特征，并生成對應的特征向量；SVM訓練：以CNN提取的特征向量為輸入，訓練SVM分類器；性能評估：在測試集上計算分類準確率、精確率、召回率和F1分數(shù)。

為了保證實驗的公平性，我們統(tǒng)一設置批量大小為32，并對每組參數(shù)組合重復多次實驗。

4模型評估

通過表格和柱狀圖的方式對實驗結果進行了詳細分析。

圖3-1 cnn與sigmoid結合判別數(shù)字9的訓練結果圖

柱狀圖（圖3-1）將不同參數(shù)組合的性能直觀地呈現(xiàn)出來，可以清晰地看到在特征維度、核函數(shù)和正則化參數(shù)的調整下，模型的分類性能是如何變化的。

表3-1 不同參數(shù)下的訓練指標

特征維度	核函數(shù)	C	數(shù)據(jù)量	準確率	精確率	召回率	F1分數(shù)	訓練時間(秒)
128	linear	0.1	500	0.22	0.160866387	0.182348485	0.119453446	0.160503626
128	linear	0.1	1797	0.809722222	0.820709341	0.80960961	0.812358595	1.521222472
128	linear	1	500	0.845	0.861692058	0.83915404	0.841934897	0.106745005
128	linear	1	1797	0.920833333	0.92370908	0.920498713	0.920716182	0.650150776
128	poly	0.1	500	0.515	0.608394128	0.503762626	0.495610193	0.1723423
128	poly	0.1	1797	0.738888889	0.820929018	0.739508795	0.747276938	1.338273764
128	poly	1	500	0.85	0.880096358	0.85040404	0.857166694	0.091691375
128	poly	1	1797	0.933333333	0.93422479	0.933005148	0.933114586	0.63041532
128	rbf	0.1	500	0.185	0.055072719	0.15	0.056367796	0.195704818
128	rbf	0.1	1797	0.801388889	0.806081266	0.801082154	0.800767897	1.92920506
128	rbf	1	500	0.865	0.857874625	0.855793651	0.852375972	0.154048443
128	rbf	1	1797	0.909722222	0.911349588	0.909299657	0.909041397	0.857375741
256	linear	0.1	500	0.575	0.643625482	0.54614899	0.515896923	0.198146701
256	linear	0.1	1797	0.854166667	0.860922642	0.854424067	0.855705364	1.751388907
256	linear	1	500	0.905	0.920508021	0.898838384	0.899244059	0.119735479
256	linear	1	1797	0.9625	0.963188454	0.962136422	0.962092845	0.664458871
256	poly	0.1	500	0.56	0.721407959	0.546103896	0.548038974	0.189690828
256	poly	0.1	1797	0.833333333	0.858560607	0.833573574	0.839061929	1.741782904
256	poly	1	500	0.9	0.91212926	0.900530303	0.901715177	0.115289211
256	poly	1	1797	0.944444444	0.945652971	0.944080867	0.944443992	0.752347231
256	rbf	0.1	500	0.26	0.220522697	0.223106061	0.15567042	0.242961526
256	rbf	0.1	1797	0.761111111	0.767634889	0.761023166	0.757957121	2.583127975
256	rbf	1	500	0.84	0.864099234	0.831976912	0.833433262	0.174685836
256	rbf	1	1797	0.915277778	0.916559819	0.915062205	0.914667124	1.108088732

表3-1匯總了不同參數(shù)組合下的性能指標，包括準確率、精確率、召回率和F1分數(shù)，結合訓練時間展示了不同參數(shù)對模型復雜度和訓練效率的影響。通過這些圖表，能夠直觀發(fā)現(xiàn)模型的性能瓶頸和參數(shù)優(yōu)化方向。

5結果分析

實驗結果表明，特征維度、核函數(shù)和正則化參數(shù)對模型性能具有顯著影響。特征維度較高時，模型能夠捕獲更多的細節(jié)特征，在大樣本數(shù)據(jù)（1797個樣本）中表現(xiàn)尤為出色，但在小樣本數(shù)據(jù)（500個樣本）中可能導致過擬合問題。核函數(shù)的選擇對于模型性能至關重要，其中徑向基核由于能夠更好地處理非線性特征，成為本實驗中的最佳選擇。正則化參數(shù)C則需要在欠擬合和過擬合之間找到平衡，C值為1時表現(xiàn)出更好的泛化能力。此外，實驗結果還顯示，增加訓練樣本數(shù)量顯著提升了模型的分類性能，這表明數(shù)據(jù)規(guī)模對基于CNN+SVM的手寫數(shù)字分類任務具有關鍵作用。綜合分析，最佳參數(shù)組合為特征維度256、徑向基核和正則化參數(shù)C=1，在全量數(shù)據(jù)下取得了最高的分類準確率和F1分數(shù)。

四、?基于svm對MNIST進行分類

采用支持向量機（SVM）算法進行MNIST數(shù)據(jù)集的二分類任務。具體而言，針對每個數(shù)字（從0到9），我訓練了一個單獨的SVM模型，來判斷該數(shù)字與非該數(shù)字之間的區(qū)別。以下是SVM模型訓練和評估的詳細過程。

1?數(shù)據(jù)集準備

MNIST數(shù)據(jù)集包含了大量的手寫數(shù)字圖像，我的目標是通過SVM算法識別圖像中的數(shù)字。為了簡化問題，我將MNIST數(shù)據(jù)集劃分為多個二分類問題，即每次訓練一個模型來區(qū)分目標數(shù)字與其他所有數(shù)字的區(qū)別。每個二分類任務中，我選擇一個目標數(shù)字（例如數(shù)字3），并將其他數(shù)字作為負類。

數(shù)據(jù)準備過程包括以下幾個步驟：

目標數(shù)字選擇：從訓練集中選取屬于目標數(shù)字的數(shù)據(jù)。

非目標數(shù)字選擇：從其他數(shù)字中均勻選取一定數(shù)量的數(shù)據(jù)，作為負類。

數(shù)據(jù)整合與打亂：將目標數(shù)字與非目標數(shù)字合并，并對數(shù)據(jù)進行隨機打亂，以防止順序對模型訓練產生偏差。

例如，當訓練一個關于數(shù)字3的SVM模型時，正類（目標數(shù)字）樣本是所有手寫的數(shù)字3，而負類（非目標數(shù)字）樣本包含了從數(shù)字0到9（除了數(shù)字3）的樣本。

2?數(shù)據(jù)預處理

對于SVM模型而言，數(shù)據(jù)預處理至關重要。在處理MNIST數(shù)據(jù)時，我采取了以下預處理步驟：

標準化：使用 StandardScaler 對輸入特征進行標準化，將每個像素的值轉化為零均值和單位方差的分布。標準化后的數(shù)據(jù)有助于提高SVM模型的訓練效果，因為SVM對特征的尺度非常敏感。

扁平化：將每張28x28的圖像轉化為一個784維的向量，因為SVM無法直接處理矩陣格式的數(shù)據(jù)。

3?模型訓練

我使用Scikit-learn中的 SVC 類來訓練SVM模型。SVC 是一種基于“最大間隔”原理的分類模型，其目標是通過尋找一個最佳的超平面來分離不同類別的樣本。在本實驗中，我使用了RBF核函數(shù)（徑向基函數(shù)）來處理非線性可分的情況。

訓練集與驗證集劃分：我將數(shù)據(jù)集劃分為訓練集和驗證集，訓練集占80%，驗證集占20%。訓練集用于訓練模型，而驗證集用于在訓練過程中監(jiān)控模型的表現(xiàn)，防止過擬合。

樣本選擇與模型訓練：我按照不同的訓練樣本數(shù)量（從10%到100%）對訓練集進行分割，并訓練SVM模型。每次選擇一部分樣本進行訓練，使用剩余的樣本進行驗證，以觀察不同訓練集大小下模型的表現(xiàn)。

模型參數(shù)：SVM模型使用的主要參數(shù)是正則化參數(shù)C和核函數(shù)類型。在本實驗中，C設為1.0，核函數(shù)選擇RBF。RBF核能夠將數(shù)據(jù)映射到高維空間，以便在該空間中找到一個線性分隔超平面。

4?模型評估

在訓練完成后，我通過以下幾個指標來評估SVM模型的效果：

訓練和驗證準確率：通過不同訓練集大小下的準確率變化，我評估了模型的學習曲線，并觀察模型是否存在過擬合或欠擬合的現(xiàn)象。

測試準確率：使用獨立的測試集對模型進行評估，計算最終的分類準確率。

混淆矩陣：混淆矩陣用來評估分類模型的表現(xiàn)，顯示了模型在各個類別上的預測結果。通過混淆矩陣，我能夠了解模型在不同類別上的分類效果，尤其是誤分類的情況。

分類報告：生成分類報告，其中包括精準率（precision）、召回率（recall）和F1分數(shù)等指標。這些指標能夠全面評估分類模型的表現(xiàn)，尤其是在處理不均衡數(shù)據(jù)時，它們比單純的準確率更加有價值。

5?結果可視化

為了更直觀地展示模型訓練過程與效果，我繪制了以下幾種圖表：

訓練曲線：展示了不同訓練集比例下的訓練集準確率和驗證集準確率，幫助我分析訓練樣本量對模型性能的影響，如圖4-1所示。

混淆矩陣：展示了每個數(shù)字識別模型在測試集上的混淆矩陣，幫助我更好地理解模型的錯誤類型，如圖4-2所示。

準確率分布圖：展示了所有數(shù)字模型的準確率分布，方便對比不同模型的表現(xiàn)，如圖4-1所示。

圖4-1 SVM模型判別數(shù)字0的訓練結果

圖4-2 基于SVM的十個二分類模型對比結果

根據(jù)圖4-1可知，隨著輪數(shù)的增加，模型在訓練集和測試集上的準確率逐漸增加，損失值逐漸變小；根據(jù)圖4-2可以看到使用SVM訓練時，模型整體準確率都在百分之95以上，最高可達到97.84%。

6?總結與展望

通過對MNIST數(shù)據(jù)集進行多次二分類訓練，我評估了每個數(shù)字模型的準確率，并進行了詳細的分析。在每個數(shù)字的識別任務中，支持向量機（SVM）展現(xiàn)出了較強的分類能力，特別是在選擇合適的核函數(shù)和正則化參數(shù)的情況下，模型的性能得到了顯著提升。在訓練出的十個二分類模型中，經過精心調優(yōu)的SVM在測試集上的平均準確率達到了97.84%。這一結果表明，SVM在處理MNIST數(shù)據(jù)集時具有較高的精度，能夠有效地進行數(shù)字分類，尤其是在高維特征空間中利用核函數(shù)進行非線性映射時，能夠捕捉到更復雜的類別邊界。

五、?總結

通過前面小節(jié)1-2的實驗結果可知，使用交叉熵損失函數(shù)會得到比較好的分類效果，所以我們后面均使用交叉熵損失函數(shù)，但是分別使用CNN+Softmax和CNN+Sigmoid函數(shù)、CNN+SVM、SVM進行分類，如下表5-1所示，是這幾種方法的對比結果。

表5-1 不同參數(shù)下的訓練指標

方法	準確率	精確率	召回率	F1分數(shù)	訓練時間(秒)
CNN	0.9875	0.9836	0.9834	0.9833	2.48
CNN+Softmax	0.988889	0.989189	0.989039	0.988888	6.810793
CNN+Sigmoid	0.995833333	0.9971428	0.960864436	0.978219878	15.16263766
CNN+SVM	0.9625	0.963188454	0.962136422	0.962092845	0.66445887
SVM	0.97839	0.99225	0.986584	0.979869	16.775245

從表5-1的對比結果可以看出，不同的分類方法在分類效果和訓練時間上各有優(yōu)劣。

首先，CNN+Sigmoid的分類效果在準確率、精確率和F1分數(shù)上都達到了較高水平，其中精確率（0.9971）和F1分數(shù)（0.9782）相較其他方法有顯著提升。然而，訓練時間（15.16秒）顯著高于其他方法，這可能是由于Sigmoid函數(shù)需要逐一計算每個輸出的概率值，而沒有利用Softmax的歸一化優(yōu)勢。其次，CNN+Softmax在分類性能上也表現(xiàn)優(yōu)秀，尤其是在準確率（0.9888）和精確率（0.9891）上僅次于CNN+Sigmoid，同時訓練時間（6.81秒）相較CNN+Sigmoid明顯更短。由于Softmax在多分類任務中的歸一化能力，這種方法在分類任務中具有較好的效率和平衡性。對于CNN+SVM，盡管在訓練時間上（0.66秒）遠低于其他方法，但分類性能略低于其他CNN方法，其準確率（0.9625）和精確率（0.9631）均不如Softmax和Sigmoid方法。這可能是因為SVM的決策邊界在處理特征復雜的多分類任務時較為局限。傳統(tǒng)的SVM方法在準確率（0.9783）和精確率（0.9922）上表現(xiàn)不錯，但在訓練時間上消耗最大（16.77秒），這主要是由于在高維特征空間中訓練SVM分類器的計算開銷較大。最后，基礎CNN模型雖然沒有加上額外的分類層，但其準確率（0.9875）和其他指標仍然表現(xiàn)出較好的水平，同時訓練時間（2.48秒）相較于Softmax和Sigmoid方法更低，體現(xiàn)出其在快速分類任務中的優(yōu)勢。

綜合來看，CNN+Softmax在分類性能與訓練時間之間達到了良好的平衡，因此可以作為后續(xù)多分類任務的首選方法；而對于追求更高分類精度的任務，可以考慮采用CNN+Sigmoid，盡管其訓練時間較長，但分類性能最優(yōu)。CNN+SVM和傳統(tǒng)SVM方法在特定場景（如低計算資源或對訓練時間要求較高）下也具有一定的應用價值。