過擬合

簡單描述：訓(xùn)練集誤差小，測試集誤差大，模型評估指標(biāo)的方差（variance）較大；
判斷方式：
1、觀察 train set 和 test set 的誤差隨著訓(xùn)練樣本數(shù)量的變化曲線。
2、通過training accuracy 和 test accuracy 數(shù)值大小，直觀的判斷模型是否過擬合。
過擬合原因：數(shù)據(jù)，模型。 1、模型復(fù)雜度過高 2、訓(xùn)練數(shù)據(jù)過少 3、數(shù)據(jù)噪聲較大
如果，數(shù)據(jù)質(zhì)量較高，并且呈現(xiàn)出某種特有的“規(guī)律”，那么對于新數(shù)據(jù)，模型具有非常好的泛化能力。
解決方式：
1、重新清洗數(shù)據(jù)(刪除稀疏特征、對噪聲數(shù)據(jù)進(jìn)行處理)
2、重新采樣（改變采樣方法等）
3、增加訓(xùn)練數(shù)據(jù)
4、采用交叉驗證訓(xùn)練模型
5、重新篩選特征
6、降低模型復(fù)雜度（增加正則項：L1、L2）
7、dropout (讓神經(jīng)元一定概率不工作)。

你真的了解交叉驗證和過擬合嗎？

驗證集

作用：1、評估模型效果 2、調(diào)整超參數(shù)
調(diào)整超參數(shù)： 調(diào)整模型參數(shù)，需要用到訓(xùn)練集，測試集最終評估；
調(diào)整模型參數(shù)，訓(xùn)練集，調(diào)整超參數(shù)，驗證集，測試集最終評估。
多一種參數(shù)調(diào)節(jié)，多一種驗證集，不調(diào)超參數(shù)就不用驗證集。
評估模型效果：
觀察驗證集準(zhǔn)確率收斂情況，及時終止。
雖然也可以觀察擬合情況，但很多時候未必有用。因為你的驗證集畢竟出自訓(xùn)練集
（訓(xùn)練集=子訓(xùn)練集+驗證集），訓(xùn)練集里的噪音驗證集也一并繼承，所以你有時可能會發(fā)現(xiàn)這樣一種情況：訓(xùn)練集和驗證集準(zhǔn)確率都非常高（90%以上），測試集卻低得驚掉下巴。

深度學(xué)習(xí)的驗證集怎么用？

交叉驗證

核心思想：對數(shù)據(jù)集進(jìn)行多次劃分，對多次評估的結(jié)果取平均，從而消除單次劃分時數(shù)據(jù)劃分得不平衡而造成的不良影響。因為這種不良影響在小規(guī)模數(shù)據(jù)集上更容易出現(xiàn)，所以交叉驗證方法在小規(guī)模數(shù)據(jù)集上更能體現(xiàn)出優(yōu)勢。
交叉驗證不同作用時方式不同：
1、模型選擇，即選擇超參數(shù)
方式：數(shù)據(jù)集需要劃分成訓(xùn)練集、驗證集、測試集三部分，訓(xùn)練集和驗證集的劃分采用N折交叉的方式。
過程：
首先在訓(xùn)練集和驗證集上對多種模型選擇（超參數(shù)選擇）進(jìn)行驗證，選出平均誤差最小的模型（超參數(shù)）。選出合適的模型（超參數(shù)）后，可以把訓(xùn)練集和驗證集合并起來，在上面重新把模型訓(xùn)練一遍，得到最終模型，然后再用測試集測試其泛化能力。
(這個驗證集是不是只需要在訓(xùn)練完成之后，最后驗證一下得到精度，而不需要每訓(xùn)練幾個epoch，驗證一次，選擇中間驗證精度最高的。)

2、模型評估
模型是確定的，沒有多個候選模型需要選，只是用交叉驗證的方法來對模型的performance進(jìn)行評估。
數(shù)據(jù)集被劃分成訓(xùn)練集、測試集兩部分，訓(xùn)練集和測試集的劃分采用N折交叉的方式。
這種情況下沒有真正意義上的驗證集，可以叫做”交叉測試“。

交叉驗證與過擬合的關(guān)系：
1、當(dāng)用交叉驗證進(jìn)行模型選擇時，可以從多種模型中選擇出泛化能力最好的（即最不容易發(fā)生過擬合）的模型。從這個角度上講，交叉驗證是避免發(fā)生過擬合的手段。
2、當(dāng)用交叉驗證進(jìn)行模型評估時，交叉驗證不能解決過擬合問題，只能用來評估模型的performance。

交叉驗證優(yōu)缺點：
優(yōu)點：獲得對模型更合理更準(zhǔn)確的評估，尤其是數(shù)據(jù)集很小時，更能體現(xiàn)出這個優(yōu)勢。
缺點：增加了計算量。

N折交叉驗證的作用（如何使用交叉驗證）