目錄

1.模型訓(xùn)練

2.模型驗(yàn)證

3.模型融合

4.模型部署

---

上節(jié)課我們講了模型設(shè)計(jì)、特征工程，這節(jié)課我們來(lái)講模型構(gòu)建剩下的三個(gè)部分：模型訓(xùn)練、模型驗(yàn)證和模型融合。

1.模型訓(xùn)練

模型訓(xùn)練就是要不斷地訓(xùn)練、驗(yàn)證、調(diào)優(yōu)直至讓模型達(dá)到最優(yōu)。

那么怎么達(dá)到最優(yōu)呢？就是要繪制一條比較好的決策邊界。

決策邊界

就是在符合某種條件做出某種選擇的條件，根據(jù)這個(gè)條件可以將結(jié)果進(jìn)行劃分。

比如說(shuō)：下午6：00不寫完這篇博客我不吃飯，那么寫完了就去吃，沒(méi)寫完就不吃。這個(gè)條件就是我們說(shuō)的決策邊界。

決策邊界分為：線性決策邊界和非線性決策邊界。下圖中，圖1為線性決策邊界，圖2、圖3為非線性決策邊界。

決策邊界曲線的平滑程度和算法訓(xùn)練出來(lái)的模型能力息息相關(guān)。曲線越陡峭模型的測(cè)試精度越準(zhǔn)確，但是越陡峭的曲線模型越不穩(wěn)定。

所以為了找到好的決策邊界劃分結(jié)果，我們需要找到穩(wěn)定性和準(zhǔn)確率的平衡點(diǎn)。使用專業(yè)術(shù)語(yǔ)來(lái)講，我們就是需要找到泛化能力和擬合性能都好的平衡點(diǎn)。

通常，算法工程師會(huì)使用交叉驗(yàn)證來(lái)找到模型參數(shù)的最優(yōu)解。

總結(jié)：模型訓(xùn)練就是要找到一個(gè)劃分條件（決策邊界），使得準(zhǔn)確率（擬合）最高的同時(shí)兼顧穩(wěn)定性（泛化性能）。

?交叉驗(yàn)證

這里舉例10折交叉驗(yàn)證法。如果一個(gè)樣本集中有10個(gè)樣本數(shù)據(jù)，對(duì)數(shù)據(jù)進(jìn)行1-10的標(biāo)號(hào)。

先使用1-9號(hào)標(biāo)號(hào)的數(shù)據(jù)作為訓(xùn)練集，將10號(hào)標(biāo)號(hào)的數(shù)據(jù)作為測(cè)試集。

接著將9號(hào)標(biāo)號(hào)的數(shù)據(jù)作為訓(xùn)練集，其他數(shù)據(jù)作為測(cè)試集。

接著將8號(hào)標(biāo)號(hào)的數(shù)據(jù)作為訓(xùn)練集，其他數(shù)據(jù)作為測(cè)試集。

……

依次類推，然后將測(cè)試結(jié)果取出平均值。

如果這里有100個(gè)樣本，我們先將100個(gè)樣本隨機(jī)分成10組，將每一組按照這樣的方式進(jìn)行測(cè)試，然后10組再取平均值。

2.模型驗(yàn)證

算法工程師為了模型預(yù)測(cè)結(jié)果更加準(zhǔn)確，將模型構(gòu)建的比較復(fù)雜，越復(fù)雜的模型越依賴于訓(xùn)練集，但是越依賴訓(xùn)練集的模型泛化能力越差，造成過(guò)擬合的情況。

算法工程師為了使模型的泛化性能好一點(diǎn)，就降低模型的復(fù)雜度，這樣就造成了準(zhǔn)確率不高，也就是欠擬合。

下圖的偏差我們可以看作誤差率，而方差可以看作泛化能力?？梢灶惐葹槲覀冞@里的欠擬合和過(guò)擬合情況。

所以算法工程師在模型訓(xùn)練的絕大多數(shù)時(shí)間就是在找兩者的平衡點(diǎn)，找到適合的參數(shù)。但是有時(shí)候我們以為的最優(yōu)解并不是真正的最優(yōu)解，所以我們需要模型驗(yàn)證工作。

模型驗(yàn)證分為兩部分：模型性能和模型穩(wěn)定性。

模型性能：簡(jiǎn)而言之就是模型的預(yù)測(cè)準(zhǔn)不準(zhǔn)確。具體的評(píng)估指標(biāo)有具體章節(jié)來(lái)講。

模型的穩(wěn)定性：就是模型的效果可以持續(xù)多久？我們使用PSI指標(biāo)來(lái)判斷模型的穩(wěn)定性，具體的計(jì)算方法和合理范圍我們后面也會(huì)講到。

基于此我們知道我們需要了解模型的性能指標(biāo)、穩(wěn)定性指標(biāo)以及其合理范圍才能夠進(jìn)行模型的驗(yàn)證，判斷模型的好壞。

3.模型融合

我們以前談到的例子都是使用一個(gè)模型來(lái)講的，但是為了解決多種具體細(xì)節(jié)問(wèn)題，算法工程師往往需要建立多個(gè)模型才能獲得最佳的效果，此時(shí)就要考慮到模型的融合問(wèn)題。

模型融合就是同時(shí)訓(xùn)練多個(gè)模型，然后融合集成在一起提高整體的準(zhǔn)確率。

我們可以了解一些基本的融合方法，如下面的思維導(dǎo)圖中的方法。

想要詳細(xì)了解融合算法的可以看看下面兩篇文章，有上面講到的方法：【知出乎爭(zhēng)】模型融合方法總結(jié) - 知乎 (zhihu.com)?

【機(jī)器學(xué)習(xí)】模型融合方法概述 - 知乎 (zhihu.com)?

對(duì)于回歸模型而言加權(quán)平均就是采用算術(shù)平均或加權(quán)平均的方法來(lái)融合。?對(duì)于分類問(wèn)題而言，通常采用投票法來(lái)進(jìn)行融合，就是把概率最大的，票數(shù)最多的作為結(jié)果。

在模型融合的過(guò)程中，產(chǎn)品經(jīng)理需要做一個(gè)考慮成本問(wèn)題。有時(shí)候算法工程師可能為了提升AUC（模型預(yù)測(cè)效果）的一個(gè)點(diǎn)，增加特征規(guī)模，導(dǎo)致模型部署成本增加，所以我們要注意一下。

4.模型部署

算法部門和研發(fā)部門是兩個(gè)團(tuán)隊(duì)，為了降低彼此的依賴性，算法模型部署成獨(dú)立的任務(wù)，然后暴露一個(gè)HTTP API給工程團(tuán)隊(duì)來(lái)調(diào)用。

我們需要根據(jù)業(yè)務(wù)場(chǎng)景選擇離線/實(shí)時(shí)的部署。如果我們要實(shí)時(shí)的預(yù)測(cè)用戶的UGC類別，那么我們的模型就要部署成在線的web服務(wù)并提供實(shí)時(shí)響應(yīng)的API接口。如果模型只是需要對(duì)一段時(shí)間已有的數(shù)據(jù)進(jìn)行分類，那么我們模型只需要部署成離線的就可以啦！