ColdLLM：用于冷啟動(dòng)推薦的大語(yǔ)言模型模擬器

??這篇論文的前身是arXiv2024-Large Language Model Interaction Simulator for Cold-Start Item Recommendation（相關(guān)博客: 論文筆記-arXiv2024-LLM-InS ），可以移步查看LLM-InS。

論文: Large Language Model Simulator for Cold-Start Recommendation
代碼: 無(wú)

摘要

冷啟動(dòng)商品僅依賴于內(nèi)容特征，這限制了它們的推薦性能。目前的模型通過(guò)內(nèi)容特征生成嵌入，但未能解決核心問(wèn)題：缺乏歷史行為數(shù)據(jù)。

為了解決這個(gè)問(wèn)題，本文引入LLM模擬器框架，該框架利用大語(yǔ)言模型模擬用戶與冷啟動(dòng)商品的交互，從根本上解決了冷啟動(dòng)問(wèn)題。然而，僅使用 LLM 來(lái)遍歷所有用戶可能會(huì)在億級(jí)系統(tǒng)中引入顯著的復(fù)雜性。為管理計(jì)算復(fù)雜性，本文提出了一個(gè)用于在線推薦的耦合漏斗 ColdLLM 框架。ColdLLM 通過(guò)訓(xùn)練的耦合過(guò)濾器有效地將候選用戶數(shù)量從億級(jí)減少到數(shù)百，從而使 LLM 能夠在過(guò)濾后的用戶集上高效運(yùn)行。

1.引言

當(dāng)前的模型通常利用冷啟動(dòng)商品的內(nèi)容特征生成嵌入。一類模型是生成模型，試圖訓(xùn)練一個(gè)映射函數(shù)，以確保生成的嵌入接近行為嵌入。另一類模型是dropout 模型，通過(guò)結(jié)合生成的嵌入和行為嵌入進(jìn)一步增強(qiáng)推薦模型的適應(yīng)性。然而，現(xiàn)有的解決方案并未完全解決冷啟動(dòng)的根本問(wèn)題：冷啟動(dòng)商品缺乏行為數(shù)據(jù)，這使得冷啟動(dòng)商品與熱門商品本質(zhì)上存在差異。這一根本差異造成以下三個(gè)限制：

1. 內(nèi)容-行為差距：合成嵌入仍然是基于內(nèi)容特征生成的。這種方法導(dǎo)致合成嵌入與實(shí)際用戶行為和交互學(xué)習(xí)得到的嵌入之間存在顯著差異。
2. 次優(yōu)的冷推薦性能：當(dāng)前的冷啟動(dòng)模型通常專注于將冷商品與熱門商品一起推薦，而對(duì)熱門商品的影響不大，未能顯著提升熱門商品的推薦性能。
3. 內(nèi)容推薦與行為推薦的混淆：現(xiàn)有的冷啟動(dòng)模型通常進(jìn)行混合推薦，即將內(nèi)容特征嵌入和行為嵌入混合在一起。

大語(yǔ)言模型（LLMs）在解決上述限制方面顯示出潛力，因?yàn)長(zhǎng)LMs能夠從內(nèi)容特征中理解用戶偏好，并預(yù)測(cè)用戶對(duì)商品的意圖。然而，將 LLM 應(yīng)用于冷啟動(dòng)商品推薦面臨以下挑戰(zhàn)：

1. 冷啟動(dòng)行為的模擬：在沒(méi)有實(shí)際交互數(shù)據(jù)的情況下訓(xùn)練 LLM 以預(yù)測(cè)用戶對(duì)商品的意圖是一項(xiàng)挑戰(zhàn)。
2. 模擬的效率：LLM 在推理效率上面臨約束。為大量用戶模擬冷商品的用戶行為會(huì)產(chǎn)生顯著的計(jì)算復(fù)雜性。
3. 大規(guī)模推薦的可擴(kuò)展性：目前缺乏成熟的框架利用 LLM 來(lái)解決大規(guī)模推薦系統(tǒng)中的冷啟動(dòng)商品問(wèn)題。

因此，本文提出了一種新穎的 LLM 模擬器框架，從根本上解決商品冷啟動(dòng)問(wèn)題。為了解決設(shè)計(jì)挑戰(zhàn)，引入了 LLM 模擬器的定制結(jié)構(gòu)，包括用戶上下文構(gòu)建、提示設(shè)計(jì)和模擬過(guò)程。為了加速模擬過(guò)程，提出了用于在線推薦的 ColdLLM，它通過(guò)訓(xùn)練的耦合過(guò)濾器有效地將候選用戶從數(shù)十億縮減到數(shù)百。該過(guò)濾器與 LLM 一起訓(xùn)練，以支持其模擬。本研究的關(guān)鍵貢獻(xiàn)可以總結(jié)如下：

• 正式定義行為模擬問(wèn)題，并提出了一種新穎的 LLM 模擬器框架，從根本上解決冷啟動(dòng)推薦問(wèn)題。
• 為模擬器提出一種定制的訓(xùn)練策略和在線推薦應(yīng)用策略。
• 廣泛的離線實(shí)驗(yàn)證明模型在冷推薦性能上超越了現(xiàn)有解決方案 21.69%，為期兩周的 A/B 測(cè)試進(jìn)一步驗(yàn)證了 ColdLLM 的有效性。

2.前言

用戶集和商品集分別表示為 $U$ 和 $I$。有歷史交互的商品稱為熱商品，記為 $I_w?$；沒(méi)有歷史交互的商品稱為冷商品，記為 $I_c?$。每個(gè)熱商品都有一個(gè)交互用戶序列 ${\mathbf{s}}_i$。對(duì)于冷商品 $j$，交互用戶序列為空集，即 ${\mathbf{s}}_j=?$。通過(guò)歷史交互的用戶-商品對(duì)，可以學(xué)習(xí)每個(gè)用戶和熱商品的行為嵌入向量，記為 ${\mathbf{e}}_u?$。用 $C$ 表示商品的內(nèi)容，每個(gè)商品都有各自的內(nèi)容特征，記為 ${\mathbf{c}}_i?$。對(duì)于用戶，收集商品內(nèi)容列表，記為 $C_u?$。

本文聚焦于最具挑戰(zhàn)性的嚴(yán)格冷啟動(dòng)問(wèn)題，從商品冷啟動(dòng)的角度來(lái)看，冷商品缺乏任何歷史行為。在這種限制下，熱商品和冷商品的推薦方式有所不同。熱商品通過(guò)歷史用戶序列進(jìn)行推薦，這些序列通常編碼為行為嵌入。正式地，熱推薦可以定義為：

其中 ${\text{Emb}}_{cf}(?)$ 表示用于行為嵌入的協(xié)同過(guò)濾函數(shù)。冷商品的用戶序列集為空，這使得冷商品的推薦定義為：

3.方法

ColdLLM的框架圖如圖2所示：

3.1整體框架

傳統(tǒng)模型主要通過(guò)合成嵌入構(gòu)建方法來(lái)解決冷啟動(dòng)問(wèn)題，這可能導(dǎo)致冷商品與熱商品之間存在自然差距。一種基本解決方案是為每個(gè)冷商品模擬用戶行為，然后通過(guò)行為嵌入優(yōu)化獲得冷商品的嵌入。

3.1.1行為模擬

行為模擬總結(jié)了所有歷史行為以及用戶和商品的信息，以模擬可能的用戶，這些用戶可以幫助更新冷商品的嵌入?？紤]到這一點(diǎn)，本文利用 LLM 分析所有積極的歷史行為，作為生成冷商品用戶序列的模擬器。具體而言，ColdLLM 過(guò)程可以正式定義為：

在理想情況下，ColdLLM 可以訪問(wèn)冷商品 ${\mathbf{c}}_i$ 的信息、整個(gè)用戶集 $U$、所有用戶的完整歷史交互 $H$ 以及所有商品的內(nèi)容細(xì)節(jié) $C$。

3.1.2嵌入優(yōu)化

通過(guò)為冷商品模擬用戶序列，這些商品被轉(zhuǎn)化為熱商品。通過(guò)模擬的行為，推薦系統(tǒng)利用現(xiàn)有的行為嵌入優(yōu)化結(jié)構(gòu)，利用訓(xùn)練好的用戶和熱商品嵌入來(lái)優(yōu)化冷商品的嵌入。在離線數(shù)據(jù)集中，這種模擬甚至可以豐富訓(xùn)練數(shù)據(jù)，進(jìn)一步增強(qiáng)用戶表示。對(duì)于在線大規(guī)模平臺(tái)，模擬的交互僅用于更新冷商品的嵌入。最終用于下游任務(wù)的冷嵌入可以正式表示為：

其中 ${\text{Emb}}_{opt}(?)$ 表示推薦系統(tǒng)的一般行為嵌入優(yōu)化器，${\mathbf{e}}_i^{(c)}?$ 表示冷商品 $i$ 的嵌入，$s_i^{(c)}?$ 是冷商品的模擬用戶序列。$\mathbf{E}$ 表示所有訓(xùn)練好的熱嵌入，包括用戶和熱商品。

3.2耦合漏斗ColdLLM

與傳統(tǒng)的基于嵌入的模型相比，原始的 ColdLLM 不適用于十億規(guī)模的推薦。本小節(jié)提出了耦合漏斗 ColdLLM，以高效且有效地整合耦合過(guò)濾模型，并模擬冷啟動(dòng)項(xiàng)目的行為。

3.2.1過(guò)濾模擬

過(guò)濾過(guò)程的目的是將億級(jí)數(shù)據(jù)集中潛在用戶減少到幾十到幾千個(gè)范圍?；谇度氲倪^(guò)濾模型能夠有效地將用戶和項(xiàng)目嵌入到向量中，但在捕捉用戶的內(nèi)容級(jí)意圖和項(xiàng)目的高級(jí)內(nèi)容信息時(shí)遇到困難。為了解決這個(gè)問(wèn)題，本文用 LLM 處理的嵌入增強(qiáng)過(guò)濾模型。

本文使用 LLM 提取項(xiàng)目的內(nèi)容嵌入，然后應(yīng)用匹配函數(shù)將該嵌入映射用于行為過(guò)濾，表示如下：

其中，$f_i?$表示項(xiàng)目$i?$的過(guò)濾嵌入，$F_I(?)?$是映射函數(shù)，$LL{M}_{emb}(?)?$是 LLM 嵌入讀取函數(shù)。

嵌入讀取函數(shù)的設(shè)計(jì)旨在從 LLM 中提取內(nèi)容嵌入。具體而言，首先獲得最后一層的嵌入，該嵌入代表處理后的標(biāo)記信息，然后應(yīng)用均值池化以推導(dǎo)任何給定冷啟動(dòng)項(xiàng)目的內(nèi)容特征嵌入：

其中，$E^{(L)}(c_i)[j]?$表示 LLM 的第 𝐿 層的第 𝑗 個(gè)嵌入。這里，${\mathbf{c}}_i$代表項(xiàng)目的內(nèi)容特征，${\mathbf{c}}_i[j]$指的是${\mathbf{c}}_i$ 中的第$j$個(gè)標(biāo)記，$|{\mathbf{c}}_i|$表示 ${\mathbf{c}}_i$中標(biāo)記的總數(shù)。

為了過(guò)濾出可能與冷啟動(dòng)項(xiàng)目互動(dòng)的用戶，同時(shí)考慮內(nèi)容嵌入和行為嵌入。使用映射后的用戶嵌入和映射后的項(xiàng)目嵌入的點(diǎn)積來(lái)識(shí)別前 𝐾 個(gè)最高得分候選：

其中，$F_U$ 是用戶的映射函數(shù)。

3.2.2精煉模擬

過(guò)濾之后使用大型語(yǔ)言模型（LLMs）進(jìn)行檢查和增強(qiáng)。在每次迭代中，將用戶的上下文和項(xiàng)目的內(nèi)容輸入到 LLM 中，LLM 會(huì)輸出用戶是否會(huì)與該項(xiàng)目互動(dòng)的預(yù)測(cè)，顯示“是”或“否”。精煉模塊考慮了三個(gè)技術(shù)細(xì)節(jié)方面：

（1）上下文構(gòu)建：利用過(guò)濾過(guò)程中獲得的項(xiàng)目嵌入來(lái)篩選相關(guān)項(xiàng)目。

（2）設(shè)計(jì)prompt：包含三個(gè)部分，即固定prompt，用戶上下文和項(xiàng)目?jī)?nèi)容。

（3）精煉：遍歷過(guò)濾后的用戶集，僅保留被 LLM 模擬器預(yù)測(cè)為“是”的用戶。

3.3模擬器訓(xùn)練

3.3.1LLM訓(xùn)練

采用低秩微調(diào)策略，以確保 LLM 能夠捕捉推薦場(chǎng)景的數(shù)據(jù)分布。

3.3.2耦合過(guò)濾模型訓(xùn)練

耦合過(guò)濾模型有兩個(gè)設(shè)計(jì)方案：1. 反映用戶與項(xiàng)目的行為；2. 與 LLM 結(jié)合。具體而言，利用兩對(duì)嵌入的組合來(lái)實(shí)現(xiàn)這一目的。

行為過(guò)濾的訓(xùn)練

對(duì)于每個(gè)給定的用戶-項(xiàng)目對(duì) $(u,i)$，隨機(jī)選擇一個(gè)負(fù)對(duì) $(u,j)$。這些對(duì)可以集合表示為三元組 $(u,i,j)$。行為過(guò)濾的輸出可以表達(dá)為：${\hat{Y}}_{ui}^{(B)}$。使用 BPR 損失來(lái)優(yōu)化行為過(guò)濾模型的推薦性能：

其中 $\sigma (?)$ 是 sigmoid 函數(shù)。該損失鼓勵(lì)過(guò)濾模型將積極項(xiàng)目的排名高于消極項(xiàng)目。此外，本文還利用 ALDI 中的對(duì)齊損失來(lái)幫助行為過(guò)濾的訓(xùn)練。

耦合 ColdLLM 過(guò)濾的訓(xùn)練

對(duì)于耦合的 LLM 過(guò)濾，應(yīng)用${\hat{Y}}_{ui}^{(L)}$來(lái)過(guò)濾用戶。除了 BPR 損失，引入耦合的 ColdLLM 損失，以保持與耦合過(guò)濾模型中的 ColdLLM 的相似性：

3.4實(shí)現(xiàn)策略

3.4.1實(shí)際部署

如圖 3 所示，ColdLLM 框架由三個(gè)主要組件組成：(i) 在線服務(wù)；(ii) 在線訓(xùn)練（嵌入更新）；(iii) 離線模擬。

當(dāng)新項(xiàng)目上傳到平臺(tái)時(shí)，首先利用ColdLLM模擬用戶交互以進(jìn)行嵌入更新。這些模擬的用戶-項(xiàng)目對(duì)隨后被輸入到在線嵌入更新結(jié)構(gòu)中。由于這些交互是模擬的而非實(shí)際用戶行為，僅更新冷項(xiàng)目的嵌入。最后，將更新后的冷項(xiàng)目嵌入傳送到在線推薦服務(wù)。

3.4.2復(fù)雜性分析

ColdLLM 的計(jì)算復(fù)雜性主要包括三個(gè)部分：耦合過(guò)濾復(fù)雜性、耦合精煉復(fù)雜性和嵌入更新復(fù)雜性。

（1）耦合過(guò)濾：利用類似 FAISS 的相似性索引框架，可以高效地將候選用戶從數(shù)十億縮減到數(shù)百，復(fù)雜度為O(1)，大約耗時(shí) 60 毫秒。

（2）耦合精煉：使用微調(diào)的 LLaMA-7B 模型來(lái)精煉過(guò)濾后的候選，以識(shí)別 20 個(gè)合格用戶。該過(guò)程對(duì)于每個(gè)用戶-項(xiàng)目對(duì)大約需要 200-400 毫秒。總的來(lái)說(shuō)，LLM 精煉階段的時(shí)間不超過(guò) 8 秒。

（3）嵌入更新：在線嵌入過(guò)程利用模擬的交互在 120 毫秒內(nèi)優(yōu)化冷項(xiàng)目的嵌入。

4.實(shí)驗(yàn)

4.1實(shí)驗(yàn)設(shè)置

數(shù)據(jù)集：CiteULike和ML-10M

基線：

1. 基于 Dropout 的嵌入模擬模型：DropoutNet、MTPR 和 CLCRec

2. 基于生成的嵌入模擬模型：DeepMusic、MetaEmb、GNP、GAR和 ALDI

3. 行為模擬模型：UCC和MIGCN

為了進(jìn)一步驗(yàn)證 ColdLLM 的普遍性，在三個(gè)廣泛使用的推薦骨干網(wǎng)絡(luò)上驗(yàn)證這些模型：MF、NGCF和 LightGCN。

評(píng)估指標(biāo)：Recall@20 and NDCG@20

4.2模型性能

結(jié)論：

1. ColdLLM 在當(dāng)前方法上實(shí)現(xiàn)了顯著的提升。從表中可以看出，ColdLLM 在不同的數(shù)據(jù)集和骨干網(wǎng)絡(luò)上均表現(xiàn)出優(yōu)勢(shì)。

2. 基于生成的嵌入模擬模型在熱門和整體推薦中的表現(xiàn)通常優(yōu)于基于 Dropout 的嵌入模擬模型。這表明，通過(guò)相同的嵌入層強(qiáng)制熱門行為嵌入與冷內(nèi)容嵌入對(duì)齊，可能會(huì)導(dǎo)致熱門項(xiàng)目推薦的性能下降。

3. 現(xiàn)有的行為模擬模型在整體和熱門推薦中保持了相對(duì)良好的性能，但在冷推薦中表現(xiàn)不足。這可能是因?yàn)閮H基于內(nèi)容信息和深度神經(jīng)網(wǎng)絡(luò)（DNN）進(jìn)行的行為生成不足以準(zhǔn)確模擬冷項(xiàng)目的行為。

4.3消融實(shí)驗(yàn)

結(jié)論：

1. w/o LSF 和 w/o BF 的性能下降表明了過(guò)濾模擬的有效性。

2. w/o LSF & R 和 w/o BF & R 的模型表現(xiàn)出比 w/o LSF 和 w/o BF 更顯著的性能下降，表明了精煉階段的必要性。

4.4超參數(shù)實(shí)驗(yàn)

結(jié)論：

1. 過(guò)濾候選數(shù)量K的影響：從結(jié)果中可以看出，整體和熱門推薦的最佳結(jié)果是在適中的 $K$ 值下實(shí)現(xiàn)的，例如 CiteULike 中的 $K=10$。相反，對(duì)于冷推薦，較大的 $K$ 更有利，其中 $K=50$ 在 CiteULike 中產(chǎn)生最佳結(jié)果。然而，過(guò)大的 $K$ 可能會(huì)通過(guò)引入來(lái)自無(wú)關(guān)交互的噪聲而降低性能。

2. 學(xué)習(xí)率的影響：從圖中可以觀察到，三種推薦任務(wù)在相似的最佳學(xué)習(xí)率下達(dá)到了最佳結(jié)果，這表明學(xué)習(xí)率的調(diào)整對(duì)所有三個(gè)任務(wù)均適用。

4.5在線評(píng)估

為了驗(yàn)證 ColdLLM 在工業(yè)環(huán)境中的有效性，本文在一個(gè)大型電子商務(wù)平臺(tái)上進(jìn)行了在線 A/B 測(cè)試。實(shí)驗(yàn)持續(xù)了兩周，涉及每組 5% 的用戶。將 ColdLLM 與三種代表性基準(zhǔn)進(jìn)行比較：隨機(jī)推薦、MetaEmb和 ALDI。表 3 展示了這些在線 A/B 測(cè)試的結(jié)果。

結(jié)論：

在所有指標(biāo)上的顯著提升突顯了 ColdLLM 在解決實(shí)際推薦系統(tǒng)中商品冷啟動(dòng)問(wèn)題的有效性。

5.總結(jié)

本文提出 ColdLLM，從根本上解決了大規(guī)模推薦系統(tǒng)中的冷啟動(dòng)問(wèn)題，顯著提高了性能和經(jīng)濟(jì)效益。在線和離線實(shí)驗(yàn)都驗(yàn)證了 ColdLLM 的有效性?；谶@些觀察，ColdLLM 為在大規(guī)模在線推薦中利用大語(yǔ)言模型開(kāi)辟了新的可能性。