Anthropic 對(duì)用戶與 Claude 3.5 Sonnet 的大量匿名對(duì)話展開分析，主要發(fā)現(xiàn)及相關(guān)情況如下：

• 使用用途分布

  • 軟件開發(fā)主導(dǎo)：在各類使用場(chǎng)景中，軟件開發(fā)占比最高，其中編碼占 Claude 對(duì)話的 15% - 25%，網(wǎng)頁(yè)和移動(dòng)應(yīng)用開發(fā)超 10%，AI 與機(jī)器學(xué)習(xí)應(yīng)用占 6%，DevOps 和云基礎(chǔ)設(shè)施約 4%，數(shù)據(jù)分析占 3.5%。表明該模型在技術(shù)開發(fā)領(lǐng)域應(yīng)用廣泛且重要。

  • 商業(yè)與小眾應(yīng)用多樣：商業(yè)相關(guān)用途中，文本生成與交流約占 9%，學(xué)術(shù)研究和寫作超 7%，商業(yè)策略和運(yùn)營(yíng)近 6%。還有如在《龍與地下城》中擔(dān)任地下城主、解夢(mèng)等小眾用途，顯示模型應(yīng)用場(chǎng)景豐富多元。

• 問題揭示

  • 違反政策行為：大量用戶通過設(shè)計(jì)提示繞過安全分類器，利用 Claude 進(jìn)行露骨性角色扮演，嚴(yán)重違反公司使用政策，凸顯用戶行為管理的必要性。

  • 安全分類器缺陷：存在對(duì)話聚類標(biāo)記錯(cuò)誤的情況，部分應(yīng)標(biāo)記未標(biāo)記，不應(yīng)標(biāo)記卻被標(biāo)記，表明安全分類器準(zhǔn)確性有待提升。

• 研究工具與意義

  • Clio 工具作用：Anthropic 開發(fā)的 Clio 工具利用 Claude 3.5 Sonnet 提取對(duì)話摘要并聚類，經(jīng)多步驟處理分析數(shù)據(jù)，在保護(hù)隱私同時(shí)為研究提供有效信息。

  • 研究重要意義：傳統(tǒng)調(diào)查方法了解 AI 使用情況易不準(zhǔn)確，Clio 工具類似谷歌趨勢(shì)監(jiān)測(cè)搜索行為，能助力 AI 開發(fā)者發(fā)現(xiàn)小眾用例、找出缺陷，優(yōu)化訓(xùn)練和測(cè)試數(shù)據(jù)，更好滿足用戶需求，推動(dòng) AI 技術(shù)健康發(fā)展。