網(wǎng)站程序組成seo搜狗排名點擊
無縫融入,即刻智能[三]:Dify-LLM平臺知識庫構建(多路召回、精排重排),43K+星標見證專屬智能方案
大語言模型的訓練數(shù)據(jù)一般基于公開的數(shù)據(jù),且每一次訓練需要消耗大量算力,這意味著模型的知識一般不會包含私有領域的知識,同時在公開知識領域存在一定的滯后性。為了解決這一問題,目前通用的方案是采用 RAG(檢索增強生成)技術,使用用戶問題來匹配最相關的外部數(shù)據(jù),將檢索到的相關內容召回后作為模型提示詞的上下文來重新組織回復。
Dify 的知識庫功能將 RAG 管線上的各環(huán)節(jié)可視化,提供了一套簡單易用的用戶界面來方便應用構建者管理個人或者團隊的知識庫,并能夠快速集成至 AI 應用中。你只需準備文本內容,例如:
-
長文本內容(TXT、Markdown、DOCX、HTML、JSONL 甚至是 PDF 文件)
-
結構化數(shù)據(jù)(CSV、Excel 等)
另外,從諸多數(shù)據(jù)源同步數(shù)據(jù)至數(shù)據(jù)集,包括:
- 網(wǎng)頁
- Notion
- Github
- 數(shù)據(jù)庫
- ……
知識庫與文檔
在 Dify 中,知識庫(Knowledge)是一些文檔(Documents)的集合。一個知識庫可以被整體集成至一個應用中作為檢索上下文使用。文檔可以由開發(fā)者或運營人員上傳,或由其它數(shù)據(jù)源同步?