電力智能問答RAG

文檔轉(zhuǎn)換、元信息抽取與增強(qiáng)及文檔解析模塊

在電力領(lǐng)域的知識處理中，文檔轉(zhuǎn)換、元信息抽取與增強(qiáng)及文檔解析模塊發(fā)揮著關(guān)鍵作用，以提升電力規(guī)范文檔的實(shí)用性和信息質(zhì)量，為后續(xù)的模型訓(xùn)練和問答應(yīng)用奠定基礎(chǔ)。

• 文檔轉(zhuǎn)換模塊：旨在自動化預(yù)處理和格式轉(zhuǎn)換電力規(guī)范文檔。例如，對于一份包含電力設(shè)備維護(hù)標(biāo)準(zhǔn)的 PDF 文檔，它會運(yùn)用文檔正文識別算法，去除題目、引言、目錄、附錄和參考文獻(xiàn)等非正文部分，僅保留如“設(shè)備維護(hù)的具體操作流程、安全注意事項(xiàng)”等正文信息。然后利用 PDF 到 Markdown 的轉(zhuǎn)換算法，將正文轉(zhuǎn)化為 Markdown 格式，確保標(biāo)題等級與原文一致，像原文檔中的一級標(biāo)題“設(shè)備維護(hù)總則”在轉(zhuǎn)換后仍為相應(yīng)的一級標(biāo)題，同時考慮頁碼和表格數(shù)據(jù)對標(biāo)題識別的干擾，保證同級和層級標(biāo)題的有序性。
• 元信息抽取模塊：主要提取章節(jié)標(biāo)題等關(guān)鍵信息來輔助理解文本段內(nèi)容。以一份關(guān)于電力系統(tǒng)運(yùn)行規(guī)范的文檔為例，該模塊能準(zhǔn)確提取出“電力系統(tǒng)啟動流程”“運(yùn)行參數(shù)監(jiān)測要點(diǎn)”等章節(jié)標(biāo)題作為元信息。這些元信息有助于快速定位和理解文檔中不同部分的主題，比如在問答過程中，當(dāng)問到關(guān)于電力系統(tǒng)啟動的問題時，可依據(jù)提取的“電力系統(tǒng)啟動流程”這一元信息快速找到相關(guān)內(nèi)容。