簡介

trafilatura 是一個用于從網(wǎng)頁上提取文本的命令行工具和 python 包:

1. 提供網(wǎng)絡(luò)爬蟲、下載、抓取以及提取主要文本、元數(shù)據(jù)和評論等功能
2. 可幫助網(wǎng)站導(dǎo)航和從站點地圖和提要中提取鏈接
3. 無需數(shù)據(jù)庫，輸出即可轉(zhuǎn)換為各種常用格式（txt,csv,json,xml,xmltei）
4. 可用于搜索引擎優(yōu)化

首次用戶

1. 使用 x env use trafilatura 即可自動下載并使用

   • 在終端運行 eval "$(curl https://get.x-cmd.com)" 即可完成 x 命令安裝, 詳情參考 x-cmd 官網(wǎng)

2. x-cmd 提供1分鐘教程，其中包含了 trafilatura 命令常用功能的 demo 示例，可以幫你快速上手 trafilatura 。

3. 使用案例：

   

   # 安裝 trafilatura
   x env use trafilatura# 提取指定網(wǎng)頁的主要內(nèi)容
   trafilatura -u "https://www.x-cmd.com/start"# 使用站點地圖抓取 x-cmd 關(guān)于 7za 的網(wǎng)站
   trafilatura --sitemap "https://www.x-cmd.com" --list | grep 7za > list.txt# 批量處理 URL 列表，并存儲結(jié)果到目錄中
   trafilatura -i list.txt -o txtfiles# 優(yōu)化 bing 搜索結(jié)果
   trafilatura --links --xml -u "https://www.bing.com/search?q=gitea"
   

技術(shù)特點

1. 穩(wěn)健高效的提取：
   1. 除了可以提取主要文本之外，還可以提取元數(shù)據(jù)（標(biāo)題、作者、日期、網(wǎng)站名稱、類別和標(biāo)簽），結(jié)構(gòu)化信息（段落、標(biāo)題、列表、引號、代碼、換行符、行內(nèi)文本格式）
   2. 從原始 HTML 轉(zhuǎn)換為關(guān)鍵部分，去除由重復(fù)出現(xiàn)的元素（頁眉和頁腳、廣告、鏈接/博客等）組成的噪音
2. 支持 URL 管理（黑名單、過濾和重復(fù)數(shù)據(jù)刪除）
3. 支持可選附加組件：
   1. 對提取內(nèi)容進行語言檢測
   2. 圖形用戶界面 (GUI)
   3. 速度優(yōu)化
4. 更加高效、準確。從官方給出的評估和替代方案的數(shù)據(jù)來看，該工具的性能明顯優(yōu)于其他開源解決方案。

競品和相關(guān)作品

1. goose3：用 Java 編寫的文章提取器。
2. readabilipy：Python 中的簡單 HTML 內(nèi)容提取器。
3. news-please：是一個開源、易于使用的新聞爬蟲，可以從幾乎所有新聞網(wǎng)站中提取結(jié)構(gòu)化信息。

進一步閱讀

• trafilatura 源代碼 - trafilatura 項目的源代碼托管在 GitHub，你可以在這里找到最新版本的 trafilatura 和參與社區(qū)貢獻。
• trafilatura 官網(wǎng) - 提供了非常豐富的使用案例和技術(shù)分析文檔。
• 使用 Trafilatura 進行文本抓取 - 該文章介紹了如何使用 trafilatura 快速提取網(wǎng)頁問題。

X-CMD 官網(wǎng)

• x-cmd-pkg

• x-cmd-1min