在互聯(lián)網(wǎng)時代，新聞的實時性和時效性變得尤為重要。很多行業(yè)、技術(shù)、商業(yè)等領域的新聞都可以為公司或者個人發(fā)展提供有價值的信息。如果你有一項需求是要實時監(jiān)控某個行業(yè)的新聞，自動化抓取并定期輸出這些新聞，Python爬蟲可以幫你輕松實現(xiàn)這一目標。

本文將通過一個案例，帶你一步一步實現(xiàn)一個簡單的Python爬蟲，用于實時監(jiān)控新聞網(wǎng)站的數(shù)據(jù)。

背景

在某些行業(yè)中，獲取最新的新聞信息至關重要。通過定期抓取新聞網(wǎng)站的頭條新聞，我們可以為用戶提供行業(yè)熱點的動態(tài)變化。本文的目標是創(chuàng)建一個爬蟲，定期訪問一個新聞網(wǎng)站，獲取新聞的標題和鏈接，并打印出來。

環(huán)境準備

在開始編寫代碼之前，我們需要安裝幾個Python的第三方庫：

• requests：用于發(fā)送HTTP請求。
• beautifulsoup4：用于解析網(wǎng)頁HTML內(nèi)容。
• schedule：用于設置定時任務，使爬蟲能夠自動運行。

可以通過以下命令安裝這些庫：

pip install requests beautifulsoup4 schedule

請求網(wǎng)頁數(shù)據(jù)

在爬取新聞之前，我們首先要獲取目標網(wǎng)頁的HTML內(nèi)容。通過requests庫可以方便地發(fā)送GET請求，并返回頁面內(nèi)容。以下是請求網(wǎng)頁的代碼：

import requests# 請求頭配置
HEADERS = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36'
}# 爬蟲請求函數(shù)
def fetch_news(url):try:print(f"Attempting to fetch: {url}")  # 調(diào)試信息response = requests.get(url, headers=HEADERS, timeout=10)print(f"Status code: {response.status_code}")  # 打印狀態(tài)碼if response.status_code == 200:return response.textelse:print(f"Failed to fetch {url}. Status code: {response.status_code}")return Noneexcept requests.exceptions.RequestException as e:print(f"Error fetching {url}: {e}")return None

• HEADERS用于模擬瀏覽器訪問，避免被網(wǎng)站屏蔽。
• fetch_news函數(shù)發(fā)送GET請求并返回網(wǎng)頁內(nèi)容。如果請求成功，則返回HTML內(nèi)容。

解析網(wǎng)頁數(shù)據(jù)

一旦我們獲取了網(wǎng)頁的HTML內(nèi)容，就需要解析這些內(nèi)容，提取出我們關心的數(shù)據(jù)（例如新聞標題和鏈接）。這里我們使用beautifulsoup4來解析HTML并提取新聞數(shù)據(jù)。

from bs4 import BeautifulSoup# 解析Al Jazeera新聞頁面
def parse_aljazeera_page(page_content):soup = BeautifulSoup(page_content, 'html.parser')news_items = []articles = soup.find_all('a', class_='u-clickable-card__link')print(f"Found {len(articles)} articles on Al Jazeera")for article in articles:title_tag = article.find('h3')if title_tag:title = title_tag.text.strip()link = article['href']if link.startswith('http'):news_items.append({'title': title,'link': link})else:# 如果鏈接是相對路徑，拼接完整鏈接full_link = f"https://www.aljazeera.com{link}"news_items.append({'title': title,'link': full_link})return news_items

• BeautifulSoup用于解析HTML內(nèi)容。
• parse_aljazeera_page函數(shù)從頁面中找到所有新聞條目，并提取每個新聞的標題和鏈接。

定時任務

爬蟲的核心功能是定期抓取新聞信息。為了實現(xiàn)這一點，我們可以使用schedule庫來設置定時任務，定時運行爬蟲。

import schedule
import time# 定時執(zhí)行任務
def run_scheduler():# 每隔10分鐘抓取一次新聞schedule.every(10).minutes.do(monitor_news)while True:print("Scheduler is running...")  # 調(diào)試信息schedule.run_pending()time.sleep(1)

• 我們使用schedule.every(10).minutes.do(monitor_news)設置每10分鐘執(zhí)行一次monitor_news函數(shù)，獲取并輸出新聞。

綜合代碼

將之前的部分代碼整合在一起，并加入一個監(jiān)控新聞的函數(shù)：

def monitor_news():url = 'https://www.aljazeera.com/'page_content = fetch_news(url)if page_content:news_items = parse_aljazeera_page(page_content)if news_items:print(f"News from {url}:")for news in news_items:print(f"Title: {news['title']}")print(f"Link: {news['link']}")print("-" * 50)else:print(f"No news items found at {url}.")else:print(f"Failed to fetch {url}.")if __name__ == '__main__':monitor_news()  # 手動調(diào)用一次，看看是否能抓取新聞run_scheduler()  # 繼續(xù)運行定時任務

使用代理IP提升穩(wěn)定性

爬蟲在運行時，可能會遇到反爬機制導致IP被封禁的情況。為了規(guī)避這一問題，我們可以通過配置代理IP來提高爬蟲的穩(wěn)定性。下面是如何使用亮數(shù)據(jù)代理API的配置示例：

# 代理API配置
PROXY_API_URL = 'https://api.brightdata.com/proxy'
API_KEY = 'your_api_key'  # 請?zhí)鎿Q為實際API密鑰

• PROXY_API_URL：亮數(shù)據(jù)的代理API接口地址。
• API_KEY：你的API密鑰，用于認證API請求。

通過修改爬蟲的請求函數(shù)，將代理配置加到請求中，可以讓爬蟲通過多個IP地址進行請求，從而降低被封禁的風險：

def fetch_news_with_proxy(url):try:print(f"Attempting to fetch with proxy: {url}")  # 調(diào)試信息response = requests.get(url,headers=HEADERS,proxies={"http": PROXY_API_URL, "https": PROXY_API_URL},timeout=10)print(f"Status code: {response.status_code}")  # 打印狀態(tài)碼if response.status_code == 200:return response.textelse:print(f"Failed to fetch {url}. Status code: {response.status_code}")return Noneexcept requests.exceptions.RequestException as e:print(f"Error fetching {url}: {e}")return None

運行截圖與完整代碼

運行截圖：

完整代碼如下

import requests
from bs4 import BeautifulSoup
import schedule
import time# 請求頭配置
HEADERS = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36'
}# 亮數(shù)據(jù)代理API配置
PROXY_API_URL = 'https://api.brightdata.com/proxy'
API_KEY = 'your_api_key'  # 請?zhí)鎿Q為實際API密鑰# 爬蟲請求函數(shù)
def fetch_news(url):try:print(f"Attempting to fetch: {url}")  # 調(diào)試信息response = requests.get(url, headers=HEADERS, timeout=10)print(f"Status code: {response.status_code}")  # 打印狀態(tài)碼if response.status_code == 200:return response.textelse:print(f"Failed to fetch {url}. Status code: {response.status_code}")return Noneexcept requests.exceptions.RequestException as e:print(f"Error fetching {url}: {e}")return None# 解析Al Jazeera新聞頁面
def parse_aljazeera_page(page_content):soup = BeautifulSoup(page_content, 'html.parser')news_items = []articles = soup.find_all('a', class_='u-clickable-card__link')print(f"Found {len(articles)} articles on Al Jazeera")for article in articles:title_tag = article.find('h3')if title_tag:title = title_tag.text.strip()link = article['href']if link.startswith('http'):news_items.append({'title': title,'link': link})else:# 如果鏈接是相對路徑，拼接完整鏈接full_link = f"https://www.aljazeera.com{link}"news_items.append({'title': title,'link': full_link})return news_items# 定時任務
def run_scheduler():schedule.every(10).minutes.do(monitor_news)while True:print("Scheduler is running...")  # 調(diào)試信息schedule.run_pending()time.sleep(1)# 新聞監(jiān)控函數(shù)
def monitor_news():url = 'https://www.aljazeera.com/'page_content = fetch_news(url)if page_content:news_items = parse_aljazeera_page(page_content)if news_items:print(f"News from {url}:")for news in news_items:print(f"Title: {news['title']}")print(f"Link: {news['link']}")print("-" * 50)else:print(f"No news items found at {url}.")else:print(f"Failed to fetch {url}.")# 主程序
if __name__ == '__main__':monitor_news()  # 手動調(diào)用一次，看看是否能抓取新聞run_scheduler()  # 繼續(xù)運行定時任務

通過這一方式，爬蟲不僅能抓取并顯示新聞內(nèi)容，還能避開反爬機制，提升抓取穩(wěn)定性。

總結(jié)

通過上述步驟，我們實現(xiàn)了一個簡單的Python爬蟲，用于實時抓取Al Jazeera新聞網(wǎng)站的數(shù)據(jù)，并通過定時任務每隔一定時間自動抓取一次。在爬蟲運行過程中，可能會遇到反爬機制導致IP被封禁的情況。為了避免這個問題，我們可以通過配置代理IP來提高爬蟲的穩(wěn)定性。