1.網(wǎng)絡(luò)爬蟲(chóng)簡(jiǎn)介

網(wǎng)絡(luò)爬蟲(chóng)是一種按照一定的規(guī)則，自動(dòng)爬去萬(wàn)維網(wǎng)信息的程序或腳本。一般從某個(gè)網(wǎng)站某個(gè)網(wǎng)頁(yè)開(kāi)始，讀取網(wǎng)頁(yè)的內(nèi)容，同時(shí)檢索頁(yè)面包含的有用鏈接地址，然后通過(guò)這些鏈接地址尋找下一個(gè)網(wǎng)頁(yè)，再做相同的工作，一直循環(huán)下去，直到按照某種策略把互聯(lián)網(wǎng)所有的網(wǎng)頁(yè)都抓完為止。

網(wǎng)絡(luò)爬蟲(chóng)的分類

網(wǎng)絡(luò)爬蟲(chóng)大致有4種類型：通過(guò)網(wǎng)絡(luò)爬蟲(chóng)、聚焦網(wǎng)絡(luò)爬蟲(chóng)、增量式網(wǎng)絡(luò)爬蟲(chóng)、深層網(wǎng)絡(luò)爬蟲(chóng)。

• 通用網(wǎng)絡(luò)爬蟲(chóng)：爬取的目標(biāo)數(shù)據(jù)巨大，并且范圍非常廣，性能要求非常高。主要應(yīng)用在大型搜索引擎中，有非常高的應(yīng)用價(jià)值，或者應(yīng)用于大型數(shù)據(jù)提供商。
• 聚焦網(wǎng)絡(luò)爬蟲(chóng)：按照預(yù)先定義好的主題，有選擇地進(jìn)行網(wǎng)頁(yè)爬取的一種爬蟲(chóng)。將爬取的目標(biāo)網(wǎng)頁(yè)定位在與主題相關(guān)的頁(yè)面中，大大節(jié)省爬蟲(chóng)爬取時(shí)所需要的帶寬資源和服務(wù)器資源。主要應(yīng)用在對(duì)特定信息的爬取中為某一類特定的人群提供服務(wù)。
• 增量式網(wǎng)絡(luò)爬蟲(chóng)：在爬取網(wǎng)頁(yè)的時(shí)候，只爬取內(nèi)容發(fā)生變化的網(wǎng)頁(yè)或者新產(chǎn)生的網(wǎng)頁(yè)，對(duì)于內(nèi)容未變化的網(wǎng)頁(yè)，則不會(huì)爬。增量式網(wǎng)絡(luò)爬蟲(chóng)在一定的程度上能夠保證爬取的頁(yè)面盡可能是新頁(yè)面。
• 深層網(wǎng)絡(luò)爬蟲(chóng)：網(wǎng)頁(yè)按存在方式可以分為表層頁(yè)面和深層頁(yè)面。表層頁(yè)面指不需要提交表單，使用靜態(tài)的鏈接就能夠到達(dá)的靜態(tài)頁(yè)面；深層頁(yè)面則隱藏在表單后面，不能通過(guò)靜態(tài)鏈接直接獲取，需要提交一定的關(guān)鍵詞之后才能獲取的頁(yè)面。

網(wǎng)絡(luò)爬蟲(chóng)的作用

1）搜索引擎：為用戶提供相關(guān)且有效的內(nèi)容，創(chuàng)建所有訪問(wèn)頁(yè)面的快照以供后續(xù)處理。使用聚焦網(wǎng)絡(luò)爬蟲(chóng)實(shí)現(xiàn)任何門(mén)戶網(wǎng)站上的搜索引擎或搜索功能，有助于找到與搜索主題具有最高相關(guān)性的網(wǎng)頁(yè)。

2）建立數(shù)據(jù)集：用于研究、業(yè)務(wù)和其他目的。

• 了解和分析網(wǎng)民對(duì)公司或組織的行為。
• 收集營(yíng)銷(xiāo)信息，并在短期內(nèi)更好地做出營(yíng)銷(xiāo)決策。
• 從互聯(lián)網(wǎng)收集信息，分析他們并進(jìn)行學(xué)術(shù)研究。
• 收集數(shù)據(jù)，分析一個(gè)行業(yè)的長(zhǎng)期發(fā)展趨勢(shì)。
• 監(jiān)控競(jìng)爭(zhēng)對(duì)手的實(shí)時(shí)變化。

網(wǎng)絡(luò)爬蟲(chóng)的工作流程

預(yù)先設(shè)定一個(gè)或若干個(gè)初始種子URL開(kāi)始，以此獲得初始網(wǎng)頁(yè)上的URL列表，在爬行過(guò)程中不斷從URL隊(duì)列中獲取URL，進(jìn)而訪問(wèn)并下載該頁(yè)面。

當(dāng)頁(yè)面下載后，頁(yè)面解析器去掉頁(yè)面上的HTML標(biāo)記并得到頁(yè)面內(nèi)容，將摘要、URL等信息保存到Web數(shù)據(jù)庫(kù)中，同時(shí)抽取當(dāng)前網(wǎng)頁(yè)上新的URL，推入U(xiǎn)RL隊(duì)列，知道滿足系統(tǒng)停止條件。

2.使用urllib

python2：urllib+urllib2

python3：urllib2+urllib3

urllib 是Python中請(qǐng)求URL連接的官方標(biāo)準(zhǔn)庫(kù)，共有4個(gè)模塊：

• urllib.request：主要負(fù)責(zé)構(gòu)造和發(fā)起網(wǎng)絡(luò)請(qǐng)求，定義了適用于各種復(fù)雜情況下打開(kāi)URL的函數(shù)和類。
• urllib.error：異常處理。
• urllib.parse：解析各種數(shù)據(jù)格式。
• urllib.robotparser：解析robots.txt文件。

發(fā)起請(qǐng)求

'''
http.client.HTTPResponse = urllib.request.urlopen(url,data,timeout,cafile,capath,context)
cafile,capath 使用https時(shí)使用
http.client.HTTPResponse = urllib.request.urlopen(urllib.request.Request)
返回響應(yīng)對(duì)象
'''
import urllib.request
baidu_url = 'http://www.baidu.com'
sina_url = 'http://www.sina.com'
r = urllib.request.urlopen(sina_url) # 發(fā)起請(qǐng)求，返回響應(yīng)對(duì)象
h = r.read().decode('utf-8') # 讀取數(shù)據(jù)并解碼
print(h)

提交數(shù)據(jù)：使用data參數(shù)提交數(shù)據(jù)

import urllib.request
import urllib.parsebaidu_url = 'http://www.baidu.com'
sina_url = 'http://www.sina.com'
p = {'name':'Python','author':'admin'
}
d = bytes(urllib.parse.urlencode(p),encoding='utf8') # 進(jìn)行編碼，將字典轉(zhuǎn)化為字符串再字節(jié)流
r = urllib.request.urlopen(sina_url,data=d,timeout=1) # 傳入?yún)?shù)，發(fā)起請(qǐng)求，返回響應(yīng)對(duì)象
h = r.read().decode('utf-8') # 讀取數(shù)據(jù)并解碼
print(h)

設(shè)置請(qǐng)求頭：需要指定請(qǐng)求頭

'''
urllib.request.Request(url,data=None,headers={},origin_req_host=None,unverifiable=False,method=None)
'''
# 瀏覽器，開(kāi)發(fā)者工具，標(biāo)頭
# urllib.request.Request(url,data=None,headers={},origin_req_host=None,unverifiable=False,method=None)
import urllib.request
baidu_url = 'http://www.baidu.com'
headers = {'User-Agent':'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/119.0.0.0 Safari/537.36'
}
req = urllib.request.Request(url=baidu_url,headers=headers)
r = urllib.request.urlopen(req)
h = r.read().decode('utf-8')
print(h)

使用代理：處理cookie等信息時(shí)。

'''
Handler
OpenerDirector
'''
import urllib.request
baidu_url = 'http://www.baidu.com'
headers = {'User-Agent':'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/119.0.0.0 Safari/537.36'
}
# 通過(guò)第三方服務(wù)器尋找，具有實(shí)效性，可設(shè)置多個(gè)
proxy = urllib.request.ProxyHandler({'http':'125.71.212.17:9000','http':'113.71.212.17:9000'}
)
opener = urllib.request.build_opener(proxy) # 創(chuàng)建代理
urllib.request.install_opener(opener) # 安裝代理
req = urllib.request.Request(url=baidu_url,headers=headers)
r = urllib.request.urlopen(req)
h = r.read().decode('utf-8')
print(h)

認(rèn)證登錄：需要先登入才能訪問(wèn)瀏覽頁(yè)面。

1. 創(chuàng)建一個(gè)賬號(hào)密碼管理對(duì)象。
2. 添加賬號(hào)和密碼。
3. 獲取一個(gè)handler對(duì)象。
4. 獲取opener對(duì)象。
5. 使用open()函數(shù)發(fā)起請(qǐng)求。

import urllib.request
url = 'http://cnblogs.com/xtznb'
user = 'user'
password = 'password'
pwdmgr = urllib.request.HTTPPasswordMgrWithDefaultRealm() # 創(chuàng)建一個(gè)賬號(hào)密碼管理對(duì)象
pwdmgr.add_password(None,url,user,password) # 添加賬號(hào)和密碼
auth_handler = urllib.request.HTTPBasicAuthHandler(pwdmgr) # 獲取一個(gè)handler對(duì)象
opener = urllib.request.build_opener(auth_handler) # 獲取opener對(duì)象
response = opener.open(url) # 使用open()函數(shù)發(fā)起請(qǐng)求
print(response.read().decode('utf-8'))

設(shè)置Cookies：頁(yè)面每次需要生成驗(yàn)證，可以使用Cookies自動(dòng)登入。

1. 實(shí)例化Cookies對(duì)象。
2. 構(gòu)建一個(gè)handler對(duì)象。
3. 使用opener對(duì)象的open()發(fā)起請(qǐng)求。

import urllib.request
import http.cookiejar
url = 'http://tieba.baidu.com'
file = 'cookie.txt'
cookie = http.cookiejar.CookieJar() # 實(shí)例化Cookies對(duì)象
handler = urllib.request.HTTPCookieProcessor(cookie) # 構(gòu)建一個(gè)handler對(duì)象
opener = urllib.request.build_opener(handler)
response = opener.open(url) # 使用opener對(duì)象的open()發(fā)起請(qǐng)求
f = open(file,'a') # 追加模式寫(xiě)入
for i in cookie: # 迭代寫(xiě)入信息f.write(i.name + '=' + i.value + '\n')
f.close() # 關(guān)閉文件

3.使用request

requests模塊是在urllib3模塊基礎(chǔ)上進(jìn)行了高度封裝，使用更方便，網(wǎng)絡(luò)請(qǐng)求也變得更加簡(jiǎn)潔和人性化。在爬取數(shù)據(jù)時(shí)，urllib爬取數(shù)據(jù)之后直接斷開(kāi)連接，而requests爬取數(shù)據(jù)之后可以繼續(xù)復(fù)用socket，并沒(méi)有斷開(kāi)連接。

發(fā)起GET請(qǐng)求

使用requests模塊的get()方法可以發(fā)送GET請(qǐng)求。

'''
response = get(url,params=None,**kwargs)
url：請(qǐng)求的URL地址
params：字典或字節(jié)序列，作為參數(shù)增加到URL中
**kwargs：控制訪問(wèn)的參數(shù)
'''
import requests
r = requests.get('http://www.baidu.com')
print(r.url) # http://www.baidu.com/
print(r.cookies) # <RequestsCookieJar[<Cookie BDORZ=27315 for .baidu.com/>]>
r.encoding = 'utf-8'
print(r.encoding) # utf-8
print(r.text) # 網(wǎng)頁(yè)源代碼
print(r.content) # 二進(jìn)制字節(jié)流
print(r.headers) # 文件頭
print(r.status_code) # 狀態(tài)碼
# 手工附加
r = requests.get('http://www.baidu.com/?key=val')
# 使用params關(guān)鍵字參數(shù)
payload1 = {'key1':'value1','key2':'value2'}
r = requests.get('http://www.baidu.com',params=payload1)
payload2 = {'key1':'value1','key2':['value2','value3']}
r = requests.get('http://www.baidu.com',params=payload2)
# 請(qǐng)求頭形式
headers = {'Content-Type':'text/html; charset=utf-8','User-Agent':'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/119.0.0.0 Safari/537.36'
}
r = requests.get('http://www.baidu.com',headers=headers)
# 設(shè)置代理
headers = {'Content-Type':'text/html; charset=utf-8','User-Agent':'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/119.0.0.0 Safari/537.36'
}
p = {'http':'120.25.253.234.0000'
}
r = requests.get('http://www.baidu.com',headers=headers,proxies=p)

也可以使用timeout參數(shù)設(shè)置延時(shí)時(shí)間，使用verify參數(shù)設(shè)置整數(shù)驗(yàn)證，使用cookies參數(shù)傳遞cookie信息等。

發(fā)送POST請(qǐng)求

HTTP協(xié)議規(guī)定POST提交的數(shù)據(jù)必須放在消息主題中，但協(xié)議并沒(méi)有規(guī)定數(shù)據(jù)必須使用什么編碼方式，具體的編碼方式有3種：

• form表單形式：application/x-www-form-urlencoded
• JSON字符串提交數(shù)據(jù)：application/json
• 上傳文件：multipart/form-data

發(fā)送POST請(qǐng)求，可以使用post()方法，也返回一個(gè)Response對(duì)象。

示例1：form形式發(fā)送POST請(qǐng)求。

import requests
payload = {'key1':'value1','key2':'value2'}
r = requests.post('http://httpbin.org/post',params=payload)
print(r.text)
'''輸出
{"args": {"key1": "value1", "key2": "value2"}, "data": "", "files": {}, "form": {}, "headers": {"Accept": "*/*", "Accept-Encoding": "gzip, deflate", "Content-Length": "0", "Host": "httpbin.org", "User-Agent": "python-requests/2.27.1", "X-Amzn-Trace-Id": "Root=1-656f516d-18cccab474d121d705eb3ad9"}, "json": null, "origin": "218.104.29.129", "url": "http://httpbin.org/post?key1=value1&key2=value2"
}
'''

示例2：JSON格式發(fā)送POST請(qǐng)求。

import requests
import json
payload = {'key1':'value1','key2':'value2'}
r = requests.post('http://httpbin.org/post',data=json.dumps(payload))
print(r.text)
'''
{"args": {}, "data": "{\"key1\": \"value1\", \"key2\": \"value2\"}", "files": {}, "form": {}, "headers": {"Accept": "*/*", "Accept-Encoding": "gzip, deflate", "Content-Length": "36", "Host": "httpbin.org", "User-Agent": "python-requests/2.27.1", "X-Amzn-Trace-Id": "Root=1-656f5282-3f08151e1fbbeec54501ed80"}, "json": {"key1": "value1", "key2": "value2"}, "origin": "218.104.29.129", "url": "http://httpbin.org/post"
}
'''

示例3：上傳文件發(fā)送POST請(qǐng)求。

# 新建文本文件report.txt，輸入一行Hello world
import requests
files = {'file':open('report.txt','rb')}
r = requests.post('http://httpbin.org/post',files=files)
print(r.text)
'''
{"args": {}, "data": "", "files": {"file": "Hello world"}, "form": {}, "headers": {"Accept": "*/*", "Accept-Encoding": "gzip, deflate", "Content-Length": "157", "Content-Type": "multipart/form-data; boundary=44a0c52d3705bdc2a8a6ffa85ccc00bc", "Host": "httpbin.org", "User-Agent": "python-requests/2.27.1", "X-Amzn-Trace-Id": "Root=1-656f538f-5c062ec1599c4fbe082aa840"}, "json": null, "origin": "218.104.29.129", "url": "http://httpbin.org/post"
}
'''

requests 不僅提供了GET和POST請(qǐng)求方式，還提供了其他請(qǐng)求方式：put、delete、head、options。

GET主要用于從指定的資源請(qǐng)求數(shù)據(jù)，而POST主要用于向指定的資源提交要被處理的數(shù)據(jù)。

4.使用BeautifulSoup

使用requests模塊僅能抓去一些網(wǎng)頁(yè)源碼，但是如何對(duì)源碼進(jìn)行篩選、過(guò)濾，精確找到需要的數(shù)據(jù)，就要用到BeautifulSoup。它是一個(gè)可以從HTML或XML文件中提取數(shù)據(jù)的Python庫(kù)。

BeautifulSoup支持Python標(biāo)準(zhǔn)庫(kù)種的HTML解析器，還支持一些第三方的解析器，如果不安裝，則python默認(rèn)的解析器，lxml解析器就更加強(qiáng)大，速度更快，推薦使用lxml解析器。

解析器字符串

• html.parser：BeautifulSoup(html,'html.parser')默認(rèn)執(zhí)行速度一般，容錯(cuò)能力強(qiáng)。
• lxml：BeautifulSoup(html,'lxml')速度快文檔容錯(cuò)能力強(qiáng)。
• xml：BeautifulSoup(html,'xml')速度快，主要針對(duì)XML文檔。
• html5lib：BeautifulSoup(html,'html5lib')最好的容錯(cuò)性，主要針對(duì)HTML5文檔。

BeautifulSoup自動(dòng)將輸入文檔轉(zhuǎn)換為Unicode編碼，輸出文檔轉(zhuǎn)換為UTF-8編碼。

環(huán)境配置

'''
pip install beautifulsoup4
# 需要調(diào)用HTML解析器，安裝如下
pip install html5lib
pip install lxml
'''

示例3：

# 新建test.html，輸入以下內(nèi)容
<!DOCTYPE html>
<html>
<head><meta charset="utf-8"><title>Hello,world</title>
</head>
<body>
<div class="book"><span><!--這里是注釋的部分--></span><a href="https://www.baidu.com">百度一下，你就知道</a><p class="a">這是一個(gè)示例</p>
</div>
</body>
</html># 新建py文件
from bs4 import BeautifulSoup
f = open('paichong/test.html','r',encoding='utf-8') # 打開(kāi)文件
html = f.read()
f.close()
soup = BeautifulSoup(html,'html5lib') # 指定html5lib解析器
print(type(soup))

節(jié)點(diǎn)對(duì)象

BeautifulSoup將復(fù)雜HTML文檔轉(zhuǎn)換成一個(gè)復(fù)雜的樹(shù)形結(jié)構(gòu)，每個(gè)節(jié)點(diǎn)都是Python對(duì)象，對(duì)象歸納為：Tag、NavigableString、BeautifulSoup、Comment。

• Tag：標(biāo)簽
• NavigableString：標(biāo)簽包裹的文本
• BeautifulSoup：解析網(wǎng)頁(yè)所得到的對(duì)象
• Comment：注釋或者特殊字符串。

from bs4 import BeautifulSoup
f = open('paichong/test.html','r',encoding='utf-8') # 打開(kāi)文件
html = f.read()
f.close()
soup = BeautifulSoup(html,'html5lib') # 指定html5lib解析器
print(type(soup))
tag = soup.p # 讀取p標(biāo)簽
print(tag.name) # 讀取p標(biāo)簽名稱
print(tag["class"]) # 屬性值
print(tag.get_text()) # 文本

文檔遍歷

遍歷節(jié)點(diǎn)屬性如下：

• contents：獲取所有字節(jié)點(diǎn)，包含NavigableString對(duì)象，返回的是一個(gè)列表。
• children：獲取所有子節(jié)點(diǎn)，返回的是一個(gè)迭代器。
• descendants：獲取所有子孫節(jié)點(diǎn)，返回的是一個(gè)迭代器。
• string：獲取直接包含的文本。
• strings：獲取全部包含的文本，返回一個(gè)可迭代對(duì)象。
• parent：獲取上一層父節(jié)點(diǎn)。
• parents：獲取父輩節(jié)點(diǎn)，返回一個(gè)可迭代對(duì)象。
• next_sibling：獲取當(dāng)前節(jié)點(diǎn)的下一個(gè)兄弟節(jié)點(diǎn)。
• next_siblings：獲取當(dāng)前節(jié)點(diǎn)的下方所有兄弟節(jié)點(diǎn)。
• previous_sibling：獲取當(dāng)前節(jié)點(diǎn)的上一個(gè)兄弟節(jié)點(diǎn)。
• previous_siblings：獲取當(dāng)前節(jié)點(diǎn)的上方所有兄弟節(jié)點(diǎn)。

from bs4 import BeautifulSoup
f = open('paichong/test.html','r',encoding='utf-8') # 打開(kāi)文件
html = f.read()
f.close()
soup = BeautifulSoup(html,'html5lib') # 指定html5lib解析器
tags = soup.head.children # 獲取head的所有子節(jié)點(diǎn)
print(tags)
for tag in tags:print(tag)

文檔搜索

• find_all(name[,name1,…])：name為標(biāo)簽名稱，直接標(biāo)簽字符串過(guò)濾。
• find_all(attires = {‘屬性名稱’:‘屬性值’})： 搜索屬性。
• find_all(name,text=”文本內(nèi)容“) ：搜索文本
• find_all(name,recursive=False)：限制查找范圍。
• find_all(re.compile(”b”))：正則表達(dá)式。

a = soup.find_all('a',text='百度一下，你就知道')
a = soup.find_all(re.compile('a'))
print(a)

CSS選擇器

select() 方法傳入字符串參數(shù)。詳細(xì)見(jiàn)：http://www.w3.org/TR/CSS2/selector.html。

from bs4 import BeautifulSoup
import re
f = open('paichong/test.html','r',encoding='utf-8') # 打開(kāi)文件
html = f.read()
f.close()
soup = BeautifulSoup(html,'html5lib') # 指定html5lib解析器
tags = soup.select(".a")
print(tags) # [<p class="a">這是一個(gè)示例</p>]