前言

繼上次我們寫了數(shù)據(jù)采集與AI分析，亮數(shù)據(jù)+通義千問助力跨境電商前行的文章之后，好多小伙伴來后臺留言，表示對亮數(shù)據(jù)的數(shù)據(jù)采集非常感興趣，并且感覺用起來非常順手，大大減少了小白用戶獲取數(shù)據(jù)的成本。

在這兒，阿Q有必要再重復(fù)一下數(shù)據(jù)采集在跨境電商領(lǐng)域的重要性：隨著行業(yè)競爭的日益激烈和市場的快速演變，數(shù)據(jù)采集不僅能讓企業(yè)洞悉不同國家和地區(qū)的市場需求與消費(fèi)習(xí)慣，還能深入剖析目標(biāo)市場的特征、客戶行為模式以及行業(yè)發(fā)展的新趨勢。通過數(shù)據(jù)采集，跨境電商企業(yè)能夠精確調(diào)整產(chǎn)品定位，優(yōu)化營銷策略，以實現(xiàn)更高的市場響應(yīng)度和顧客滿意度。

今天阿Q將帶領(lǐng)大家一起來探索下亮數(shù)據(jù)的其他重要功能：亮數(shù)據(jù)瀏覽器、亮網(wǎng)絡(luò)解鎖器。

數(shù)據(jù)采集工具

工欲善其事，必先利其器。接下來介紹下本次實戰(zhàn)用到的兩款采集工具：

亮數(shù)據(jù)瀏覽器

亮數(shù)據(jù)瀏覽器是市面上第一款內(nèi)置自動網(wǎng)站解鎖功能的瀏覽器，它可以輕松實現(xiàn)批量網(wǎng)頁數(shù)據(jù)的抓取。他的特點如下：

• 兼容Puppeteer, Playwright和Selenium：
  比內(nèi)置代理和解鎖技術(shù)的自動瀏覽器和無頭瀏覽器更強(qiáng)大，輕松調(diào)用API以獲取任意數(shù)量的瀏覽器會話，并使用Puppeteer (Python)、Playwright (Node.js)或Selenium與它們交互。非常適合需要網(wǎng)站交互來檢索數(shù)據(jù)的抓取項目，例如將鼠標(biāo)懸停在頁面上、單擊按鈕、滾動、添加文本等。
• 解鎖最強(qiáng)大的網(wǎng)頁屏蔽：
  大規(guī)模抓取總是需要復(fù)雜的解鎖操作，亮數(shù)據(jù)瀏覽器后臺自動管理所有網(wǎng)站解鎖操作：CAPTCHA解決、瀏覽器指紋識別、自動重試、標(biāo)頭選擇、cookie和Javascript渲染等，節(jié)省時間和資源。
• 輕易繞過任何機(jī)器人檢測軟件：
  使用 AI 技術(shù)，亮數(shù)據(jù)瀏覽器會不斷調(diào)整，自動學(xué)習(xí)繞過機(jī)器人檢測系統(tǒng)，以真實用戶瀏覽器的形式出現(xiàn)在機(jī)器人檢測系統(tǒng)中，以實現(xiàn)比代理更高的解鎖成功率，告別屏蔽麻煩，節(jié)約成本。
• 根據(jù)需要批量使用網(wǎng)絡(luò)抓取瀏覽器：
  亮數(shù)據(jù)瀏覽器托管在強(qiáng)大的可高度擴(kuò)展的基礎(chǔ)架構(gòu)之上，這賦予你自由使用任何數(shù)量的瀏覽器來運(yùn)行數(shù)據(jù)抓取項目的可能
• 具有一系列集成的多合瀏覽器：
  使用由API支持的一站式瀏覽器來抓取公開網(wǎng)絡(luò)數(shù)據(jù)，節(jié)省時間和成本。

亮網(wǎng)絡(luò)解鎖器

亮網(wǎng)絡(luò)解鎖器可以以前所未有的成功率自動解鎖防范最嚴(yán)密的網(wǎng)站。它的成功率超高，不成功不收費(fèi)，自動化周期管理，并且不需要任何的編碼和爬蟲經(jīng)驗即可使用。

亮網(wǎng)絡(luò)解鎖器主要亮點：

• 自動重試請求管理：機(jī)器學(xué)習(xí)重試和驗證碼解析，讓我們的請求獲得快速成功
• 內(nèi)容驗證：請求時間、數(shù)據(jù)類型、響應(yīng)內(nèi)容進(jìn)行驗證
• 網(wǎng)絡(luò)指紋全程自動處理：網(wǎng)絡(luò)（IP類型、動態(tài)IP、TSL協(xié)議）、協(xié)議（HTTP標(biāo)頭控制,生成用戶代理,支持HTTP2）、OS/硬件（模擬設(shè)備、屏幕分辨率、內(nèi)存、cpu等）、瀏覽器Cookie管理,仿真瀏覽器指紋(字體,音頻,畫布等)

數(shù)據(jù)采集實戰(zhàn)

ebay網(wǎng)站數(shù)據(jù)采集

ebay是一個全球知名的電商平臺，以其多樣化的產(chǎn)品選擇和便捷的交易方式著稱。從古董、藝術(shù)品到電子產(chǎn)品、時尚服飾，ebay上幾乎可以找到各種消費(fèi)者需求的商品，為賣家提供了一個龐大的全球市場，也為買家提供了豐富多樣的購物選擇。

進(jìn)入ebay官網(wǎng)，只需在搜索框中輸入“Mouse”，點擊搜索后，會被迅速引導(dǎo)至一個與鼠標(biāo)相關(guān)的商品列表頁面。這個頁面以直觀的方式展示了眾多鼠標(biāo)產(chǎn)品，每張商品圖片都清晰地展示了鼠標(biāo)的外觀，而旁邊的文字描述則詳細(xì)列出了鼠標(biāo)的品牌、型號、價格等關(guān)鍵信息，讓我們能夠輕松瀏覽并找到滿足您需求的鼠標(biāo)產(chǎn)品。

環(huán)境配置與安裝

首先進(jìn)入控制臺頁面，點擊基礎(chǔ)設(shè)施，然后點擊開始使用

進(jìn)入亮數(shù)據(jù)瀏覽器配置頁面后，填寫解決方案名稱，然后添加到控制臺中

在控制臺中顯示通道中有剛剛創(chuàng)建好的亮數(shù)據(jù)瀏覽器后，則說明配置成功。

要使用亮數(shù)據(jù)瀏覽器，需要在本機(jī)安裝相關(guān)依賴環(huán)境。首先切換到本機(jī)，打開CMD窗口，輸入pip3 install playwright安裝playwright，系統(tǒng)會默認(rèn)安裝其相關(guān)依賴。如圖所示，安裝成功

數(shù)據(jù)采集

回到控制臺，點擊代理IP網(wǎng)絡(luò)和爬蟲基礎(chǔ)設(shè)施，選擇剛剛創(chuàng)建好的亮數(shù)據(jù)瀏覽器，點擊進(jìn)入詳情。

訪問參數(shù)介紹：

• 主機(jī)是遠(yuǎn)程瀏覽器代理的默認(rèn)主機(jī)地址和端口。其中brd.superproxy.io是服務(wù)器的地址，而9222和9515則是這個服務(wù)監(jiān)聽的兩個端口號。通過這個地址和端口，客戶端可以與遠(yuǎn)程的瀏覽器實例進(jìn)行通信。
• 用戶名和密碼是用于身份驗證的，只有在成功連接到遠(yuǎn)程瀏覽器代理并提供了正確的用戶名和密碼之后，才能證明客戶端對代理的訪問權(quán)限。
• IP用于授權(quán)可以訪問遠(yuǎn)程瀏覽器代理的地址，需要將本機(jī)的IP添加到有使用權(quán)限的IP這一欄中。

然后點擊右下角的查看代碼和集成示例，進(jìn)入集成示例頁面

可以看到，亮數(shù)據(jù)瀏覽器為我們提供了Node.js、Python、C#、Java語言，提供了Puppeter、Playwright、Selenium等多種庫，這里選擇使用Python + Playwright的方法進(jìn)行設(shè)計。

將鼠標(biāo)列表的鏈接https://www.ebay.com/sch/i.html?_from=R40&_trksid=p2334524.m570.l1313&_nkw=Mouse&_sacat=0&_odkw=%E9%BC%A0%E6%A0%87&_osacat=0作為目標(biāo)網(wǎng)站，定位國家選擇印度（India），生成代碼如下，部分信息用*號進(jìn)行加密處理

import asyncio
from playwright.async_api import async_playwrightSBR_WS_CDP = 'wss://brd-customer-hl_****-zone-browser_mouse-country-in:*****@brd.superproxy.io:9222'async def run(pw):print('Connecting to Scraping Browser...')browser = await pw.chromium.connect_over_cdp(SBR_WS_CDP)try:page = await browser.new_page()print('Connected! Navigating to https://www.ebay.com/sch/i.html?_from=R40&_trksid=p2334524.m570.l1313&_nkw=Mouse&_sacat=0&_odkw=%E9%BC%A0%E6%A0%87&_osacat=0...')await page.goto('https://www.ebay.com/sch/i.html?_from=R40&_trksid=p2334524.m570.l1313&_nkw=Mouse&_sacat=0&_odkw=%E9%BC%A0%E6%A0%87&_osacat=0')# CAPTCHA handling: If you're expecting a CAPTCHA on the target page, use the following code snippet to check the status of Scraping Browser's automatic CAPTCHA solver# client = await page.context.new_cdp_session(page)# print('Waiting captcha to solve...')# solve_res = await client.send('Captcha.waitForSolve', {#     'detectTimeout': 10000,# })# print('Captcha solve status:', solve_res['status'])print('Navigated! Scraping page content...')html = await page.content()print(html)finally:await browser.close()async def main():async with async_playwright() as playwright:await run(playwright)if __name__ == '__main__':asyncio.run(main())

然后將生成的代碼復(fù)制到 mouse.py中，使用python mouse.py 執(zhí)行，得到完整的content數(shù)據(jù)如下，完成本節(jié)任務(wù)！

Temu網(wǎng)站數(shù)據(jù)采集

Temu，作為一家創(chuàng)立于2019年的電商平臺，專注于服務(wù)年輕消費(fèi)群體。該平臺匯集了眾多時尚、潮流且品質(zhì)上乘的消費(fèi)品，涵蓋了從時尚的服飾鞋類，到實用的家居用品，再到貼心的個人護(hù)理產(chǎn)品，以及運(yùn)動健康用品等多元化選擇。Temu的一大亮點在于其親民的價格策略，它始終致力于為顧客提供物有所值、性價比高的商品。

此外，Temu深知網(wǎng)絡(luò)安全的重要性，因此在網(wǎng)站安全方面采取了多項嚴(yán)密措施。在用戶進(jìn)行登錄、注冊或提交表單等操作時，Temu會要求用戶輸入驗證碼，以驗證用戶身份的真實性；同時，它還會檢測訪問請求的IP地址，以識別并防止?jié)撛诘木W(wǎng)絡(luò)攻擊；此外，Temu還采用了動態(tài)頁面加載技術(shù)，以提高網(wǎng)站的安全性和穩(wěn)定性，從而有效防止異常訪問的發(fā)生。

如上圖在使用Temu時，系統(tǒng)會跳出驗證碼，要求正確輸入驗證碼以完成操作。這一機(jī)制的主要目的是確認(rèn)用戶不是機(jī)器人或自動化腳本，從而有效防止惡意注冊、暴力獲取數(shù)據(jù)等不當(dāng)行為。

亮網(wǎng)絡(luò)解鎖器能在后臺完全模擬真實用戶操作，能高效繞過驗證碼的阻止和限制，模擬真實用戶和網(wǎng)絡(luò)指紋，發(fā)送并發(fā)請求，獲得完美暢通的響應(yīng)。

亮網(wǎng)絡(luò)解鎖器配置

進(jìn)入控制臺頁面，點擊基礎(chǔ)設(shè)施，選擇亮網(wǎng)絡(luò)解鎖器，開始使用。

進(jìn)入亮網(wǎng)絡(luò)解鎖器配置頁面，填寫解決方案名稱，然后添加到控制臺中。

數(shù)據(jù)采集

跟亮數(shù)據(jù)瀏覽器一樣，需要配置一下本地ip，開放權(quán)限，然后點擊代碼示例

亮網(wǎng)絡(luò)解鎖器提供了API、瀏覽器、移動代理等類型，并提供了Chrome、Edge、Safari、Firefox、Android等多種方式。這里選擇API方法，選擇Python作為語言。

將搜索的車載支架鏈接https://www.temu.com/search_result.html?search_key=%E8%BD%A6%E8%BD%BD%E6%94%AF%E6%9E%B6&search_method=user&refer_page_el_sn=200010&srch_enter_source=top_search_entrance_10005&_x_sessn_id=m7zkobrml4&refer_page_name=home&refer_page_id=10005_1718866879913_0rhl7yv3dt&refer_page_sn=10005放到目標(biāo)網(wǎng)站內(nèi)，然后定位國家依舊是印度（India），生成代碼示例，使用*進(jìn)行加密處理

#!/usr/bin/env python
print('If you get error "ImportError: No module named \'six\'" install six:\n'+\'$ sudo pip install six');
print('To enable your free eval account and get CUSTOMER, YOURZONE and ' + \'YOURPASS, please contact sales@brightdata.com')
import sys
import ssl
ssl._create_default_https_context = ssl._create_unverified_context
if sys.version_info[0]==2:import sixfrom six.moves.urllib import requestopener = request.build_opener(request.ProxyHandler({'http': 'http://brd-customer-*******-zone-web_unlocker1-country-in:******@brd.superproxy.io:22225','https': 'http://brd-customer-hl_******-zone-web_unlocker1-country-in:******@brd.superproxy.io:22225'}))print(opener.open('https://www.temu.com/search_result.html?search_key=%E8%BD%A6%E8%BD%BD%E6%94%AF%E6%9E%B6&search_method=user&refer_page_el_sn=200010&srch_enter_source=top_search_entrance_10005&_x_sessn_id=m7zkobrml4&refer_page_name=home&refer_page_id=10005_1718866879913_0rhl7yv3dt&refer_page_sn=10005').read())
if sys.version_info[0]==3:import urllib.requestopener = urllib.request.build_opener(urllib.request.ProxyHandler({'http': 'http://brd-customer-hl_*****-zone-web_unlocker1-country-in:*****@brd.superproxy.io:22225','https': 'http://brd-customer-hl_*****-zone-web_unlocker1-country-in:*****@brd.superproxy.io:22225'}))print(opener.open('https://www.temu.com/search_result.html?search_key=%E8%BD%A6%E8%BD%BD%E6%94%AF%E6%9E%B6&search_method=user&refer_page_el_sn=200010&srch_enter_source=top_search_entrance_10005&_x_sessn_id=m7zkobrml4&refer_page_name=home&refer_page_id=10005_1718866879913_0rhl7yv3dt&refer_page_sn=10005').read())

將以上代碼放到test.py文件中，使用python test.py執(zhí)行，得到完整的content數(shù)據(jù)如下，完成本節(jié)任務(wù)！

總結(jié)

在對比內(nèi)置代理和解鎖技術(shù)的自動或無頭瀏覽器時，亮數(shù)據(jù)瀏覽器以其卓越的功能脫穎而出。用戶通過亮數(shù)據(jù)瀏覽器的管理界面，能夠輕松設(shè)置抓取任務(wù)和參數(shù)，實現(xiàn)多會話的批量數(shù)據(jù)抓取，從而顯著提高了工作效率，降低了人力和時間成本。這種高度自動化的特性讓亮數(shù)據(jù)瀏覽器在面對網(wǎng)絡(luò)環(huán)境的各種挑戰(zhàn)時，都能展現(xiàn)出卓越的適應(yīng)性。

亮網(wǎng)絡(luò)解鎖器不僅模擬瀏覽網(wǎng)頁、點擊鏈接和數(shù)據(jù)抓取等操作，而且能夠精準(zhǔn)高效地完成任務(wù)。其智能IP請求管理功能尤為出色，可以根據(jù)目標(biāo)網(wǎng)站的規(guī)則和限制，自動調(diào)整請求頻率，有效防止因請求過于頻繁而導(dǎo)致的IP屏蔽問題。對于數(shù)據(jù)科學(xué)家、網(wǎng)絡(luò)開發(fā)者乃至廣大用戶而言，亮網(wǎng)絡(luò)解鎖器無疑是一個高效且可靠的得力助手。

在數(shù)據(jù)采集領(lǐng)域，一個穩(wěn)定、高效且靈活的解決方案是企業(yè)和開發(fā)者不可或缺的。亮數(shù)據(jù)平臺正是這樣一個全面、可定制且靈活的解決方案，它提供了卓越的用戶體驗和專業(yè)技術(shù)支持，是數(shù)據(jù)采集工作的理想選擇。

趕快來體驗吧！