用Python和SQL在BigQuery中進(jìn)行基礎(chǔ)數(shù)據(jù)查詢

在大數(shù)據(jù)分析領(lǐng)域，Google BigQuery 提供了一種快速且經(jīng)濟高效的數(shù)據(jù)處理方式。對于想要使用SQL查詢大規(guī)模數(shù)據(jù)的讀者來說，BigQuery的公共數(shù)據(jù)集資源豐富、操作簡便，是學(xué)習(xí)和實踐SQL基礎(chǔ)操作的理想平臺。

以下是一個通過Python和BigQuery進(jìn)行基礎(chǔ)SQL查詢的實際案例，我們將使用Google的一個公共數(shù)據(jù)集，并以一個簡單的查詢示例來演示SQL在BigQuery中的應(yīng)用，涵蓋查詢、過濾、排序和聚合操作。

1. 準(zhǔn)備工作：選擇數(shù)據(jù)集

在BigQuery中，有多個免費的公共數(shù)據(jù)集可供選擇。這里我們選擇了一個大家容易理解的公共數(shù)據(jù)集——Google Analytics的ecommerce數(shù)據(jù)集。該數(shù)據(jù)集包含電商網(wǎng)站的訪問記錄，包括訪問者的地理位置、設(shè)備類型、訪問時間以及產(chǎn)品銷售情況等信息，非常適合用來進(jìn)行電商數(shù)據(jù)分析。

示例：電商產(chǎn)品銷售分析

假設(shè)我們是一家在線零售商，我們想要了解不同國家的銷售情況，并分析銷售額較高的市場。這個分析有助于公司決定將更多營銷資源投入到哪些國家市場中。

2. 使用SQL進(jìn)行基礎(chǔ)查詢

我們將從數(shù)據(jù)集中選擇所需的字段并進(jìn)行簡單查詢。以下是一個基本SQL查詢：

SELECT geoNetwork.country AS country,SUM(totals.transactionRevenue) AS total_revenue
FROM `bigquery-public-data.google_analytics_sample.ga_sessions_20170801`
WHERE totals.transactionRevenue IS NOT NULL
GROUP BY country
ORDER BY total_revenue DESC
LIMIT 10;

查詢解釋

• geoNetwork.country: 查詢國家字段，以便知道每個交易來自哪個國家。
• totals.transactionRevenue: 使用總收入字段來計算每個國家的總銷售額。
• WHERE totals.transactionRevenue IS NOT NULL: 排除沒有銷售額的記錄，使得查詢只關(guān)注實際交易。
• GROUP BY country: 按國家分組，統(tǒng)計每個國家的總銷售額。
• ORDER BY total_revenue DESC: 按總銷售額從高到低排序，以便查看銷售額最高的國家。

3. 在Python中執(zhí)行查詢

接下來，我們將通過Python代碼在BigQuery中執(zhí)行此查詢，并提取結(jié)果以進(jìn)行進(jìn)一步分析。我們將使用Google的BigQuery Python客戶端庫來實現(xiàn)這一目標(biāo)。以下是Python代碼示例：

from google.cloud import bigquery# 創(chuàng)建BigQuery客戶端
client = bigquery.Client()# 定義查詢
query = """SELECT geoNetwork.country AS country,SUM(totals.transactionRevenue) AS total_revenueFROM `bigquery-public-data.google_analytics_sample.ga_sessions_20170801`WHERE totals.transactionRevenue IS NOT NULLGROUP BY countryORDER BY total_revenue DESCLIMIT 10;
"""# 執(zhí)行查詢
query_job = client.query(query)
results = query_job.result()# 輸出結(jié)果
for row in results:print(f"{row.country}: {row.total_revenue}")

代碼運行結(jié)果示例：

United States: 8301950000
Finland: 2990000Process finished with exit code 0

4. 分析和解釋結(jié)果

運行查詢后，我們可以看到每個國家的總銷售額。通過這些數(shù)據(jù)，我們可以得出一些商業(yè)見解：

• 識別高價值市場：在銷售額最高的幾個國家中，可以發(fā)現(xiàn)潛在的高收益市場，并優(yōu)先考慮投入資源。
• 優(yōu)化廣告投放：基于這些數(shù)據(jù)，公司可以在銷售額較高的國家增加廣告預(yù)算，從而提升整體收益。
• 區(qū)域趨勢分析：分析不同國家的消費模式，幫助制定個性化的市場策略。

5. 小結(jié)

本文介紹了如何使用BigQuery和SQL進(jìn)行電商數(shù)據(jù)分析，展示了通過簡單的SQL查詢、數(shù)據(jù)過濾、排序和聚合來獲取商業(yè)洞見的基本方法。這種分析可以應(yīng)用于更多實際場景，例如用戶行為分析、廣告投放效果評估等。對于數(shù)據(jù)科學(xué)家和數(shù)據(jù)工程師來說，BigQuery是一種非常實用的工具，它讓處理大規(guī)模數(shù)據(jù)變得更為簡便和高效。