BigQuery DataFrames 簡介
BigQuery DataFrames 是一組開放原始碼 Python 程式庫,可讓您使用熟悉的 Python API,充分運用 BigQuery 資料處理功能。BigQuery DataFrames 提供由 BigQuery 引擎驅動的 Pythonic DataFrame,並透過 SQL 轉換將處理作業下推至 BigQuery,實作 pandas 和 scikit-learn API。因此您可以使用 BigQuery 探索及處理 TB 級資料,並訓練機器學習 (ML) 模型,所有作業都可透過 Python API 完成。
下圖說明 BigQuery DataFrames 的工作流程:
BigQuery DataFrames 的優點
BigQuery DataFrames 的用途如下:
- 透過透明的 SQL 轉換,實作超過 750 個 pandas 和 scikit-learn API,並轉換為 BigQuery 和 BigQuery ML API。
- 延後執行查詢,以提升效能。
- 使用 Python 使用者定義函式擴充資料轉換作業,以便在 Google Cloud中處理資料。這些函式會自動部署為 BigQuery 遠端函式。
- 與 Vertex AI 整合,可使用 Gemini 模型生成文字。
授權
BigQuery DataFrames 採用 Apache-2.0 授權發布。
BigQuery DataFrames 也包含衍生自下列第三方套件的程式碼:
詳情請參閱 BigQuery DataFrames GitHub 存放區中的 third_party/bigframes_vendored
目錄。
配額與限制
- BigQuery 配額適用於 BigQuery DataFrames,包括硬體、軟體和網路元件。
- 支援部分 pandas 和 scikit-learn API。詳情請參閱「支援的 pandas API」。
- 您必須明確清除所有自動建立的 Cloud Run 函式,做為工作階段清除作業的一部分。詳情請參閱「支援的 pandas API」。
定價
- BigQuery DataFrames 是一組開放原始碼 Python 程式庫,可免費下載。
- BigQuery DataFrames 會使用 BigQuery、Cloud Run functions、Vertex AI 和其他Google Cloud 服務,這些服務會產生各自的費用。
- 在一般使用期間,BigQuery DataFrames 會將臨時資料 (例如中繼結果) 儲存在 BigQuery 資料表中。這些資料表預設會保留七天,且系統會針對儲存在其中的資料向您收費。資料表會在您於
bf.options.bigquery.project
選項中指定的 Google Cloud 專案中,於_anonymous_
資料集內建立。
後續步驟
- 試試 BigQuery DataFrames 快速入門。
- 瞭解如何使用 BigQuery DataFrame。
- 瞭解如何使用 BigQuery DataFrame 繪製圖表。
- 瞭解如何使用
dbt-bigquery
轉接頭。