您可以使用 BigQuery 連接器,啟用 BigQuery 的程式讀取和寫入存取權。這個方式很適合用來處理儲存在 BigQuery 中的資料。不提供指令列存取權。 BigQuery 連接器是可讓 Spark 和 Hadoop 應用程式處理 BigQuery 資料,並使用原生術語將資料寫入 BigQuery 的程式庫。
定價
使用連接器時,費用包括 BigQuery 使用費。此外,您可能也需要支付下列服務專屬費用:
- Cloud Storage:連接器會在工作執行前或執行期間,將資料下載到 Cloud Storage bucket。工作順利完成後,系統會從 Cloud Storage 刪除資料。系統將根據 Cloud Storage 定價向您收取相關費用。為了避免產生過多費用,請檢查您的 Cloud Storage 帳戶,並移除不需要的臨時檔案。
- BigQuery Storage API:為提升效能,這個連結器會使用 BigQuery Storage API 讀取資料。我們會根據 BigQuery Storage API 價格,向您收取這類使用量的費用。
可用的連接器
您可以在 Hadoop 生態系統中使用下列 BigQuery 連接器:
- Spark BigQuery 連接器會新增 Spark 資料來源,讓 DataFrame 能使用 Spark 的
read
和write
作業,直接與 BigQuery 資料表互動。 - Hive BigQuery 連接器會新增 Storage Handler,讓 Apache Hive 使用 HiveQL 語法直接與 BigQuery 資料表互動。
- Hadoop BigQuery 連接器可讓 Hadoop 對映器和縮減器使用 InputFormat 和 OutputFormat 類別的摘要版本,與 BigQuery 表格互動。
使用連接器
如要快速開始使用 BigQuery 連接器,請參閱下列範例:
後續步驟
- 進一步瞭解 BigQuery。
- 依循 Spark 的 BigQuery 範例。
- 進一步瞭解 Hive BigQuery 連接器。
- 依循 Java MapReduce 的 BigQuery 範例。