BigQuery Pipelines 簡介
您可以使用 BigQuery 管道，自動化及簡化 BigQuery 資料處理程序。您可以透過管道依序排定及執行程式碼資產，提高效率並減少人工作業。
總覽
管道由 Dataform 提供支援。
管線包含下列一或多個程式碼資產：
您可以使用管道排定程式碼資產的執行時間。舉例來說，您可以安排每天執行 SQL 查詢，並使用最新的來源資料更新資料表，然後將資料表用於產生資訊主頁。
在含有多個程式碼資產的管道中，您可以定義執行順序。舉例來說，如要訓練機器學習模型，您可以建立工作流程，讓 SQL 查詢準備資料，然後後續的筆記本會使用該資料訓練模型。
功能
您可以在管道中執行下列操作：
- 建立新的或匯入現有的 SQL 查詢或 Notebooks 到管道中。
- 排定 pipeline 時間，在指定時間和頻率自動執行。
- 與指定使用者或群組共用管道。
- 分享管道連結。
限制
管道有下列限制：
- 管道僅適用於 Google Cloud 控制台。
- 管線建立後，就無法變更儲存管線的區域。
- 您可以授予使用者或群組所選管道的存取權，但無法授予管道中個別工作的存取權。
設定程式碼資產的預設區域
如果您是第一次建立程式碼資產，請設定程式碼資產的預設區域。程式碼資產建立後，就無法變更區域。
BigQuery Studio 中的所有程式碼資產都使用相同的預設區域。如要設定程式碼資產的預設區域，請按照下列步驟操作：
前往「BigQuery」頁面
在「Explorer」窗格中，找出已啟用程式碼資產的專案。
按一下專案旁的 「查看動作」，然後按一下「變更預設程式碼區域」。
「區域」請選取要用於程式碼資產的區域。
按一下 [選取]。
如需可用區域清單，請參閱 BigQuery Studio 位置。
支援的地區
所有程式碼資產都會儲存在程式碼資產的預設區域中。更新預設區域後，系統會變更該時間點之後建立的所有程式碼資產區域。
下表列出支援管道的地區：
| 地區說明 | 地區名稱 | 詳細資料 | |
|---|---|---|---|
| 非洲 | |||
| 約翰尼斯堡 | africa-south1 |
||
| 美洲 | |||
| 哥倫布 | us-east5 |
||
| 達拉斯 | us-south1 |
 二氧化碳排放量低2
|
|
| 愛荷華州 | us-central1 |
二氧化碳排放量低2
|
|
| 洛杉磯 | us-west2 |
||
| 拉斯維加斯 | us-west4 |
||
| 蒙特婁 | northamerica-northeast1 |
二氧化碳排放量低2
|
|
| 北維吉尼亞州 | us-east4 |
||
| 奧勒岡州 | us-west1 |
二氧化碳排放量低2 |
|
| 聖保羅 | southamerica-east1 |
二氧化碳排放量低2
|
|
| 南卡羅來納州 | us-east1 |
||
| 亞太地區 | |||
| 香港 | asia-east2 |
||
| 雅加達 | asia-southeast2 |
||
| 孟買 | asia-south1 |
||
| 首爾 | asia-northeast3 |
||
| 新加坡 | asia-southeast1 |
||
| 雪梨 | australia-southeast1 |
||
| 台灣 | asia-east1 |
||
| 東京 | asia-northeast1 |
||
| 歐洲 | |||
| 比利時 | europe-west1 |
二氧化碳排放量低2
|
|
| 法蘭克福 | europe-west3 |
||
| 倫敦 | europe-west2 |
二氧化碳排放量低2
|
|
| 馬德里 | europe-southwest1 |
二氧化碳排放量低2
|
|
| 荷蘭 | europe-west4 |
二氧化碳排放量低2
|
|
| 杜林 | europe-west12 |
||
| 蘇黎世 | europe-west6 |
二氧化碳排放量低2
|
|
| 中東地區 | |||
| 杜哈 | me-central1 |
||
| 達曼 | me-central2 |
||
配額與限制
BigQuery 管道須遵守 Dataform 配額和限制。
定價
執行 BigQuery 管道工作時，BigQuery 會收取運算和儲存空間費用。詳情請參閱 BigQuery 計價方式一文。
含有筆記本的管道會根據預設機型產生 Colab Enterprise 執行階段費用。如需定價詳細資料，請參閱 Colab Enterprise 定價。
系統會使用 Cloud Logging 記錄每次 BigQuery 管道執行作業。系統會自動為 BigQuery 管道執行啟用記錄功能，這可能會產生 Cloud Logging 帳單費用。詳情請參閱 Cloud Logging 定價。