使用 Bigtable 變更串流至 BigQuery 範本

使用 Bigtable 變更串流至 BigQuery 範本

在本快速入門導覽課程中，您將瞭解如何設定啟用變更串流的 Bigtable 資料表、執行變更串流管道、變更資料表，然後查看串流的變更。

事前準備

1. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

   Go to project selector

2. Verify that billing is enabled for your Google Cloud project.

3. Enable the Dataflow, Cloud Bigtable API, Cloud Bigtable Admin API, and BigQuery APIs.

   Enable the APIs

4. In the Google Cloud console, activate Cloud Shell.

   Activate Cloud Shell

   建立 BigQuery 資料集

   透過 Google Cloud 控制台建立資料集來儲存資料。

   1. 前往 Google Cloud 控制台的「BigQuery」頁面。

      前往 BigQuery

   2. 在「Explorer」窗格中，按一下專案名稱。

   3. 展開「動作」選項，然後按一下「建立資料集」。

   4. 在「建立資料集」頁面中，執行下列操作：

      1. 在「Dataset ID」(資料集 ID) 中輸入 bigtable_bigquery_quickstart。
      2. 其餘設定請保留預設狀態，然後按一下「建立資料集」。

   建立啟用變更串流的資料表

   1. 前往 Google Cloud 控制台的 Bigtable「Instances」(執行個體) 頁面。

      前往「Instances」(執行個體) 頁面

   2. 按一下您要在本快速入門導覽課程使用的執行個體 ID。

      如果沒有可用的執行個體，請在您附近的區域建立執行個體，並使用預設設定。

   3. 按一下左側導覽窗格中的「表格」。

   4. 按一下「建立資料表」。

   5. 將資料表命名為 bigquery-changestream-quickstart。

   6. 新增名為 cf 的資料欄系列。

   7. 選取「啟用變更串流」。

   8. 點選「建立」。

   9. 在 Bigtable「Tables」(資料表) 頁面中，找出所需資料表 bigquery-changestream-quickstart。

   10. 在「變更串流」欄中，按一下「連線」。

   11. 在對話方塊中選取「BigQuery」BigQuery。

   12. 按一下「建立 Dataflow 工作」。

   13. 在提供的參數欄位中輸入參數值。您不需要提供任何選用參數。

       1. 將 Bigtable 應用程式設定檔 ID 設為 default。
       2. 將 BigQuery 資料集設為 bigtable_bigquery_quickstart。

   14. 按一下「Run Job」(執行工作)。

   15. 請先等待工作狀態顯示為「Starting」(啟動中) 或「Running」(執行中)，再繼續進行下一步。 工作排入佇列後，大約需要 5 分鐘。

   16. 請在分頁中開啟工作，以便在清除資源時停止工作。

   將一些資料寫入 Bigtable

   1. 在 Cloud Shell 中，將幾列資料寫入 Bigtable，這樣變更記錄就能將一些資料寫入 BigQuery。只要在工作建立後寫入資料，就會顯示變更。不必等待工作狀態變成 running。

      注意： 如要安裝 cbt CLI (如果尚未安裝)，請參閱「安裝 cbt CLI」。

      cbt -instance=BIGTABLE_INSTANCE_ID -project=PROJECT_ID \
          set bigquery-changestream-quickstart user123 cf:col1=abc
      cbt -instance=BIGTABLE_INSTANCE_ID -project=PROJECT_ID \
          set bigquery-changestream-quickstart user546 cf:col1=def
      cbt -instance=BIGTABLE_INSTANCE_ID -project=PROJECT_ID \
          set bigquery-changestream-quickstart user789 cf:col1=ghi
      

      更改下列內容：

      • PROJECT_ID：您使用的專案 ID
      • BIGTABLE_INSTANCE_ID：包含 bigquery-changestream-quickstart 資料表的執行個體 ID

   在 BigQuery 中查看變更記錄

   1. 前往 Google Cloud 控制台的「BigQuery」頁面。

      前往 BigQuery

   2. 在「Explorer」窗格中，展開專案和資料集 bigtable_bigquery_quickstart。

   3. 按一下 bigquery-changestream-quickstart_changelog 資料表。

   4. 如要查看變更記錄，請按一下「預覽」。

      

   清除所用資源

   如要避免系統向您的 Google Cloud 帳戶收取本頁所用資源的費用，請按照下列步驟操作。

   1. 停用資料表的變更串流：

      gcloud bigtable instances tables update bigquery-changestream-quickstart \
      --project=PROJECT_ID --instance=BIGTABLE_INSTANCE_ID \
      --clear-change-stream-retention-period
      

   2. 刪除資料表 bigquery-changestream-quickstart：

      cbt --instance=BIGTABLE_INSTANCE_ID --project=PROJECT_ID deletetable bigquery-changestream-quickstart
      

   3. 停止變更串流管道：

      1. 前往 Google Cloud 控制台的 Dataflow「Jobs」(工作) 頁面。

         前往「Jobs」(工作) 頁面

      2. 從工作清單中選取串流工作。

      3. 按一下導覽區中的「停止」。

      4. 在「停止工作」對話方塊中，選取「取消」，然後按一下「停止工作」。

   4. 刪除 BigQuery 資料集：

      1. 前往 Google Cloud 控制台的「BigQuery」頁面。

         前往 BigQuery

      2. 在「Explorer」面板中找出並點選資料集 bigtable_bigquery_quickstart。

      3. 依序點選「Delete」(刪除)、輸入 delete，然後點選「Delete」(刪除) 確認操作。

   5. 選用：如果您為本快速入門導覽課程建立了新的執行個體，請刪除該執行個體：

      cbt deleteinstance BIGTABLE_INSTANCE_ID
      

   後續步驟

   • 瞭解如何為變更記錄編寫查詢。
   • 請參閱 Bigtable 變更串流至 BigQuery 範本參考頁面。