建立啟用變更串流的表格並擷取變更

瞭解如何設定啟用變更串流的 Bigtable 資料表、執行變更串流管道、變更資料表，然後查看串流的變更。

事前準備

  1. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Roles required to select or create a project

    • Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
    • Create a project: To create a project, you need the Project Creator (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

    Go to project selector

  2. Verify that billing is enabled for your Google Cloud project.

  3. Enable the Dataflow, Cloud Bigtable API, and Cloud Bigtable Admin API APIs.

    Roles required to enable APIs

    To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

    Enable the APIs

  4. In the Google Cloud console, activate Cloud Shell.

    Activate Cloud Shell

    建立啟用變更串流的資料表

    1. 前往 Google Cloud 控制台的 Bigtable「Instances」(執行個體) 頁面。

      前往「Instances」(執行個體) 頁面

    2. 按一下您要在本快速入門導覽課程使用的執行個體 ID。

      如果沒有可用的執行個體，請在您附近的區域建立執行個體，並使用預設設定。

    3. 按一下左側導覽窗格中的「表格」。

    4. 按一下「建立資料表」。

    5. 將資料表命名為 change-streams-quickstart。

    6. 新增名為「cf」的資料欄系列。

    7. 選取「啟用變更串流」。

    8. 點選「建立」。

    初始化資料管道，擷取變更串流

    1. 在 Cloud Shell 中執行下列指令，下載並執行程式碼。

      git clone https://github.com/GoogleCloudPlatform/java-docs-samples.git
cd java-docs-samples/bigtable/beam/change-streams
mvn compile exec:java -Dexec.mainClass=ChangeStreamsHelloWorld \
"-Dexec.args=--project=PROJECT_ID --bigtableProjectId=PROJECT_ID \
--bigtableInstanceId=BIGTABLE_INSTANCE_ID --bigtableTableId=change-streams-quickstart \
--runner=dataflow --region=BIGTABLE_REGION --experiments=use_runner_v2"

      更改下列內容：

      • PROJECT_ID：您使用的專案 ID
      • BIGTABLE_INSTANCE_ID：要包含新資料表的執行個體 ID
      • BIGTABLE_REGION：Bigtable 執行個體所在的區域，例如 us-east5

    2. 前往 Google Cloud 控制台的「Dataflow」頁面。

      前往 Dataflow

    3. 按一下名稱開頭為「changestreamquickstart」changestreamquickstart的工作。

    4. 按一下畫面底部的「顯示」，開啟記錄面板。

    5. 按一下「工作人員記錄」，即可監控變更串流的輸出內容。

    6. 在 Cloud Shell 中，將一些資料寫入 Bigtable，查看變更串流處理程序。

      cbt -instance=BIGTABLE_INSTANCE_ID -project=PROJECT_ID \
import change-streams-quickstart quickstart-data.csv column-family=cf

    7. 在 Google Cloud 控制台中，確認「嚴重程度」至少設為 Info。

    8. 工作站記錄檔輸出內容包含以下項目：

      Change captured: user123#2023,USER,SetCell,cf,col1,abc
Change captured: user546#2023,USER,SetCell,cf,col1,def
Change captured: user789#2023,USER,SetCell,cf,col1,ghi

    清除所用資源

    如要避免系統向您的 Google Cloud 帳戶收取本頁所用資源的費用，請按照下列步驟操作。

    1. 停用資料表的變更串流

      gcloud bigtable instances tables update change-streams-quickstart --instance=BIGTABLE_INSTANCE_ID \
--clear-change-stream-retention-period

    2. 刪除資料表 change-streams-quickstart：

      cbt -instance=BIGTABLE_INSTANCE_ID -project=PROJECT_ID deletetable change-streams-quickstart

    3. 停止變更串流管道：

      1. 前往 Google Cloud 控制台的 Dataflow「Jobs」(工作) 頁面。

        前往「Jobs」(工作) 頁面

      2. 從工作清單中選取串流工作。

      3. 按一下導覽區中的「停止」。

      4. 在「停止工作」對話方塊中取消管道，然後按一下「停止工作」。

    4. 選用：如果您為本快速入門導覽課程建立了新的執行個體，請刪除該執行個體：

      cbt deleteinstance BIGTABLE_INSTANCE_ID

    後續步驟