Datastream BigQuery 迁移工具包


本页面介绍了使用 Datastream 从 Dataflow Datastream 到 BigQuery 模板迁移到 Datastream 内置 BigQuery 复制解决方案的最佳实践。

准备工作

本页面中的说明假定：

  • 您熟悉并已安装 Docker。
  • 您知道如何从 GitHub 等服务克隆代码库。
  • 了解如何在 Datastream 中运行数据流。
  • 您已安装 Google Cloud CLI。

迁移工具包概览

Datastream BigQuery Migration Toolkit 是由 Google Cloud 提供的开源软件。该工具包可让您从 Dataflow Datastream to BigQuery 模板进行迁移，但在从其他流水线迁移时也可以使用该工具包，如后面的从其他流水线迁移部分所述。

如需使用该工具包迁移 BigQuery 表，您需要执行以下步骤：

  1. 使用 BigQuery 目标位置创建、启动和暂停 Datastream 流。
  2. 对需要迁移的每个 BigQuery 表运行迁移。
  3. 恢复直播。

该工具包会执行以下操作：

  • 使用 Datastream discover API 检索源表架构。
  • 根据检索到的架构创建与 Datastream 兼容的 BigQuery 表。
  • 提取您要从中进行迁移的 BigQuery 表的架构，以确定必要的数据类型转换。
  • 将所有现有行从原始表复制到新表，包括适当的列类型类型转换。

如需详细了解该工具包的结构及其使用的参数，请参阅工具包的 README.md 文件。

设置迁移工具包

如需使用 Docker 运行迁移工具包，请执行以下步骤：

  1. 克隆代码库并将目录更改为：

    git clone https://github.com/GoogleCloudPlatform/datastream-bigquery-migration-toolkit &&
cd datastream-bigquery-migration-toolkit

  2. 构建映像：

    docker build -t migration-service .

  3. 使用您的 Google Cloud CLI 凭据进行身份验证：

    docker run -ti \
--name gcloud-config migration-service gcloud auth application-default login

  4. 设置您的 Google Cloud 项目属性：

    docker run -ti --volumes-from gcloud-config migration-service \
gcloud config set project PROJECT_ID

    将 PROJECT_ID 替换为您的 Google Cloud 项目的标识符。

从 Dataflow 迁移到 Datastream 内置解决方案

  1. 创建具有 BigQuery 目标位置的 Datastream 流

  2. 开始直播，然后立即暂停。这样，Datastream 便可以在迁移开始之前捕获其捕获更改的位置。

  3. 排空 Datastream 和 Dataflow 流水线：

    1. 暂停现有的 Cloud Storage 目标数据流。
    2. 检查数据流的总延迟时间指标，并等待至少与当前延迟时间一样长，以确保将所有传输中的事件写入目标位置。
    3. 排空 Dataflow 作业。

  4. 执行迁移：

    1. 在 dry_run 模式下运行迁移。借助 dry_run 模式，您可以生成用于复制数据的 CREATE TABLE DDL 语句和 SQL 语句，而无需执行它们：

      docker run -v output:/output -ti --volumes-from gcloud-config \
migration-service python3 ./migration/migrate_table.py dry_run \
--project-id PROJECT_ID \
--stream-id STREAM_ID \
--datastream-region STREAM_REGION \
--source-schema-name SOURCE_SCHEMA_NAME \
--source-table-name SOURCE_TABLE_NAME \
--bigquery-source-dataset-name BIGQUERY_SOURCE_DATASET_NAME \
--bigquery-source-table-name BIGQUERY_SOURCE_TABLE_NAME

      替换以下内容：

      • PROJECT_ID：您的 Google Cloud 项目的唯一标识符。
      • STREAM_ID：BigQuery 目标流的唯一标识符。
      • STREAM_REGION：您的数据流的位置，例如 us-central1。
      • SOURCE_SCHEMA_NAME：源架构的名称。
      • SOURCE_TABLE_NAME：源表的名称。
      • BIGQUERY_SOURCE_DATASET_NAME：现有 BigQuery 数据集的名称。
      • BIGQUERY_SOURCE_TABLE_NAME：现有 BigQuery 表的名称。

    2. 检查 output/create_target_table 和 output/copy_rows 下的 .sql 文件。以下是将在 Google Cloud 项目中执行的 SQL 命令：

      docker run -v output:/output -ti migration-service find output/create_target_table \
-type f -print -exec cat {} \;

      docker run -v output:/output -ti migration-service find output/copy_rows \
-type f -print -exec cat {} \;

    3. 如需执行 SQL 命令，请在 full 模式下运行迁移。借助 full 模式，您可以在 BigQuery 中创建表，并从现有 BigQuery 表中复制所有行：

      docker run -v output:/output -ti --volumes-from gcloud-config \
migration-service python3 ./migration/migrate_table.py full \
--project-id PROJECT_ID \
--stream-id STREAM_ID \
--datastream-region STREAM_REGION \
--source-schema-name SOURCE_SCHEMA_NAME \
--source-table-name SOURCE_TABLE_NAME \
--bigquery-source-dataset-name BIGQUERY_SOURCE_DATASET_NAME \
--bigquery-source-table-name BIGQUERY_SOURCE_TABLE_NAME

  5. 恢复已暂停的直播。

  6. 打开 Google Cloud Logs Explorer，然后查找具有以下查询的 Datastream 日志：

    resource.type="datastream.googleapis.com/Stream"
resource.labels.stream_id=STREAM_ID

    查找以下日志，其中 %d 是一个数字：

    Completed writing %d records into..

    此日志表示新数据流已成功将数据加载到 BigQuery 中。只有有要加载的 CDC 数据时，系统才会显示此选项。

从其他流水线迁移

该工具包还支持从其他流水线迁移到 Datastream 内置 BigQuery 解决方案。该工具包可以使用 dry_run 模式，根据源数据库架构为与 Datastream 兼容的 BigQuery 表生成 CREATE TABLE DDL：

  docker run -v output:/output -ti --volumes-from gcloud-config \
  migration-service python3 ./migration/migrate_table.py dry_run \
  --project-id PROJECT_ID \
  --stream-id STREAM_ID \
  --datastream-region STREAM_REGION \
  --source-schema-name SOURCE_SCHEMA_NAME \
  --source-table-name SOURCE_TABLE_NAME \
  --bigquery-source-dataset-name BIGQUERY_SOURCE_DATASET_NAME \
  --bigquery-source-table-name BIGQUERY_SOURCE_TABLE_NAME

由于 BigQuery 表架构可能有所不同，因此很难提供用于复制行的通用 SQL 语句。您可以使用源表 DDL 目录 (output/source_table_ddl) 和目标表 DDL 目录 (output/create_target_table) 中的架构，创建针对源列进行适当类型转换的 SQL 语句。

以下是您可以使用的示例 SQL 语句格式：

  INSERT INTO DESTINATION_TABLE (DESTINATION_COLUMN1, DESTINATION_COLUMN2...)
  SELECT SOURCE_COLUMN1, SOURCE_COLUMN2
  FROM SOURCE_TABLE;

替换以下内容：

  • DESTINATION_TABLE：BigQuery 中目标表的名称。
  • DESTINATION_COLUMN：目标表中列的名称。
  • SOURCE_COLUMN：源表中列的名称。
  • SOURCE_TABLE：源表的名称。

限制

该工具包具有以下限制：

  • 现有 BigQuery 表中的列名称需要与新 BigQuery 表中的列名称匹配（忽略元数据列）。如果您应用的 Dataflow 用户定义的函数 (UDF) 会更改现有表中的列名称（例如，通过添加前缀或更改大小写），则迁移将失败。
  • 不支持跨区域和跨项目迁移。
  • 迁移是按表进行的。
  • 仅支持 Oracle 和 MySQL 源。