Java Database Connectivity (JDBC) to Pub/Sub 模板

Java Database Connectivity (JDBC) to Pub/Sub 模板是一个批处理流水线，可从 JDBC 源注入数据，并将生成的记录作为 JSON 字符串写入预先存在的 Pub/Sub 主题。

流水线要求

  • 在运行流水线之前，JDBC 源必须已存在。
  • 在运行流水线之前，相应 Pub/Sub 输出主题必须已存在。

模板参数

必需参数

  • driverClassName：JDBC 驱动程序类名称。（示例：com.mysql.jdbc.Driver）。
  • connectionUrl：JDBC 连接网址字符串。您可以将此值作为使用 Cloud KMS 密钥加密，然后进行 Base64 编码的字符串传入。 从 Base64 编码的字符串中移除空白字符。 （示例：jdbc:mysql://some-host:3306/sampledb）。
  • driverJars：JDBC 驱动程序的 Cloud Storage 路径（以英文逗号分隔）。（示例：gs://your-bucket/driver_jar1.jar,gs://your-bucket/driver_jar2.jar）。
  • query：要在提取数据的来源上运行的查询。（示例：select * from sampledb.sample_table）。
  • outputTopic：要发布到的 Pub/Sub 主题，格式为 projects/<PROJECT_ID>/topics/<TOPIC_NAME>。（示例：projects/your-project-id/topics/your-topic-name）。

可选参数

  • username：要用于 JDBC 连接的用户名。您可以将此值作为使用 Cloud KMS 密钥加密，然后进行 Base64 编码的字符串传入。 例如 echo -n 'some_username' | glcloud kms encrypt --location=my_location --keyring=mykeyring --key=mykey --plaintext-file=- --ciphertext-file=- | base64。
  • password：要用于 JDBC 连接的密码。您可以将此值作为使用 Cloud KMS 密钥加密，然后进行 Base64 编码的字符串传入。 例如 echo -n 'some_password' | glcloud kms encrypt --location=my_location --keyring=mykeyring --key=mykey --plaintext-file=- --ciphertext-file=- | base64。
  • connectionProperties：要用于 JDBC 连接的属性字符串。字符串的格式必须为 [propertyName=property;]*。（示例：unicode=true;characterEncoding=UTF-8）。
  • KMSEncryptionKey：要用于对用户名、密码和连接字符串进行解密的 Cloud KMS 加密密钥。如果传入了 Cloud KMS 密钥，则用户名、密码和连接字符串必须全部以加密方式传入，并采用 base64 编码。（示例：projects/your-project/locations/global/keyRings/your-keyring/cryptoKeys/your-key）。
  • disabledAlgorithms：要停用的的算法（以英文逗号分隔）。如果此值设置为 none，则系统不会停用任何算法。请谨慎使用此参数，因为默认停用的算法可能存在漏洞或性能问题。 （示例：SSLv3、RC4）。
  • extraFilesToStage：用于将文件暂存在工作器中的 Cloud Storage 路径或 Secret Manager 密文（以英文逗号分隔）。这些文件保存在每个工作器的 /extra_files 目录中。（示例：gs://）。
  • defaultLogLevel：在工作器中设置日志级别。支持的选项包括 OFF、ERROR、WARN、INFO、DEBUG、TRACE。默认为 INFO。

运行模板

控制台

  1. 转到 Dataflow 基于模板创建作业页面。
    2. 转到“基于模板创建作业”
  2. 在作业名称字段中，输入唯一的作业名称。
  3. 可选：对于区域性端点，从下拉菜单中选择一个值。默认区域为 us-central1。

    如需查看可以在其中运行 Dataflow 作业的区域列表，请参阅 Dataflow 位置。

  4. 从 Dataflow 模板下拉菜单中，选择 the JDBC to Pub/Sub template。
  5. 在提供的参数字段中，输入您的参数值。
  6. 点击运行作业。

gcloud

在 shell 或终端中，运行模板：

gcloud dataflow jobs run JOB_NAME \
    --gcs-location gs://dataflow-templates-REGION_NAME/VERSION/flex/Jdbc_to_PubSub \
    --region REGION_NAME \
    --parameters \
driverClassName=DRIVER_CLASS_NAME,\
connectionURL=JDBC_CONNECTION_URL,\
driverJars=DRIVER_PATHS,\
username=CONNECTION_USERNAME,\
password=CONNECTION_PASSWORD,\
connectionProperties=CONNECTION_PROPERTIES,\
query=SOURCE_SQL_QUERY,\
outputTopic=OUTPUT_TOPIC,\
KMSEncryptionKey=KMS_ENCRYPTION_KEY

替换以下内容：

  • JOB_NAME：您选择的唯一性作业名称
  • VERSION：您要使用的模板的版本

    您可使用以下值：

  • REGION_NAME：要在其中部署 Dataflow 作业的区域，例如 us-central1
  • DRIVER_CLASS_NAME：驱动程序类名称
  • JDBC_CONNECTION_URL：JDBC 连接网址
  • DRIVER_PATHS：JDBC 驱动程序以英文逗号分隔的 Cloud Storage 路径
  • CONNECTION_USERNAME：JDBC 连接用户名
  • CONNECTION_PASSWORD：JDBC 连接密码
  • CONNECTION_PROPERTIES：JDBC 连接属性（如有需要）
  • SOURCE_SQL_QUERY：需要在源数据库上运行的 SQL 查询
  • OUTPUT_TOPIC：要发布到的 Pub/Sub
  • KMS_ENCRYPTION_KEY：Cloud KMS 加密密钥

API

如需使用 REST API 来运行模板，请发送 HTTP POST 请求。如需详细了解 API 及其授权范围，请参阅 projects.templates.launch。

POST https://dataflow.googleapis.com/v1b3/projects/PROJECT_ID/locations/LOCATION/flexTemplates:launch
{
  "launchParameter": {
    "jobName": "JOB_NAME",
    "containerSpecGcsPath": "gs://dataflow-templates-LOCATION/VERSION/flex/Jdbc_to_PubSub"
    "parameters": {
      "driverClassName": "DRIVER_CLASS_NAME",
      "connectionURL": "JDBC_CONNECTION_URL",
      "driverJars": "DRIVER_PATHS",
      "username": "CONNECTION_USERNAME",
      "password": "CONNECTION_PASSWORD",
      "connectionProperties": "CONNECTION_PROPERTIES",
      "query": "SOURCE_SQL_QUERY",
      "outputTopic": "OUTPUT_TOPIC",
      "KMSEncryptionKey":"KMS_ENCRYPTION_KEY"
    },
    "environment": { "zone": "us-central1-f" }
  }
}

替换以下内容：

  • PROJECT_ID：您要在其中运行 Dataflow 作业的 Google Cloud 项目的 ID
  • JOB_NAME：您选择的唯一性作业名称
  • VERSION：您要使用的模板的版本

    您可使用以下值：

  • LOCATION：要在其中部署 Dataflow 作业的区域，例如 us-central1
  • DRIVER_CLASS_NAME：驱动程序类名称
  • JDBC_CONNECTION_URL：JDBC 连接网址
  • DRIVER_PATHS：JDBC 驱动程序以英文逗号分隔的 Cloud Storage 路径
  • CONNECTION_USERNAME：JDBC 连接用户名
  • CONNECTION_PASSWORD：JDBC 连接密码
  • CONNECTION_PROPERTIES：JDBC 连接属性（如有需要）
  • SOURCE_SQL_QUERY：需要在源数据库上运行的 SQL 查询
  • OUTPUT_TOPIC：要发布到的 Pub/Sub
  • KMS_ENCRYPTION_KEY：Cloud KMS 加密密钥

后续步骤