Java Database Connectivity(JDBC)to Pub/Sub テンプレート

Java Database Connectivity(JDBC)to Pub/Sub テンプレートは、JDBC ソースからデータを取り込み、結果のレコードを JSON 文字列として既存の Pub/Sub トピックに書き込むバッチ パイプラインです。

パイプラインの要件

  • パイプラインを実行する前に JDBC ソースが存在している必要があります。
  • Pub/Sub 出力トピックは、パイプラインを実行する前に存在している必要があります。

テンプレートのパラメータ

必須パラメータ

  • driverClassName: JDBC ドライバのクラス名。(例: com.mysql.jdbc.Driver)
  • connectionUrl: JDBC 接続 URL の文字列。この値は、Cloud KMS 鍵で暗号化され、Base64 でエンコードされた文字列として渡すことができます。Base64 でエンコードされた文字列から空白文字を削除します。(例: jdbc:mysql://some-host:3306/sampledb)
  • driverJars: JDBC ドライバのカンマ区切りの Cloud Storage パス。(例: gs://your-bucket/driver_jar1.jar,gs://your-bucket/driver_jar2.jar)
  • query: ソースで実行されるクエリでデータを抽出します。(例: select * from sampledb.sample_table)
  • outputTopic: 公開先の Pub/Sub トピック。形式は projects/<PROJECT_ID>/topics/<TOPIC_NAME> です(例: projects/your-project-id/topics/your-topic-name)。

オプション パラメータ

  • username: JDBC 接続に使用するユーザー名。この値は、Cloud KMS 鍵で暗号化され、Base64 でエンコードされた文字列として渡すことができます。たとえば、echo -n 'some_username' | glcloud kms encrypt --location=my_location --keyring=mykeyring --key=mykey --plaintext-file=- --ciphertext-file=- | base64 のようにします。
  • password: JDBC 接続に使用するパスワード。この値は、Cloud KMS 鍵で暗号化され、Base64 でエンコードされた文字列として渡すことができます。たとえば、echo -n 'some_password' | glcloud kms encrypt --location=my_location --keyring=mykeyring --key=mykey --plaintext-file=- --ciphertext-file=- | base64 のようにします。
  • connectionProperties: JDBC 接続に使用するプロパティ文字列。文字列の形式は [propertyName=property;]* にする必要があります。(例: unicode=true;characterEncoding=UTF-8)
  • KMSEncryptionKey: ユーザー名、パスワード、接続文字列の復号に使用する Cloud KMS 暗号鍵。Cloud KMS 鍵が渡された場合、ユーザー名、パスワード、接続文字列はすべて暗号化され、base64 でエンコードされて渡されます。(例: projects/your-project/locations/global/keyRings/your-keyring/cryptoKeys/your-key)
  • disabledAlgorithms: 無効にするためのカンマ区切りのアルゴリズム。この値が none に設定されている場合、アルゴリズムは無効になりません。デフォルトで無効になっているアルゴリズムには脆弱性やパフォーマンスの問題が存在する可能性があるため、このパラメータは慎重に使用してください(例: SSLv3、RC4)。
  • extraFilesToStage: ワーカーにステージングするファイルのカンマ区切りの Cloud Storage パスまたは Secret Manager シークレット。これらのファイルは、各ワーカーの /extra_files ディレクトリに保存されます。例: gs://
  • defaultLogLevel: ワーカーでログレベルを設定します。サポートされているオプションは、OFF、ERROR、WARN、INFO、DEBUG、TRACE です。デフォルトは INFO です。

テンプレートを実行する

コンソール

  1. Dataflow の [テンプレートからジョブを作成] ページに移動します。
  2. [テンプレートからジョブを作成] に移動
  3. [ジョブ名] フィールドに、固有のジョブ名を入力します。
  4. (省略可)[リージョン エンドポイント] で、プルダウン メニューから値を選択します。デフォルトのリージョンは us-central1 です。

    Dataflow ジョブを実行できるリージョンのリストについては、Dataflow のロケーションをご覧ください。

  5. [Dataflow テンプレート] プルダウン メニューから、[ the JDBC to Pub/Sub template] を選択します。
  6. 表示されたパラメータ フィールドに、パラメータ値を入力します。
  7. [ジョブを実行] をクリックします。

gcloud

シェルまたはターミナルで、テンプレートを実行します。

gcloud dataflow jobs run JOB_NAME \
    --gcs-location gs://dataflow-templates-REGION_NAME/VERSION/flex/Jdbc_to_PubSub \
    --region REGION_NAME \
    --parameters \
driverClassName=DRIVER_CLASS_NAME,\
connectionURL=JDBC_CONNECTION_URL,\
driverJars=DRIVER_PATHS,\
username=CONNECTION_USERNAME,\
password=CONNECTION_PASSWORD,\
connectionProperties=CONNECTION_PROPERTIES,\
query=SOURCE_SQL_QUERY,\
outputTopic=OUTPUT_TOPIC,\
KMSEncryptionKey=KMS_ENCRYPTION_KEY

次のように置き換えます。

  • JOB_NAME: 一意の任意のジョブ名
  • VERSION: 使用するテンプレートのバージョン

    使用できる値は次のとおりです。

    • latest: 最新バージョンのテンプレートを使用します。このテンプレートは、バケット内で日付のない親フォルダ(gs://dataflow-templates-REGION_NAME/latest/)にあります。
    • バージョン名(例: 2023-09-12-00_RC00)。特定のバージョンのテンプレートを使用します。このテンプレートは、バケット内で対応する日付の親フォルダ(gs://dataflow-templates-REGION_NAME/)にあります。
  • REGION_NAME: Dataflow ジョブをデプロイするリージョン(例: us-central1
  • DRIVER_CLASS_NAME: ドライバのクラス名
  • JDBC_CONNECTION_URL: JDBC 接続 URL
  • DRIVER_PATHS: カンマで区切った JDBC ドライバの Cloud Storage パス
  • CONNECTION_USERNAME: JDBC 接続のユーザー名
  • CONNECTION_PASSWORD: JDBC 接続パスワード
  • CONNECTION_PROPERTIES: JDBC 接続プロパティ(必要に応じて)
  • SOURCE_SQL_QUERY: ソース データベースで実行する SQL クエリ
  • OUTPUT_TOPIC: 公開先の Pub/Sub
  • KMS_ENCRYPTION_KEY: Cloud KMS 暗号鍵

API

REST API を使用してテンプレートを実行するには、HTTP POST リクエストを送信します。API とその認証スコープの詳細については、projects.templates.launch をご覧ください。

POST https://dataflow.googleapis.com/v1b3/projects/PROJECT_ID/locations/LOCATION/flexTemplates:launch
{
  "launchParameter": {
    "jobName": "JOB_NAME",
    "containerSpecGcsPath": "gs://dataflow-templates-LOCATION/VERSION/flex/Jdbc_to_PubSub"
    "parameters": {
      "driverClassName": "DRIVER_CLASS_NAME",
      "connectionURL": "JDBC_CONNECTION_URL",
      "driverJars": "DRIVER_PATHS",
      "username": "CONNECTION_USERNAME",
      "password": "CONNECTION_PASSWORD",
      "connectionProperties": "CONNECTION_PROPERTIES",
      "query": "SOURCE_SQL_QUERY",
      "outputTopic": "OUTPUT_TOPIC",
      "KMSEncryptionKey":"KMS_ENCRYPTION_KEY"
    },
    "environment": { "zone": "us-central1-f" }
  }
}

次のように置き換えます。

  • PROJECT_ID: Dataflow ジョブを実行する Google Cloud プロジェクトの ID
  • JOB_NAME: 一意の任意のジョブ名
  • VERSION: 使用するテンプレートのバージョン

    使用できる値は次のとおりです。

    • latest: 最新バージョンのテンプレートを使用します。このテンプレートは、バケット内で日付のない親フォルダ(gs://dataflow-templates-REGION_NAME/latest/)にあります。
    • バージョン名(例: 2023-09-12-00_RC00)。特定のバージョンのテンプレートを使用します。このテンプレートは、バケット内で対応する日付の親フォルダ(gs://dataflow-templates-REGION_NAME/)にあります。
  • LOCATION: Dataflow ジョブをデプロイするリージョン(例: us-central1
  • DRIVER_CLASS_NAME: ドライバのクラス名
  • JDBC_CONNECTION_URL: JDBC 接続 URL
  • DRIVER_PATHS: カンマで区切った JDBC ドライバの Cloud Storage パス
  • CONNECTION_USERNAME: JDBC 接続のユーザー名
  • CONNECTION_PASSWORD: JDBC 接続パスワード
  • CONNECTION_PROPERTIES: JDBC 接続プロパティ(必要に応じて)
  • SOURCE_SQL_QUERY: ソース データベースで実行する SQL クエリ
  • OUTPUT_TOPIC: 公開先の Pub/Sub
  • KMS_ENCRYPTION_KEY: Cloud KMS 暗号鍵

次のステップ