Java Database Connectivity(JDBC)to Pub/Sub テンプレートは、JDBC ソースからデータを取り込み、結果のレコードを JSON 文字列として既存の Pub/Sub トピックに書き込むバッチ パイプラインです。
パイプラインの要件
- パイプラインを実行する前に JDBC ソースが存在している必要があります。
- Pub/Sub 出力トピックは、パイプラインを実行する前に存在している必要があります。
テンプレートのパラメータ
必須パラメータ
- driverClassName: JDBC ドライバのクラス名。(例: com.mysql.jdbc.Driver)
- connectionUrl: JDBC 接続 URL の文字列。この値は、Cloud KMS 鍵で暗号化され、Base64 でエンコードされた文字列として渡すことができます。Base64 でエンコードされた文字列から空白文字を削除します。(例: jdbc:mysql://some-host:3306/sampledb)
- driverJars: JDBC ドライバのカンマ区切りの Cloud Storage パス。(例: gs://your-bucket/driver_jar1.jar,gs://your-bucket/driver_jar2.jar)
- query: ソースで実行されるクエリでデータを抽出します。(例: select * from sampledb.sample_table)
- outputTopic: 公開先の Pub/Sub トピック。形式は projects/<PROJECT_ID>/topics/<TOPIC_NAME> です(例: projects/your-project-id/topics/your-topic-name)。
オプション パラメータ
- username: JDBC 接続に使用するユーザー名。この値は、Cloud KMS 鍵で暗号化され、Base64 でエンコードされた文字列として渡すことができます。たとえば、
echo -n 'some_username' | glcloud kms encrypt --location=my_location --keyring=mykeyring --key=mykey --plaintext-file=- --ciphertext-file=- | base64
のようにします。 - password: JDBC 接続に使用するパスワード。この値は、Cloud KMS 鍵で暗号化され、Base64 でエンコードされた文字列として渡すことができます。たとえば、
echo -n 'some_password' | glcloud kms encrypt --location=my_location --keyring=mykeyring --key=mykey --plaintext-file=- --ciphertext-file=- | base64
のようにします。 - connectionProperties: JDBC 接続に使用するプロパティ文字列。文字列の形式は
[propertyName=property;]*
にする必要があります。(例: unicode=true;characterEncoding=UTF-8) - KMSEncryptionKey: ユーザー名、パスワード、接続文字列の復号に使用する Cloud KMS 暗号鍵。Cloud KMS 鍵が渡された場合、ユーザー名、パスワード、接続文字列はすべて暗号化され、base64 でエンコードされて渡されます。(例: projects/your-project/locations/global/keyRings/your-keyring/cryptoKeys/your-key)
- disabledAlgorithms: 無効にするためのカンマ区切りのアルゴリズム。この値が none に設定されている場合、アルゴリズムは無効になりません。デフォルトで無効になっているアルゴリズムには脆弱性やパフォーマンスの問題が存在する可能性があるため、このパラメータは慎重に使用してください(例: SSLv3、RC4)。
- extraFilesToStage: ワーカーにステージングするファイルのカンマ区切りの Cloud Storage パスまたは Secret Manager シークレット。これらのファイルは、各ワーカーの /extra_files ディレクトリに保存されます。例: gs://
- defaultLogLevel: ワーカーでログレベルを設定します。サポートされているオプションは、OFF、ERROR、WARN、INFO、DEBUG、TRACE です。デフォルトは INFO です。
テンプレートを実行する
コンソール
- Dataflow の [テンプレートからジョブを作成] ページに移動します。 [テンプレートからジョブを作成] に移動
- [ジョブ名] フィールドに、固有のジョブ名を入力します。
- (省略可)[リージョン エンドポイント] で、プルダウン メニューから値を選択します。デフォルトのリージョンは
us-central1
です。Dataflow ジョブを実行できるリージョンのリストについては、Dataflow のロケーションをご覧ください。
- [Dataflow テンプレート] プルダウン メニューから、[ the JDBC to Pub/Sub template] を選択します。
- 表示されたパラメータ フィールドに、パラメータ値を入力します。
- [ジョブを実行] をクリックします。
gcloud
シェルまたはターミナルで、テンプレートを実行します。
gcloud dataflow jobs run JOB_NAME \ --gcs-location gs://dataflow-templates-REGION_NAME/VERSION/flex/Jdbc_to_PubSub \ --region REGION_NAME \ --parameters \ driverClassName=DRIVER_CLASS_NAME,\ connectionURL=JDBC_CONNECTION_URL,\ driverJars=DRIVER_PATHS,\ username=CONNECTION_USERNAME,\ password=CONNECTION_PASSWORD,\ connectionProperties=CONNECTION_PROPERTIES,\ query=SOURCE_SQL_QUERY,\ outputTopic=OUTPUT_TOPIC,\ KMSEncryptionKey=KMS_ENCRYPTION_KEY
次のように置き換えます。
JOB_NAME
: 一意の任意のジョブ名VERSION
: 使用するテンプレートのバージョン使用できる値は次のとおりです。
latest
: 最新バージョンのテンプレートを使用します。このテンプレートは、バケット内で日付のない親フォルダ(gs://dataflow-templates-REGION_NAME/latest/)にあります。- バージョン名(例:
2023-09-12-00_RC00
)。特定のバージョンのテンプレートを使用します。このテンプレートは、バケット内で対応する日付の親フォルダ(gs://dataflow-templates-REGION_NAME/)にあります。
REGION_NAME
: Dataflow ジョブをデプロイするリージョン(例:us-central1
)DRIVER_CLASS_NAME
: ドライバのクラス名JDBC_CONNECTION_URL
: JDBC 接続 URLDRIVER_PATHS
: カンマで区切った JDBC ドライバの Cloud Storage パスCONNECTION_USERNAME
: JDBC 接続のユーザー名CONNECTION_PASSWORD
: JDBC 接続パスワードCONNECTION_PROPERTIES
: JDBC 接続プロパティ(必要に応じて)SOURCE_SQL_QUERY
: ソース データベースで実行する SQL クエリOUTPUT_TOPIC
: 公開先の Pub/SubKMS_ENCRYPTION_KEY
: Cloud KMS 暗号鍵
API
REST API を使用してテンプレートを実行するには、HTTP POST リクエストを送信します。API とその認証スコープの詳細については、projects.templates.launch
をご覧ください。
POST https://dataflow.googleapis.com/v1b3/projects/PROJECT_ID/locations/LOCATION/flexTemplates:launch { "launchParameter": { "jobName": "JOB_NAME", "containerSpecGcsPath": "gs://dataflow-templates-LOCATION/VERSION/flex/Jdbc_to_PubSub" "parameters": { "driverClassName": "DRIVER_CLASS_NAME", "connectionURL": "JDBC_CONNECTION_URL", "driverJars": "DRIVER_PATHS", "username": "CONNECTION_USERNAME", "password": "CONNECTION_PASSWORD", "connectionProperties": "CONNECTION_PROPERTIES", "query": "SOURCE_SQL_QUERY", "outputTopic": "OUTPUT_TOPIC", "KMSEncryptionKey":"KMS_ENCRYPTION_KEY" }, "environment": { "zone": "us-central1-f" } } }
次のように置き換えます。
PROJECT_ID
: Dataflow ジョブを実行する Google Cloud プロジェクトの IDJOB_NAME
: 一意の任意のジョブ名VERSION
: 使用するテンプレートのバージョン使用できる値は次のとおりです。
latest
: 最新バージョンのテンプレートを使用します。このテンプレートは、バケット内で日付のない親フォルダ(gs://dataflow-templates-REGION_NAME/latest/)にあります。- バージョン名(例:
2023-09-12-00_RC00
)。特定のバージョンのテンプレートを使用します。このテンプレートは、バケット内で対応する日付の親フォルダ(gs://dataflow-templates-REGION_NAME/)にあります。
LOCATION
: Dataflow ジョブをデプロイするリージョン(例:us-central1
)DRIVER_CLASS_NAME
: ドライバのクラス名JDBC_CONNECTION_URL
: JDBC 接続 URLDRIVER_PATHS
: カンマで区切った JDBC ドライバの Cloud Storage パスCONNECTION_USERNAME
: JDBC 接続のユーザー名CONNECTION_PASSWORD
: JDBC 接続パスワードCONNECTION_PROPERTIES
: JDBC 接続プロパティ(必要に応じて)SOURCE_SQL_QUERY
: ソース データベースで実行する SQL クエリOUTPUT_TOPIC
: 公開先の Pub/SubKMS_ENCRYPTION_KEY
: Cloud KMS 暗号鍵
次のステップ
- Dataflow テンプレートについて学習する。
- Google 提供のテンプレートのリストを確認する。