JDBC to BigQuery テンプレートは、リレーショナル データベース テーブルから既存の BigQuery テーブルにデータをコピーするバッチ パイプラインです。このパイプラインは、JDBC を使用してリレーショナル データベースに接続します。このテンプレートを使用すると、使用可能な JDBC ドライバがある任意のリレーショナル データベースから BigQuery にデータをコピーできます。
保護をさらに強化するために、Cloud KMS 鍵と一緒に、Cloud KMS 鍵で暗号化された Base64 でエンコードされたユーザー名、パスワード、接続文字列パラメータを渡すことができます。ユーザー名、パスワード、接続文字列パラメータの暗号化の詳細については、Cloud KMS API 暗号化エンドポイントをご覧ください。
パイプラインの要件
- リレーショナル データベース用の JDBC ドライバが使用可能である必要があります。
- パイプラインを実行する前に、BigQuery テーブルが存在する必要があります。
- BigQuery テーブルに互換性のあるスキーマが必要です。
- リレーショナル データベースは、Dataflow が実行されているサブネットからアクセス可能である必要があります。
テンプレートのパラメータ
パラメータ | 説明 |
---|---|
driverJars |
ドライバ JAR ファイルのカンマ区切りのリスト。例: gs://your-bucket/driver_jar1.jar,gs://your-bucket/driver_jar2.jar 。 |
driverClassName |
JDBC ドライバのクラス名。例: com.mysql.jdbc.Driver 。 |
connectionURL |
JDBC 接続 URL 文字列。例: jdbc:mysql://some-host:3306/sampledb この値は、Cloud KMS 鍵で暗号化され、Base64 でエンコードされた文字列として渡すことができます。Base64 でエンコードされた文字列から空白文字を削除します。Oracle の RAC 以外のデータベース接続文字列(jdbc:oracle:thin:@some-host:<port>:<sid> )と Oracle RAC データベース接続文字列(jdbc:oracle:thin:@//some-host[:<port>]/<service_name> )の違いに注意してください。例: jdbc:mysql://some-host:3306/sampledb 。 |
outputTable |
出力を書き込む BigQuery テーブルの場所。名前は <project>:<dataset>.<table_name> の形式にする必要があります。テーブルのスキーマは、入力オブジェクトと一致する必要があります。例: <my-project>:<my-dataset>.<my-table> 。 |
bigQueryLoadingTemporaryDirectory |
BigQuery 読み込みプロセスの一時ディレクトリ。例: gs://your-bucket/your-files/temp_dir 。 |
connectionProperties |
省略可: JDBC 接続に使用するプロパティ文字列。文字列形式 [propertyName=property;]* を使用します。例: unicode=true;characterEncoding=UTF-8 。 |
username |
省略可: JDBC 接続に使用するユーザー名。この値は、Cloud KMS 鍵で暗号化された Base64 エンコード文字列として渡すことができます。 |
password |
省略可: JDBC 接続に使用するパスワード。この値は、Cloud KMS 鍵で暗号化された Base64 エンコード文字列として渡すことができます。 |
query |
省略可: ソースで実行されるクエリでデータを抽出します。例: select * from sampledb.sample_table 。 |
KMSEncryptionKey |
省略可: ユーザー名、パスワード、接続文字列の復号に使用する Cloud KMS 暗号鍵。Cloud KMS 鍵を渡す場合、ユーザー名、パスワード、接続文字列はすべて暗号化して渡す必要があります。例: projects/your-project/locations/global/keyRings/your-keyring/cryptoKeys/your-key 。 |
useColumnAlias |
省略可: 有効にすると(true に設定)、パイプラインは列名の代わりに列エイリアス(AS)を使用して、行を BigQuery にマッピングします。デフォルトは false です。 |
isTruncate |
省略可: 有効にすると(true に設定)、パイプラインは BigQuery に読み込む前にデータを切り捨てます。デフォルトは false で、パイプラインはデータを追加します。 |
partitionColumn |
省略可: このパラメータが(table と一緒に)指定されている場合、JdbcIO は、範囲を使用して同じテーブル(サブクエリ)に対して複数のクエリ インスタンスを実行し、テーブルを並列に読み取ります。現在、Long パーティション列のみをサポートしています。 |
table |
省略可: パーティションの使用時に読み取るテーブル。このパラメータは、かっこ内のサブクエリも受け入れます。例: (select
id, name from Person as subq)。 |
numPartitions |
省略可: パーティションの数。下限と上限により、この値は、パーティション列を均等に分割するために使用される生成された WHERE 句式のパーティション ストライドを形成します。入力が 1 より小さい場合、数値は 1 に設定されます。 |
lowerBound |
省略可: パーティション スキームで使用する下限。指定しない場合、サポートされているタイプのこの値は Apache Beam によって自動的に推測されます。 |
upperBound |
省略可: パーティション スキームで使用する上限。指定しない場合、サポートされているタイプのこの値は Apache Beam によって自動的に推測されます。 |
disabledAlgorithms |
省略可: 無効にするためのカンマ区切りのアルゴリズム。この値が none に設定されている場合、アルゴリズムは無効になりません。 デフォルトで無効になっているアルゴリズムには脆弱性やパフォーマンスの問題が存在することが確認されています。使用する際には十分に注意してください。例: SSLv3, RC4 。 |
extraFilesToStage |
省略可: ワーカーにステージングするファイルのカンマ区切りの Cloud Storage パスまたは Secret Manager シークレット。これらのファイルは、各ワーカーの /extra_files ディレクトリに保存されます。例: gs://your-bucket/file.txt,projects/project-id/secrets/secret-id/versions/version-id 。 |
useStorageWriteApi |
省略可: true の場合、パイプラインは BigQuery Storage Write API を使用します。デフォルト値は false です。詳細については、Storage Write API の使用をご覧ください。 |
useStorageWriteApiAtLeastOnce |
省略可: Storage Write API を使用する場合は、書き込みセマンティクスを指定します。at-least-once セマンティクスを使用するには、このパラメータを true に設定します。1 回限りのセマンティクスを使用するには、パラメータを false に設定します。このパラメータは、useStorageWriteApi が true の場合にのみ適用されます。デフォルト値は false です。 |
テンプレートを実行する
コンソール
- Dataflow の [テンプレートからジョブを作成] ページに移動します。 [テンプレートからジョブを作成] に移動
- [ジョブ名] フィールドに、固有のジョブ名を入力します。
- (省略可)[リージョン エンドポイント] で、プルダウン メニューから値を選択します。デフォルトのリージョンは
us-central1
です。Dataflow ジョブを実行できるリージョンのリストについては、Dataflow のロケーションをご覧ください。
- [Dataflow テンプレート] プルダウン メニューから、the JDBC to BigQuery template を選択します。
- 表示されたパラメータ フィールドに、パラメータ値を入力します。
- [ジョブを実行] をクリックします。
gcloud
シェルまたはターミナルで、テンプレートを実行します。
gcloud dataflow flex-template run JOB_NAME \ --template-file-gcs-location=gs://dataflow-templates-REGION_NAME/VERSION/flex/Jdbc_to_BigQuery_Flex \ --project=PROJECT_ID \ --region=REGION_NAME \ --parameters \ driverJars=DRIVER_JARS,\ driverClassName=DRIVER_CLASS_NAME,\ connectionURL=CONNECTION_URL,\ outputTable=OUTPUT_TABLE,\ bigQueryLoadingTemporaryDirectory=BIG_QUERY_LOADING_TEMPORARY_DIRECTORY,\
次のように置き換えます。
JOB_NAME
: 一意の任意のジョブ名VERSION
: 使用するテンプレートのバージョン使用できる値は次のとおりです。
latest
: 最新バージョンのテンプレートを使用します。このテンプレートは、バケット内で日付のない親フォルダ(gs://dataflow-templates-REGION_NAME/latest/)にあります。- バージョン名(例:
2023-09-12-00_RC00
)。特定のバージョンのテンプレートを使用します。このテンプレートは、バケット内で対応する日付の親フォルダ(gs://dataflow-templates-REGION_NAME/)にあります。
REGION_NAME
: Dataflow ジョブをデプロイするリージョン(例:us-central1
)DRIVER_JARS
: カンマで区切った JDBC ドライバの Cloud Storage パスDRIVER_CLASS_NAME
: JDBC ドライバのクラス名CONNECTION_URL
: JDBC 接続 URL 文字列OUTPUT_TABLE
: BigQuery 出力テーブルBIG_QUERY_LOADING_TEMPORARY_DIRECTORY
: BigQuery 読み込みプロセスで使用する一時ディレクトリ
API
REST API を使用してテンプレートを実行するには、HTTP POST リクエストを送信します。API とその認証スコープの詳細については、projects.templates.launch
をご覧ください。
POST https://dataflow.googleapis.com/v1b3/projects/PROJECT_ID/locations/LOCATION/flexTemplates:launch { "launchParameter": { "jobName": "JOB_NAME", "parameters": { "driverJars": "DRIVER_JARS", "driverClassName": "DRIVER_CLASS_NAME", "connectionURL": "CONNECTION_URL", "outputTable": "OUTPUT_TABLE", "bigQueryLoadingTemporaryDirectory": "BIG_QUERY_LOADING_TEMPORARY_DIRECTORY", }, "containerSpecGcsPath": "gs://dataflow-templates-LOCATION/VERSION/flex/Jdbc_to_BigQuery_Flex", "environment": { "maxWorkers": "10" } } }
次のように置き換えます。
PROJECT_ID
: Dataflow ジョブを実行する Google Cloud プロジェクトの IDJOB_NAME
: 一意の任意のジョブ名VERSION
: 使用するテンプレートのバージョン使用できる値は次のとおりです。
latest
: 最新バージョンのテンプレートを使用します。このテンプレートは、バケット内で日付のない親フォルダ(gs://dataflow-templates-REGION_NAME/latest/)にあります。- バージョン名(例:
2023-09-12-00_RC00
)。特定のバージョンのテンプレートを使用します。このテンプレートは、バケット内で対応する日付の親フォルダ(gs://dataflow-templates-REGION_NAME/)にあります。
LOCATION
: Dataflow ジョブをデプロイするリージョン(例:us-central1
)DRIVER_JARS
: カンマで区切った JDBC ドライバの Cloud Storage パスDRIVER_CLASS_NAME
: JDBC ドライバのクラス名CONNECTION_URL
: JDBC 接続 URL 文字列OUTPUT_TABLE
: BigQuery 出力テーブルBIG_QUERY_LOADING_TEMPORARY_DIRECTORY
: BigQuery 読み込みプロセスで使用する一時ディレクトリ
次のステップ
- Dataflow テンプレートについて学習する。
- Google 提供のテンプレートのリストを確認する。