Google 提供のバッチ テンプレート

Google はオープンソースの Cloud Dataflow テンプレートを提供しています。テンプレートに関する一般的な情報については、概要ページをご覧ください。Google が提供するすべてのテンプレートのリストについては、Google 提供のテンプレートの概要ページをご覧ください。

このページでは、以下のバッチ テンプレートについて説明します。

Cloud Bigtable to Cloud Storage Avro

Cloud Bigtable to Cloud Storage Avro テンプレートは、Cloud Bigtable テーブルからデータを読み取り、Avro 形式で Cloud Storage バケットに書き込むパイプラインです。このテンプレートは、Cloud Bigtable から Cloud Storage にデータを移動する場合に使用できます。

このパイプラインの要件:

  • Cloud Bigtable テーブルが存在すること。
  • パイプラインの実行前に出力先の Cloud Storage バケットが存在すること。

テンプレートのパラメータ

パラメータ 説明
bigtableProjectId データを読み取る Cloud Bigtable インスタンスの GCP プロジェクトの ID。
bigtableInstanceId テーブルが含まれる Cloud Bigtable インスタンスの ID。
bigtableTableId エクスポート対象の Cloud Bigtable テーブルの ID。
outputDirectory データの書き込み先の Cloud Storage のパス。たとえば、gs://mybucket/somefolder などです。
filenamePrefix Avro ファイル名の接頭辞。たとえば、output- などです。

Cloud Bigtable to Cloud Storage Avro file テンプレートの実行

Console

Google Cloud Platform Console から実行する
  1. GCP Console の Cloud Dataflow ページに移動します。
  2. Cloud Dataflow ページに移動
  3. [テンプレートからジョブを作成] をクリックします。
  4. Cloud Platform Console の [テンプレートからジョブを作成] ボタン
  5. [Cloud Dataflow テンプレート] プルダウン メニューからを選択します。
  6. [ジョブ名] フィールドにジョブ名を入力します。 ジョブ名を有効にするには、正規表現 [a-z]([-a-z0-9]{0,38}[a-z0-9])? と一致させる必要があります。
  7. 表示されるパラメータ フィールドにパラメータ値を入力します。
  8. [ジョブを実行] をクリックします。

gcloud

gcloud コマンドライン ツールから実行する

注: gcloud コマンドライン ツールを使用してテンプレートを実行するには、Cloud SDK バージョン 138.0.0 以降が必要です。

このテンプレートの実行時は、テンプレートへの次のような Cloud Storage パスが必要です。

gs://dataflow-templates/VERSION/

このサンプル リクエストを使用する際には、REST API の使用の説明に従ってください。このリクエストには承認が必要で、書き込み権限がある tempLocation を指定する必要があります。このサンプルの次の値は置き換える必要があります。

  • [YOUR_PROJECT_ID] は、実際のプロジェクト ID に置き換えます。
  • [JOB_NAME] は、任意のジョブ名に置き換えます。ジョブ名を有効にするには、正規表現 [a-z]([-a-z0-9]{0,38}[a-z0-9])? と一致させる必要があります。
  • [PROJECT_ID] は、データを読み取る Cloud Bigtable インスタンスの GCP プロジェクトの ID に置き換えます。
  • [INSTANCE_ID] は、テーブルが含まれる Cloud Bigtable インスタンスの ID に置き換えます。
  • [TABLE_ID] は、エクスポート対象の Cloud Bigtable テーブルの ID に置き換えます。
  • [OUTPUT_DIRECTORY] は、書き込み先の Cloud Storage パスに置き換えます。たとえば、gs://mybucket/somefolder などです。
  • [FILENAME_PREFIX] は、Avro ファイル名の接頭辞に置き換えます。たとえば、output- などです。
gcloud dataflow jobs run [JOB_NAME] \
    --gcs-location gs://dataflow-templates/latest/ \
    --parameters bigtableProjectId=[PROJECT_ID],bigtableInstanceId=[INSTANCE_ID],bigtableTableId=[TABLE_ID],outputDirectory=[OUTPUT_DIRECTORY],filenamePrefix=[FILENAME_PREFIX]

API

REST API から実行する

このテンプレートの実行時は、テンプレートへの次のような Cloud Storage パスが必要です。

gs://dataflow-templates/VERSION/

REST API リクエストでこのテンプレートを実行するには、プロジェクト ID を指定して HTTP POST リクエストを送信します。このリクエストには承認が必要です。

このサンプル リクエストを使用する際には、REST API の使用の説明に従ってください。このリクエストには承認が必要で、書き込み権限がある tempLocation を指定する必要があります。このサンプルの次の値は置き換える必要があります。

  • [YOUR_PROJECT_ID] は、実際のプロジェクト ID に置き換えます。
  • [JOB_NAME] は、任意のジョブ名に置き換えます。ジョブ名を有効にするには、正規表現 [a-z]([-a-z0-9]{0,38}[a-z0-9])? と一致させる必要があります。
  • [PROJECT_ID] は、データを読み取る Cloud Bigtable インスタンスの GCP プロジェクトの ID に置き換えます。
  • [INSTANCE_ID] は、テーブルが含まれる Cloud Bigtable インスタンスの ID に置き換えます。
  • [TABLE_ID] は、エクスポート対象の Cloud Bigtable テーブルの ID に置き換えます。
  • [OUTPUT_DIRECTORY] は、書き込み先の Cloud Storage パスに置き換えます。たとえば、gs://mybucket/somefolder などです。
  • [FILENAME_PREFIX] は、Avro ファイル名の接頭辞に置き換えます。たとえば、output- などです。
POST https://dataflow.googleapis.com/v1b3/projects/[YOUR_PROJECT_ID]/templates:launch?gcsPath=gs://dataflow-templates/latest/
{
   "jobName": "[JOB_NAME]",
   "parameters": {
       "bigtableProjectId": "[PROJECT_ID]",
       "bigtableInstanceId": "[INSTANCE_ID]",
       "bigtableTableId": "[TABLE_ID]",
       "outputDirectory": "[OUTPUT_DIRECTORY]",
       "filenamePrefix": "[FILENAME_PREFIX]",
   },
   "environment": { "zone": "us-central1-f" }
}

Cloud Bigtable to Cloud Storage SequenceFile

Cloud Bigtable to Cloud Storage SequenceFile テンプレートは、Cloud Bigtable テーブルからデータを読み取り、SequenceFile 形式で Cloud Storage バケットに書き込むパイプラインです。このテンプレートは、Cloud Bigtable から Cloud Storage にデータをコピーする場合に使用できます。

このパイプラインの要件:

  • Cloud Bigtable テーブルが存在すること。
  • パイプラインの実行前に出力先の Cloud Storage バケットが存在すること。

テンプレートのパラメータ

パラメータ 説明
bigtableProject データを読み取る Cloud Bigtable インスタンスの GCP プロジェクトの ID。
bigtableInstanceId テーブルが含まれる Cloud Bigtable インスタンスの ID。
bigtableTableId エクスポート対象の Cloud Bigtable テーブルの ID。
bigtableAppProfileId エクスポートに使用される Cloud Bigtable アプリケーション プロファイルの ID。アプリ プロファイルを指定しない場合、Cloud Bigtable ではインスタンスのデフォルトのアプリ プロファイルが使用されます。
destinationPath データの書き込み先の Cloud Storage のパス。たとえば、gs://mybucket/somefolder などです。
filenamePrefix SequenceFile ファイル名の接頭辞。たとえば、output- などです。

Cloud Bigtable to Cloud Storage SequenceFile テンプレートの実行

Console

Google Cloud Platform Console から実行する
  1. GCP Console の Cloud Dataflow ページに移動します。
  2. Cloud Dataflow ページに移動
  3. [テンプレートからジョブを作成] をクリックします。
  4. Cloud Platform Console の [テンプレートからジョブを作成] ボタン
  5. [Cloud Dataflow テンプレート] プルダウン メニューからを選択します。
  6. [ジョブ名] フィールドにジョブ名を入力します。 ジョブ名を有効にするには、正規表現 [a-z]([-a-z0-9]{0,38}[a-z0-9])? と一致させる必要があります。
  7. 表示されるパラメータ フィールドにパラメータ値を入力します。
  8. [ジョブを実行] をクリックします。

gcloud

gcloud コマンドライン ツールから実行する

注: gcloud コマンドライン ツールを使用してテンプレートを実行するには、Cloud SDK バージョン 138.0.0 以降が必要です。

このテンプレートの実行時は、テンプレートへの次のような Cloud Storage パスが必要です。

gs://dataflow-templates/VERSION/

このサンプル リクエストを使用する際には、REST API の使用の説明に従ってください。このリクエストには承認が必要で、書き込み権限がある tempLocation を指定する必要があります。このサンプルの次の値は置き換える必要があります。

  • [YOUR_PROJECT_ID] は、実際のプロジェクト ID に置き換えます。
  • [JOB_NAME] は、任意のジョブ名に置き換えます。ジョブ名を有効にするには、正規表現 [a-z]([-a-z0-9]{0,38}[a-z0-9])? と一致させる必要があります。
  • [PROJECT_ID] は、データを読み取る Cloud Bigtable インスタンスの GCP プロジェクトの ID に置き換えます。
  • [INSTANCE_ID] は、テーブルが含まれる Cloud Bigtable インスタンスの ID に置き換えます。
  • [TABLE_ID] は、エクスポート対象の Cloud Bigtable テーブルの ID に置き換えます。
  • [APPLICATION_PROFILE_ID] は、エクスポートに使用する Cloud Bigtable アプリケーション プロファイルの ID に置き換えます。
  • [DESTINATION_PATH] は、データの書き込み先の Cloud Storage パスに置き換えます。たとえば、gs://mybucket/somefolder などです。
  • [FILENAME_PREFIX] は、SequenceFile ファイル名の接頭辞に置き換えます。たとえば、output- などです。
gcloud dataflow jobs run [JOB_NAME] \
    --gcs-location gs://dataflow-templates/latest/ \
    --parameters bigtableProject=[PROJECT_ID],bigtableInstanceId=[INSTANCE_ID],bigtableTableId=[TABLE_ID],bigtableAppProfileId=[APPLICATION_PROFILE_ID],destinationPath=[DESTINATION_PATH],filenamePrefix=[FILENAME_PREFIX]

API

REST API から実行する

このテンプレートの実行時は、テンプレートへの次のような Cloud Storage パスが必要です。

gs://dataflow-templates/VERSION/

REST API リクエストでこのテンプレートを実行するには、プロジェクト ID を指定して HTTP POST リクエストを送信します。このリクエストには承認が必要です。

このサンプル リクエストを使用する際には、REST API の使用の説明に従ってください。このリクエストには承認が必要で、書き込み権限がある tempLocation を指定する必要があります。このサンプルの次の値は置き換える必要があります。

  • [YOUR_PROJECT_ID] は、実際のプロジェクト ID に置き換えます。
  • [JOB_NAME] は、任意のジョブ名に置き換えます。ジョブ名を有効にするには、正規表現 [a-z]([-a-z0-9]{0,38}[a-z0-9])? と一致させる必要があります。
  • [PROJECT_ID] は、データを読み取る Cloud Bigtable インスタンスの GCP プロジェクトの ID に置き換えます。
  • [INSTANCE_ID] は、テーブルが含まれる Cloud Bigtable インスタンスの ID に置き換えます。
  • [TABLE_ID] は、エクスポート対象の Cloud Bigtable テーブルの ID に置き換えます。
  • [APPLICATION_PROFILE_ID] は、エクスポートに使用する Cloud Bigtable アプリケーション プロファイルの ID に置き換えます。
  • [DESTINATION_PATH] は、データの書き込み先の Cloud Storage パスに置き換えます。たとえば、gs://mybucket/somefolder などです。
  • [FILENAME_PREFIX] は、SequenceFile ファイル名の接頭辞に置き換えます。たとえば、output- などです。
POST https://dataflow.googleapis.com/v1b3/projects/[YOUR_PROJECT_ID]/templates:launch?gcsPath=gs://dataflow-templates/latest/
{
   "jobName": "[JOB_NAME]",
   "parameters": {
       "bigtableProject": "[PROJECT_ID]",
       "bigtableInstanceId": "[INSTANCE_ID]",
       "bigtableTableId": "[TABLE_ID]",
       "bigtableAppProfileId": "[APPLICATION_PROFILE_ID]",
       "destinationPath": "[DESTINATION_PATH]",
       "filenamePrefix": "[FILENAME_PREFIX]",
   },
   "environment": { "zone": "us-central1-f" }
}

Cloud Datastore to Cloud Storage Text

Cloud Datastore to Cloud Storage Text テンプレートは、Cloud Datastore エンティティを読み取り、Cloud Storage にテキスト ファイルとして書き込むバッチ パイプラインです。各エンティティを JSON 文字列として扱う関数を使用できます。このような関数を使用しない場合、出力ファイルの各行はシリアル化された JSON エンティティとなります。

このパイプラインの要件:

実行前に、プロジェクトに Cloud Datastore が設定されている必要があります。

テンプレートのパラメータ

パラメータ 説明
datastoreReadGqlQuery 取得するエンティティを指定する GQL クエリ。たとえば、SELECT * FROM MyKind などです。
datastoreReadProjectId データ読み取り元の Cloud Datastore インスタンスの GCP プロジェクト ID。
datastoreReadNamespace 要求されたエンティティの名前空間。デフォルトの名前空間を使用するには、このパラメータを空白のままにします。
javascriptTextTransformGcsPath すべての JavaScript コードを含む Cloud Storage パス。たとえば、gs://mybucket/mytransforms/*.js とします。関数を提供しない場合には、このパラメータを空白のままにします。
javascriptTextTransformFunctionName 呼び出される JavaScript 関数の名前。たとえば、JavaScript 関数が function myTransform(inJson) { ...dostuff...} の場合、関数名は myTransform です。関数を提供しない場合は、このパラメータを空白のままにします。
textWritePrefix データを書き込む Cloud Storage パスの接頭辞。たとえば、gs://mybucket/somefolder/ とします。

Cloud Datastore to Cloud Storage Text テンプレートの実行

Console

Google Cloud Platform Console から実行する
  1. GCP Console の Cloud Dataflow ページに移動します。
  2. Cloud Dataflow ページに移動
  3. [テンプレートからジョブを作成] をクリックします。
  4. Cloud Platform Console の [テンプレートからジョブを作成] ボタン
  5. [Cloud Dataflow テンプレート] プルダウン メニューからCloud Datastore to Cloud Storage Text テンプレートを選択します。
  6. [ジョブ名] フィールドにジョブ名を入力します。 ジョブ名を有効にするには、正規表現 [a-z]([-a-z0-9]{0,38}[a-z0-9])? と一致させる必要があります。
  7. 表示されるパラメータ フィールドにパラメータ値を入力します。
  8. [ジョブを実行] をクリックします。

gcloud

gcloud コマンドライン ツールから実行する

注: gcloud コマンドライン ツールを使用してテンプレートを実行するには、Cloud SDK バージョン 138.0.0 以降が必要です。

このテンプレートの実行時は、テンプレートへの次のような Cloud Storage パスが必要です。

gs://dataflow-templates/VERSION/Datastore_to_GCS_Text

このサンプルの次の値は置き換える必要があります。

  • YOUR_PROJECT_ID は、実際のプロジェクト ID に置き換えます。
  • JOB_NAME は、任意のジョブ名に置き換えます。ジョブ名を有効にするには、正規表現 [a-z]([-a-z0-9]{0,38}[a-z0-9])? と一致させる必要があります。
  • YOUR_BUCKET_NAME は、Cloud Storage バケットの名前に置き換えます。
  • YOUR_DATASTORE_KIND は、使用する Datastore エンティティのタイプに置き換えます。
  • YOUR_DATASTORE_NAMESPACE は、Datastore エンティティの名前空間に置き換えます。
  • YOUR_JAVASCRIPT_FUNCTION は、JavaScript 関数の名前に置き換えます。
  • PATH_TO_JAVASCRIPT_UDF_FILE は、使用する JavaScript コードが格納された .js ファイルへの Cloud Storage パスに置き換えます。
gcloud dataflow jobs run JOB_NAME \
    --gcs-location gs://dataflow-templates/latest/Datastore_to_GCS_Text \
    --parameters \
datastoreReadGqlQuery="SELECT * FROM YOUR_DATASTORE_KIND",\
datastoreReadProjectId=YOUR_PROJECT_ID,\
datastoreReadNamespace=YOUR_DATASTORE_NAMESPACE,\
javascriptTextTransformGcsPath=PATH_TO_JAVASCRIPT_UDF_FILE,\
javascriptTextTransformFunctionName=YOUR_JAVASCRIPT_FUNCTION,\
textWritePrefix=gs://YOUR_BUCKET_NAME/output/

API

REST API から実行する

このテンプレートの実行時は、テンプレートへの次のような Cloud Storage パスが必要です。

gs://dataflow-templates/VERSION/Datastore_to_GCS_Text

REST API リクエストでこのテンプレートを実行するには、プロジェクト ID を指定して HTTP POST リクエストを送信します。このリクエストには承認が必要です。

このサンプルの次の値は置き換える必要があります。

  • YOUR_PROJECT_ID は、実際のプロジェクト ID に置き換えます。
  • JOB_NAME は、任意のジョブ名に置き換えます。ジョブ名を有効にするには、正規表現 [a-z]([-a-z0-9]{0,38}[a-z0-9])? と一致させる必要があります。
  • YOUR_BUCKET_NAME は、Cloud Storage バケットの名前に置き換えます。
  • YOUR_DATASTORE_KIND は、使用する Datastore エンティティのタイプに置き換えます。
  • YOUR_DATASTORE_NAMESPACE は、Datastore エンティティの名前空間に置き換えます。
  • YOUR_JAVASCRIPT_FUNCTION は、JavaScript 関数の名前に置き換えます。
  • PATH_TO_JAVASCRIPT_UDF_FILE は、使用する JavaScript コードが格納された .js ファイルへの Cloud Storage パスに置き換えます。
POST https://dataflow.googleapis.com/v1b3/projects/YOUR_PROJECT_ID/templates:launch?gcsPath=gs://dataflow-templates/latest/Datastore_to_GCS_Text
{
   "jobName": "JOB_NAME",
   "parameters": {
       "datastoreReadGqlQuery": "SELECT * FROM YOUR_DATASTORE_KIND"
       "datastoreReadProjectId": "YOUR_PROJECT_ID",
       "datastoreReadNamespace": "YOUR_DATASTORE_NAMESPACE",
       "javascriptTextTransformGcsPath": "PATH_TO_JAVASCRIPT_UDF_FILE",
       "javascriptTextTransformFunctionName": "YOUR_JAVASCRIPT_FUNCTION",
       "textWritePrefix": "gs://YOUR_BUCKET_NAME/output/"
   },
   "environment": { "zone": "us-central1-f" }
}

Cloud Spanner to Cloud Storage Avro

Cloud Spanner to Cloud Storage テンプレートは、Cloud Spanner データベース全体を Avro 形式で Cloud Storage にエクスポートするバッチ パイプラインです。Cloud Spanner データベースをエクスポートすると、選択したバケット内にフォルダが作成されます。このフォルダには以下のものが格納されます。

  • spanner-export.json ファイル。
  • エクスポートしたデータベース内の各テーブルに対応する TableName-manifest.json ファイル。
  • 1 つ以上の TableName.avro-#####-of-##### ファイル。

たとえば、2 つのテーブル SingersAlbums が含まれるデータベースをエクスポートすると、以下のファイルセットが作成されます。

  • Albums-manifest.json
  • Albums.avro-00000-of-00002
  • Albums.avro-00001-of-00002
  • Singers-manifest.json
  • Singers.avro-00000-of-00003
  • Singers.avro-00001-of-00003
  • Singers.avro-00002-of-00003
  • spanner-export.json

このパイプラインの要件:

  • Cloud Spanner データベースが存在すること。
  • 出力先の Cloud Storage バケットが存在すること。
  • Cloud Dataflow ジョブの実行に必要な Cloud IAM の役割に加え、Cloud Spanner データの読み取りと Cloud Storage バケットへの書き込みに対応できる Cloud IAM の役割も必要です。

テンプレートのパラメータ

パラメータ 説明
instanceId エクスポートする Cloud Spanner データベースのインスタンス ID。
databaseId エクスポートする Cloud Spanner データベースのデータベース ID。
outputDir Avro ファイルのエクスポート先にする Cloud Storage パス。エクスポート ジョブによって、このパスの下にディレクトリが新規作成されます。ここに、エクスポートされたファイルが格納されます。

テンプレートの実行

Console

Google Cloud Platform Console から実行する
  1. GCP Console の Cloud Dataflow ページに移動します。
  2. Cloud Dataflow ページに移動
  3. [テンプレートからジョブを作成] をクリックします。
  4. Cloud Platform Console の [テンプレートからジョブを作成] ボタン
  5. [Cloud Dataflow テンプレート] プルダウン メニューからCloud Spanner to Cloud Storage Avro テンプレートを選択します。
  6. [ジョブ名] フィールドにジョブ名を入力します。 ジョブ名を有効にするには、正規表現 [a-z]([-a-z0-9]{0,38}[a-z0-9])? と一致させる必要があります。
  7. 表示されるパラメータ フィールドにパラメータ値を入力します。
  8. [ジョブを実行] をクリックします。

gcloud

gcloud コマンドライン ツールから実行する

注: gcloud コマンドライン ツールを使用してテンプレートを実行するには、Cloud SDK バージョン 138.0.0 以降が必要です。

このテンプレートの実行時には、テンプレートへの次のような Cloud Storage パスが必要です。

gs://dataflow-templates/VERSION/Cloud_Spanner_to_GCS_Avro

このサンプル リクエストを使用する際には REST API の使用の説明に従ってください。このリクエストには承認が必要で、書き込み権限がある tempLocation を指定する必要があります。このサンプルの次の値は置き換える必要があります。

  • [DATAFLOW_REGION] は、Cloud Dataflow ジョブを実行するリージョン(us-central1 など)に置き換えます。
  • [YOUR_INSTANCE_ID] は、Cloud Spanner インスタンスの ID に置き換えます。
  • [YOUR_DATABASE_ID] は、Cloud Spanner データベースの ID に置き換えます。
  • [YOUR_GCS_DIRECTORY] は、Avro ファイルのインポート元の Cloud Storage パスに置き換えます。
  • [JOB_NAME] は、任意のジョブ名に置き換えます。
    • 有効なジョブ名にするには、正規表現 [a-z]([-a-z0-9]{0,38}[a-z0-9])? と一致させる必要があります。
    • GCP Console の Cloud Spanner 部分に表示するジョブ名は、cloud-spanner-エクスポート-[YOUR_INSTANCE_ID]-[YOUR_DATABASE_ID] という形式にする必要があります。
gcloud dataflow jobs run [JOB_NAME] \
    --gcs-location='gs://dataflow-templates/[VERSION]/Cloud_Spanner_to_GCS_Avro' \
    --region=[DATAFLOW_REGION] \
    --parameters='instanceId=[YOUR_INSTANCE_ID],databaseId=[YOUR_DATABASE_ID],outputDir=[YOUR_GCS_DIRECTORY]

API

REST API から実行する

このテンプレートの実行時には、テンプレートへの次のような Cloud Storage パスが必要です。

gs://dataflow-templates/VERSION/Cloud_Spanner_to_GCS_Avro

このサンプル リクエストを使用する際には REST API の使用の説明に従ってください。このリクエストには承認が必要で、書き込み権限がある tempLocation を指定する必要があります。このサンプルの次の値は置き換える必要があります。

  • [YOUR_PROJECT_ID] は、実際のプロジェクト ID に置き換えます。
  • [DATAFLOW_REGION] は、Cloud Dataflow ジョブを実行するリージョン(us-central1 など)に置き換えます。
  • [YOUR_INSTANCE_ID] は、Cloud Spanner インスタンスの ID に置き換えます。
  • [YOUR_DATABASE_ID] は、Cloud Spanner データベースの ID に置き換えます。
  • [YOUR_GCS_DIRECTORY] は、Avro ファイルのインポート元の Cloud Storage パスに置き換えます。
  • [JOB_NAME] は、任意のジョブ名に置き換えます。
    • 有効なジョブ名にするには、正規表現 [a-z]([-a-z0-9]{0,38}[a-z0-9])? と一致させる必要があります。
    • GCP Console の Cloud Spanner 部分に表示するジョブ名は、cloud-spanner-エクスポート-[YOUR_INSTANCE_ID]-[YOUR_DATABASE_ID] という形式にする必要があります。
POST https://dataflow.googleapis.com/v1b3/projects/[YOUR_PROJECT_ID]/locations/[DATAFLOW_REGION]/templates:launch?gcsPath=gs://dataflow-templates/[VERSION]/Cloud_Spanner_to_GCS_Avro
{
   "jobName": "[JOB_NAME]",
   "parameters": {
       "instanceId": "[YOUR_INSTANCE_ID]",
       "databaseId": "[YOUR_DATABASE_ID]",
       "outputDir": "gs://[YOUR_GCS_DIRECTORY]"
   }
}

Cloud Spanner to Cloud Storage Text

Cloud Spanner to Cloud Storage Text テンプレートは、データを Cloud Spanner テーブルから読み込み、必要に応じて指定した JavaScript ユーザー定義関数(UDF)を介して変換し、CSV テキスト ファイルとして Cloud Storage に書き込むバッチ パイプラインです。

このパイプラインの要件:

  • パイプラインの実行前に入力 Cloud Spanner テーブルが存在すること。

テンプレートのパラメータ

パラメータ 説明
spannerProjectId データを読み取る Cloud Spanner データベースの GCP プロジェクト ID。
spannerDatabaseId 要求されたテーブルのデータベース。
spannerInstanceId 要求されたテーブルのインスタンス。
spannerTable エクスポートするテーブル。
textWritePrefix 出力テキスト ファイルを書き込む出力ディレクトリ。末尾に / を付加してください。たとえば、gs://mybucket/somefolder/ などです。
javascriptTextTransformGcsPath (オプション)すべての JavaScript コードを含む Cloud Storage パス。たとえば、gs://mybucket/mytransforms/*.js とします。関数を提供しない場合は、このパラメータを空白のままにします。
javascriptTextTransformFunctionName (オプション)呼び出される JavaScript 関数の名前。たとえば、JavaScript 関数が function myTransform(inJson) { ...dostuff...} の場合、関数名は myTransform です。関数を提供しない場合は、このパラメータを空白のままにします。

Cloud Spanner to Cloud Storage Text テンプレートの実行

コンソール

Google Cloud Platform Console から実行する
  1. GCP Console の Cloud Dataflow ページに移動します。
  2. Cloud Dataflow ページに移動
  3. [テンプレートからジョブを作成] をクリックします。
  4. Cloud Platform Console の [テンプレートからジョブを作成] ボタン
  5. [Cloud Dataflow テンプレート] プルダウン メニューからCloud Spanner to Cloud Storage Text テンプレートを選択します。
  6. [ジョブ名] フィールドにジョブ名を入力します。 ジョブ名を有効にするには、正規表現 [a-z]([-a-z0-9]{0,38}[a-z0-9])? と一致させる必要があります。
  7. 表示されるパラメータ フィールドにパラメータ値を入力します。
  8. [ジョブを実行] をクリックします。

gcloud

gcloud コマンドライン ツールから実行する

注: gcloud コマンドライン ツールを使用してテンプレートを実行するには、Cloud SDK バージョン 138.0.0 以降が必要です。

このテンプレートの実行時は、テンプレートへの次のような Cloud Storage パスが必要です。

gs://dataflow-templates/VERSION/Spanner_to_GCS_Text

このサンプルの次の値は置き換える必要があります。

  • YOUR_PROJECT_ID は、実際のプロジェクト ID に置き換えます。
  • JOB_NAME は、任意のジョブ名に置き換えます。ジョブ名を有効にするには、正規表現 [a-z]([-a-z0-9]{0,38}[a-z0-9])? と一致させる必要があります。
  • YOUR_DATABASE_ID は、Cloud Spanner データベースの ID に置き換えます。
  • YOUR_BUCKET_NAME は、Cloud Storage バケットの名前に置き換えます。
  • YOUR_INSTANCE_ID は、Cloud Spanner インスタンスの ID に置き換えます。
  • YOUR_TABLE_ID は、Cloud Spanner テーブルの ID に置き換えます。
  • PATH_TO_JAVASCRIPT_UDF_FILE は、JavaScript コードを含む .js ファイルの Cloud Storage パスに置き換えます。
  • YOUR_JAVASCRIPT_FUNCTION は、JavaScript 関数の名前に置き換えます。
gcloud dataflow jobs run JOB_NAME \
    --gcs-location gs://dataflow-templates/latest/Spanner_to_GCS_Text \
    --parameters \
spannerProjectId=YOUR_PROJECT_ID,\
spannerDatabaseId=YOUR_DATABASE_ID,\
spannerInstanceId=YOUR_INSTANCE_ID,\
spannerTable=YOUR_TABLE_ID,\
textWritePrefix=gs://YOUR_BUCKET_NAME/output/,\
javascriptTextTransformGcsPath=PATH_TO_JAVASCRIPT_UDF_FILE,\
javascriptTextTransformFunctionName=YOUR_JAVASCRIPT_FUNCTION

API

REST API から実行する

このテンプレートの実行時は、テンプレートへの次のような Cloud Storage パスが必要です。

gs://dataflow-templates/VERSION/Spanner_to_GCS_Text

REST API リクエストでこのテンプレートを実行するには、プロジェクト ID を指定して HTTP POST リクエストを送信します。このリクエストには承認が必要です。

このサンプルの次の値は置き換える必要があります。

  • YOUR_PROJECT_ID は、実際のプロジェクト ID に置き換えます。
  • JOB_NAME は、任意のジョブ名に置き換えます。ジョブ名を有効にするには、正規表現 [a-z]([-a-z0-9]{0,38}[a-z0-9])? と一致させる必要があります。
  • YOUR_DATABASE_ID は、Cloud Spanner データベースの ID に置き換えます。
  • YOUR_BUCKET_NAME は、Cloud Storage バケットの名前に置き換えます。
  • YOUR_INSTANCE_ID は、Cloud Spanner インスタンスの ID に置き換えます。
  • YOUR_TABLE_ID は、Cloud Spanner テーブルの ID に置き換えます。
  • PATH_TO_JAVASCRIPT_UDF_FILE は、JavaScript コードを含む .js ファイルの Cloud Storage パスに置き換えます。
  • YOUR_JAVASCRIPT_FUNCTION は、JavaScript 関数の名前に置き換えます。
POST https://dataflow.googleapis.com/v1b3/projects/YOUR_PROJECT_ID/templates:launch?gcsPath=gs://dataflow-templates/latest/Spanner_to_GCS_Text
{
   "jobName": "JOB_NAME",
   "parameters": {
       "spannerProjectId": "YOUR_PROJECT_ID",
       "spannerDatabaseId": "YOUR_DATABASE_ID",
       "spannerInstanceId": "YOUR_INSTANCE_ID",
       "spannerTable": "YOUR_TABLE_ID",
       "textWritePrefix": "gs://YOUR_BUCKET_NAME/output/",
       "javascriptTextTransformGcsPath": "PATH_TO_JAVASCRIPT_UDF_FILE",
       "javascriptTextTransformFunctionName": "YOUR_JAVASCRIPT_FUNCTION"
   },
   "environment": { "zone": "us-central1-f" }
}

Cloud Storage Avro to Cloud Bigtable

Cloud Storage Avro to Cloud Bigtable テンプレートは、Cloud Storage バケットの Avro ファイルからデータを読み取り、Cloud Bigtable テーブルに書き込むパイプラインです。このテンプレートは、Cloud Storage から Cloud Bigtable にデータをコピーする場合に使用できます。

このパイプラインの要件:

  • Cloud Bigtable テーブルが存在し、Avro ファイルにエクスポートしたものと同じ列ファミリがこのテーブルにあること。
  • パイプラインの実行前に、Cloud Storage バケット内に入力 Avro ファイルが存在すること。
  • Cloud Bigtable が入力 Avro ファイルに特定のスキーマを想定していること。

テンプレートのパラメータ

パラメータ 説明
bigtableProjectId データを書き込む Cloud Bigtable インスタンスの GCP プロジェクトの ID。
bigtableInstanceId テーブルが含まれる Cloud Bigtable インスタンスの ID。
bigtableTableId インポート対象の Cloud Bigtable テーブルの ID。
inputFilePattern データが存在する Cloud Storage パスのパターン。たとえば、gs://mybucket/somefolder/prefix* などです。

Cloud Storage Avro file to Cloud Bigtable テンプレートの実行

Console

Google Cloud Platform Console から実行する
  1. GCP Console の Cloud Dataflow ページに移動します。
  2. Cloud Dataflow ページに移動
  3. [テンプレートからジョブを作成] をクリックします。
  4. Cloud Platform Console の [テンプレートからジョブを作成] ボタン
  5. [Cloud Dataflow テンプレート] プルダウン メニューからCloud Spanner to Cloud Storage Text テンプレートを選択します。
  6. [ジョブ名] フィールドにジョブ名を入力します。 ジョブ名を有効にするには、正規表現 [a-z]([-a-z0-9]{0,38}[a-z0-9])? と一致させる必要があります。
  7. 表示されるパラメータ フィールドにパラメータ値を入力します。
  8. [ジョブを実行] をクリックします。

gcloud

gcloud コマンドライン ツールから実行する

注: gcloud コマンドライン ツールを使用してテンプレートを実行するには、Cloud SDK バージョン 138.0.0 以降が必要です。

このテンプレートの実行時は、テンプレートへの次のような Cloud Storage パスが必要です。

gs://dataflow-templates/VERSION/Spanner_to_GCS_Text

このサンプル リクエストを使用する際には、REST API の使用の説明に従ってください。このリクエストには承認が必要で、書き込み権限がある tempLocation を指定する必要があります。このサンプルの次の値は置き換える必要があります。

  • [YOUR_PROJECT_ID] は、実際のプロジェクト ID に置き換えます。
  • [JOB_NAME] は、任意のジョブ名に置き換えます。ジョブ名を有効にするには、正規表現 [a-z]([-a-z0-9]{0,38}[a-z0-9])? と一致させる必要があります。
  • [PROJECT_ID] は、データを読み取る Cloud Bigtable インスタンスの GCP プロジェクトの ID に置き換えます。
  • [INSTANCE_ID] は、テーブルが含まれる Cloud Bigtable インスタンスの ID に置き換えます。
  • [TABLE_ID] は、エクスポート対象の Cloud Bigtable テーブルの ID に置き換えます。
  • [INPUT_FILE_PATTERN] は、データが存在する Cloud Storage パスのパターンに置き換えます。たとえば、gs://mybucket/somefolder/prefix* などです。
gcloud dataflow jobs run [JOB_NAME] \
    --gcs-location gs://dataflow-templates/latest/Spanner_to_GCS_Text \
    --parameters bigtableProjectId=[PROJECT_ID],bigtableInstanceId=[INSTANCE_ID],bigtableTableId=[TABLE_ID],inputFilePattern=[INPUT_FILE_PATTERN]

API

REST API から実行する

このテンプレートの実行時は、テンプレートへの次のような Cloud Storage パスが必要です。

gs://dataflow-templates/VERSION/Spanner_to_GCS_Text

REST API リクエストでこのテンプレートを実行するには、プロジェクト ID を指定して HTTP POST リクエストを送信します。このリクエストには承認が必要です。

このサンプル リクエストを使用する際には、REST API の使用の説明に従ってください。このリクエストには承認が必要で、書き込み権限がある tempLocation を指定する必要があります。このサンプルの次の値は置き換える必要があります。

  • [YOUR_PROJECT_ID] は、実際のプロジェクト ID に置き換えます。
  • [JOB_NAME] は、任意のジョブ名に置き換えます。ジョブ名を有効にするには、正規表現 [a-z]([-a-z0-9]{0,38}[a-z0-9])? と一致させる必要があります。
  • [PROJECT_ID] は、データを読み取る Cloud Bigtable インスタンスの GCP プロジェクトの ID に置き換えます。
  • [INSTANCE_ID] は、テーブルが含まれる Cloud Bigtable インスタンスの ID に置き換えます。
  • [TABLE_ID] は、エクスポート対象の Cloud Bigtable テーブルの ID に置き換えます。
  • [INPUT_FILE_PATTERN] は、データが存在する Cloud Storage パスのパターンに置き換えます。たとえば、gs://mybucket/somefolder/prefix* などです。
POST https://dataflow.googleapis.com/v1b3/projects/[YOUR_PROJECT_ID]/templates:launch?gcsPath=gs://dataflow-templates/latest/Spanner_to_GCS_Text
{
   "jobName": "[JOB_NAME]",
   "parameters": {
       "bigtableProjectId": "[PROJECT_ID]",
       "bigtableInstanceId": "[INSTANCE_ID]",
       "bigtableTableId": "[TABLE_ID]",
       "inputFilePattern": "[INPUT_FILE_PATTERN]",
   },
   "environment": { "zone": "us-central1-f" }
}

Cloud Storage Avro to Cloud Spanner

Cloud Storage Avro files to Cloud Spanner テンプレートは、Cloud Storage から Avro ファイルを読み取り、そのファイルを Cloud Spanner データベースにインポートするバッチ パイプラインです。

このパイプラインの要件:

  • ターゲットの Cloud Spanner データベースが存在し、空であること。
  • Cloud Storage バケットの読み取り権限と、ターゲットの Cloud Spanner データベースへの書き込み権限があること。
  • 入力 Cloud Storage パスが存在し、インポートするファイルの JSON 記述が含まれる spanner-export.json ファイルが含まれていること。

テンプレートのパラメータ

パラメータ 説明
instanceId Cloud Spanner データベースのインスタンス ID。
databaseId Cloud Spanner データベースのデータベース ID。
inputDir Avro ファイルのインポート元にする Cloud Storage パス。

テンプレートの実行

Console

Google Cloud Platform Console から実行する
  1. GCP Console の Cloud Dataflow ページに移動します。
  2. Cloud Dataflow ページに移動
  3. [テンプレートからジョブを作成] をクリックします。
  4. Cloud Platform Console の [テンプレートからジョブを作成] ボタン
  5. [Cloud Dataflow テンプレート] プルダウン メニューからCloud Storage Avro to Cloud Spanner テンプレートを選択します。
  6. [ジョブ名] フィールドにジョブ名を入力します。 ジョブ名を有効にするには、正規表現 [a-z]([-a-z0-9]{0,38}[a-z0-9])? と一致させる必要があります。
  7. 表示されるパラメータ フィールドにパラメータ値を入力します。
  8. [ジョブを実行] をクリックします。

gcloud

gcloud コマンドライン ツールから実行する

注: gcloud コマンドライン ツールを使用してテンプレートを実行するには、Cloud SDK バージョン 138.0.0 以降が必要です。

このテンプレートの実行時には、テンプレートへの次のような Cloud Storage パスが必要です。

gs://dataflow-templates/VERSION/GCS_Avro_to_Cloud_Spanner

このサンプル リクエストを使用する際には、REST API の使用の説明に従ってください。このリクエストには承認が必要で、書き込み権限がある tempLocation を指定する必要があります。このサンプルの次の値は置き換える必要があります。

  • [YOUR_PROJECT_ID] は、実際のプロジェクト ID に置き換えます。
  • [JOB_NAME] は、任意のジョブ名に置き換えます。ジョブ名を有効にするには、正規表現 [a-z]([-a-z0-9]{0,38}[a-z0-9])? と一致させる必要があります。
  • [PROJECT_ID] は、データを読み取る Cloud Bigtable インスタンスの GCP プロジェクトの ID に置き換えます。
  • [INSTANCE_ID] は、テーブルが含まれる Cloud Bigtable インスタンスの ID に置き換えます。
  • [TABLE_ID] は、エクスポート対象の Cloud Bigtable テーブルの ID に置き換えます。
  • [INPUT_FILE_PATTERN] は、データが存在する Cloud Storage パスのパターンに置き換えます。たとえば、gs://mybucket/somefolder/prefix* などです。
gcloud dataflow jobs run [JOB_NAME] \
    --gcs-location='gs://dataflow-templates/[VERSION]/GCS_Avro_to_Cloud_Spanner' \
    --region=[DATAFLOW_REGION] \
    --parameters='instanceId=[YOUR_INSTANCE_ID],databaseId=[YOUR_DATABASE_ID],inputDir=[YOUR_GCS_DIRECTORY]

API

REST API から実行する

このテンプレートの実行時には、テンプレートへの次のような Cloud Storage パスが必要です。

gs://dataflow-templates/VERSION/GCS_Avro_to_Cloud_Spanner

このサンプル リクエストを使用する際には、REST API の使用の説明に従ってください。このリクエストには承認が必要で、書き込み権限がある tempLocation を指定する必要があります。このサンプルの次の値は置き換える必要があります。

  • [YOUR_PROJECT_ID] は、実際のプロジェクト ID に置き換えます。
  • [JOB_NAME] は、任意のジョブ名に置き換えます。ジョブ名を有効にするには、正規表現 [a-z]([-a-z0-9]{0,38}[a-z0-9])? と一致させる必要があります。
  • [PROJECT_ID] は、データを読み取る Cloud Bigtable インスタンスの GCP プロジェクトの ID に置き換えます。
  • [INSTANCE_ID] は、テーブルが含まれる Cloud Bigtable インスタンスの ID に置き換えます。
  • [TABLE_ID] は、エクスポート対象の Cloud Bigtable テーブルの ID に置き換えます。
  • [INPUT_FILE_PATTERN] は、データが存在する Cloud Storage パスのパターンに置き換えます。たとえば、gs://mybucket/somefolder/prefix* などです。
POST https://dataflow.googleapis.com/v1b3/projects/[YOUR_PROJECT_ID]/locations/[DATAFLOW_REGION]/templates:launch?gcsPath=gs://dataflow-templates/[VERSION]/GCS_Avro_to_Cloud_Spanner
{
   "jobName": "[JOB_NAME]",
   "parameters": {
       "instanceId": "[YOUR_INSTANCE_ID]",
       "databaseId": "[YOUR_DATABASE_ID]",
       "inputDir": "gs://[YOUR_GCS_DIRECTORY]"
   },
   "environment": {
       "machineType": "n1-standard-2"
   }
}

Cloud Storage SequenceFile to Cloud Bigtable

Cloud Storage SequenceFile to Cloud Bigtable テンプレートは、Cloud Storage バケットの SequenceFiles からデータを読み取り、Cloud Bigtable テーブルに書き込むパイプラインです。このテンプレートは、Cloud Storage から Cloud Bigtable にデータをコピーする場合に使用できます。

このパイプラインの要件:

  • Cloud Bigtable テーブルが存在すること。
  • パイプラインの実行前に、Cloud Storage バケット内に入力 SequenceFiles が存在すること。
  • 入力 SequenceFiles が Cloud Bigtable または HBase からエクスポートされていること。

テンプレートのパラメータ

パラメータ 説明
bigtableProject データを書き込む Cloud Bigtable インスタンスの GCP プロジェクトの ID。
bigtableInstanceId テーブルが含まれる Cloud Bigtable インスタンスの ID。
bigtableTableId インポート対象の Cloud Bigtable テーブルの ID。
bigtableAppProfileId インポートに使用される Cloud Bigtable アプリケーション プロファイルの ID。アプリ プロファイルを指定しない場合、Cloud Bigtable ではインスタンスのデフォルトのアプリ プロファイルが使用されます。
sourcePattern データが存在する Cloud Storage パスのパターン。たとえば、gs://mybucket/somefolder/prefix* などです。

Cloud Storage SequenceFile to Cloud Bigtable テンプレートの実行

Console

Google Cloud Platform Console から実行する
  1. GCP Console の Cloud Dataflow ページに移動します。
  2. Cloud Dataflow ページに移動
  3. [テンプレートからジョブを作成] をクリックします。
  4. Cloud Platform Console の [テンプレートからジョブを作成] ボタン
  5. [Cloud Dataflow テンプレート] プルダウン メニューからCloud Storage Avro to Cloud Spanner テンプレートを選択します。
  6. [ジョブ名] フィールドにジョブ名を入力します。 ジョブ名を有効にするには、正規表現 [a-z]([-a-z0-9]{0,38}[a-z0-9])? と一致させる必要があります。
  7. 表示されるパラメータ フィールドにパラメータ値を入力します。
  8. [ジョブを実行] をクリックします。

gcloud

gcloud コマンドライン ツールから実行する

注: gcloud コマンドライン ツールを使用してテンプレートを実行するには、Cloud SDK バージョン 138.0.0 以降が必要です。

このテンプレートの実行時は、テンプレートへの次のような Cloud Storage パスが必要です。

gs://dataflow-templates/VERSION/GCS_Avro_to_Cloud_Spanner

このサンプル リクエストを使用する際には、REST API の使用の説明に従ってください。このリクエストには承認が必要で、書き込み権限がある tempLocation を指定する必要があります。このサンプルの次の値は置き換える必要があります。

  • [YOUR_PROJECT_ID] は、実際のプロジェクト ID に置き換えます。
  • [JOB_NAME] は、任意のジョブ名に置き換えます。ジョブ名を有効にするには、正規表現 [a-z]([-a-z0-9]{0,38}[a-z0-9])? と一致させる必要があります。
  • [PROJECT_ID] は、データを読み取る Cloud Bigtable インスタンスの GCP プロジェクトの ID に置き換えます。
  • [INSTANCE_ID] は、テーブルが含まれる Cloud Bigtable インスタンスの ID に置き換えます。
  • [TABLE_ID] は、エクスポート対象の Cloud Bigtable テーブルの ID に置き換えます。
  • [APPLICATION_PROFILE_ID] は、エクスポートに使用する Cloud Bigtable アプリケーション プロファイルの ID に置き換えます。
  • [SOURCE_PATTERN] は、データが存在する Cloud Storage パスのパターンに置き換えます。たとえば、gs://mybucket/somefolder/prefix* などです。
gcloud dataflow jobs run [JOB_NAME] \
    --gcs-location gs://dataflow-templates/latest/GCS_Avro_to_Cloud_Spanner \
    --parameters bigtableProject=[PROJECT_ID],bigtableInstanceId=[INSTANCE_ID],bigtableTableId=[TABLE_ID],bigtableAppProfileId=[APPLICATION_PROFILE_ID],sourcePattern=[SOURCE_PATTERN]

API

REST API から実行する

このテンプレートの実行時は、テンプレートへの次のような Cloud Storage パスが必要です。

gs://dataflow-templates/VERSION/GCS_Avro_to_Cloud_Spanner

REST API リクエストでこのテンプレートを実行するには、プロジェクト ID を指定して HTTP POST リクエストを送信します。このリクエストには承認が必要です。

このサンプル リクエストを使用する際には、REST API の使用の説明に従ってください。このリクエストには承認が必要で、書き込み権限がある tempLocation を指定する必要があります。このサンプルの次の値は置き換える必要があります。

  • [YOUR_PROJECT_ID] は、実際のプロジェクト ID に置き換えます。
  • [JOB_NAME] は、任意のジョブ名に置き換えます。ジョブ名を有効にするには、正規表現 [a-z]([-a-z0-9]{0,38}[a-z0-9])? と一致させる必要があります。
  • [PROJECT_ID] は、データを読み取る Cloud Bigtable インスタンスの GCP プロジェクトの ID に置き換えます。
  • [INSTANCE_ID] は、テーブルが含まれる Cloud Bigtable インスタンスの ID に置き換えます。
  • [TABLE_ID] は、エクスポート対象の Cloud Bigtable テーブルの ID に置き換えます。
  • [APPLICATION_PROFILE_ID] は、エクスポートに使用する Cloud Bigtable アプリケーション プロファイルの ID に置き換えます。
  • [SOURCE_PATTERN] は、データが存在する Cloud Storage パスのパターンに置き換えます。たとえば、gs://mybucket/somefolder/prefix* などです。
POST https://dataflow.googleapis.com/v1b3/projects/[YOUR_PROJECT_ID]/templates:launch?gcsPath=gs://dataflow-templates/latest/GCS_Avro_to_Cloud_Spanner
{
   "jobName": "[JOB_NAME]",
   "parameters": {
       "bigtableProject": "[PROJECT_ID]",
       "bigtableInstanceId": "[INSTANCE_ID]",
       "bigtableTableId": "[TABLE_ID]",
       "bigtableAppProfileId": "[APPLICATION_PROFILE_ID]",
       "sourcePattern": "[SOURCE_PATTERN]",
   },
   "environment": { "zone": "us-central1-f" }
}

Cloud Storage Text to BigQuery

Cloud Storage Text to BigQuery テンプレートは、Cloud Storage に格納されているテキスト ファイルを読み取り、ユーザーが提供する JavaScript ユーザー定義関数(UDF)を使用してファイルを変換し、その結果を BigQuery に出力するバッチ パイプラインです。

重要: 既存の BigQuery テーブルを再利用すると、テーブルが上書きされます。

このパイプラインの要件:

  • BigQuery スキーマを記述する JSON ファイルを作成します。

    このファイル内では、最上位の JSON 配列が「BigQuery Schema」というタイトルになっていて、その内容が {“name”: ‘COLUMN NAME”, “type”:”DATA TYPE”} のパターンに従っていなければなりません。例:

    {
      "BigQuery Schema": [
        {
          "name": "location",
          "type": "STRING"
        },
        {
          "name": "name",
          "type": "STRING"
        },
        {
          "name": "age",
          "type": "STRING"
        },
        {
          "name": "color",
          "type": "STRING"
        },
        {
          "name": "coffee",
          "type": "STRING"
        }
      ]
    }
    
  • JavaScript(.js)ファイルを作成し、このファイル内に、テキスト行の変換ロジックを提供する UDF 関数を含めます。この関数は、JSON 文字列を返さなければならないことに注意してください。

    たとえば、次の関数は、CSV ファイルの各行を分割し、値を変換してから JSON 文字列を返します。

    function transform(line) {
    var values = line.split(',');
    
    var obj = new Object();
    obj.location = values[0];
    obj.name = values[1];
    obj.age = values[2];
    obj.color = values[3];
    obj.coffee = values[4];
    var jsonString = JSON.stringify(obj);
    
    return jsonString;
    }
    

テンプレートのパラメータ

パラメータ 説明
javascriptTextTransformFunctionName .js ファイルから呼び出す関数の名前。
JSONPath Cloud Storage に格納されている、BigQuery スキーマを定義する JSON ファイルの gs:// パス。たとえば、gs://path/to/my/schema.json などです。
javascriptTextTransformGcsPath UDF を定義する JavaScript ファイルの gs:// パス。たとえば、gs://path/to/my/javascript_function.js とします。
inputFilePattern Cloud Storage に格納されている処理対象のテキスト ファイルの gs:// パス。たとえば、gs://path/to/my/text/data.txt とします。
outputTable 処理されたデータの格納場所として作成する BigQuery テーブルの名前。既存の BigQuery テーブルを再利用すると、テーブルが上書きされます。たとえば、my-project-name:my-dataset.my-table などです。
bigQueryLoadingTemporaryDirectory BigQuery 読み込みプロセスで使用する一時ディレクトリ。たとえば、gs://my-bucket/my-files/temp_dir などです。

Cloud Storage Text to BigQuery テンプレートの実行

Console

Google Cloud Platform Console から実行する
  1. GCP Console の Cloud Dataflow ページに移動します。
  2. Cloud Dataflow ページに移動
  3. [テンプレートからジョブを作成] をクリックします。
  4. Cloud Platform Console の [テンプレートからジョブを作成] ボタン
  5. [Cloud Dataflow テンプレート] プルダウン メニューからCloud Storage Text to BigQuery テンプレートを選択します。
  6. [ジョブ名] フィールドにジョブ名を入力します。 ジョブ名を有効にするには、正規表現 [a-z]([-a-z0-9]{0,38}[a-z0-9])? と一致させる必要があります。
  7. 表示されるパラメータ フィールドにパラメータ値を入力します。
  8. [ジョブを実行] をクリックします。

gcloud

gcloud コマンドライン ツールから実行する

注: gcloud コマンドライン ツールを使用してテンプレートを実行するには、Cloud SDK バージョン 138.0.0 以降が必要です。

このテンプレートの実行時は、テンプレートへの次のような Cloud Storage パスが必要です。

gs://dataflow-templates/VERSION/GCS_Text_to_BigQuery

このサンプルの次の値は置き換える必要があります。

  • YOUR_PROJECT_ID は、実際のプロジェクト ID に置き換えます。
  • JOB_NAME は、任意のジョブ名に置き換えます。ジョブ名を有効にするには、正規表現 [a-z]([-a-z0-9]{0,38}[a-z0-9])? と一致させる必要があります。
  • YOUR_JAVASCRIPT_FUNCTION は、UDF の名前に置き換えます。
  • PATH_TO_BIGQUERY_SCHEMA_JSON は、スキーマ定義が格納された JSON ファイルへの Cloud Storage パスに置き換えます。
  • PATH_TO_JAVASCRIPT_UDF_FILE は、使用する JavaScript コードが格納された .js ファイルへの Cloud Storage パスに置き換えます。
  • PATH_TO_YOUR_TEXT_DATA は、使用するテキスト データセットへの Cloud Storage パスに置き換えます。
  • BIGQUERY_TABLE は、実際の BigQuery テーブルの名前に置き換えます。
  • PATH_TO_TEMP_DIR_ON_GCS は、一時ディレクトリへの Cloud Storage パスに置き換えます。
gcloud dataflow jobs run JOB_NAME \
    --gcs-location gs://dataflow-templates/latest/GCS_Text_to_BigQuery \
    --parameters \
javascriptTextTransformFunctionName=YOUR_JAVASCRIPT_FUNCTION,\
JSONPath=PATH_TO_BIGQUERY_SCHEMA_JSON,\
javascriptTextTransformGcsPath=PATH_TO_JAVASCRIPT_UDF_FILE,\
inputFilePattern=PATH_TO_YOUR_TEXT_DATA,\
outputTable=BIGQUERY_TABLE,\
bigQueryLoadingTemporaryDirectory=PATH_TO_TEMP_DIR_ON_GCS

API

REST API から実行する

このテンプレートの実行時は、テンプレートへの次のような Cloud Storage パスが必要です。

gs://dataflow-templates/VERSION/GCS_Text_to_BigQuery

REST API リクエストでこのテンプレートを実行するには、プロジェクト ID を指定して HTTP POST リクエストを送信します。このリクエストには承認が必要です。

このサンプルの次の値は置き換える必要があります。

  • YOUR_PROJECT_ID は、実際のプロジェクト ID に置き換えます。
  • JOB_NAME は、任意のジョブ名に置き換えます。ジョブ名を有効にするには、正規表現 [a-z]([-a-z0-9]{0,38}[a-z0-9])? と一致させる必要があります。
  • YOUR_JAVASCRIPT_FUNCTION は、UDF の名前に置き換えます。
  • PATH_TO_BIGQUERY_SCHEMA_JSON は、スキーマ定義が格納された JSON ファイルへの Cloud Storage パスに置き換えます。
  • PATH_TO_JAVASCRIPT_UDF_FILE は、使用する JavaScript コードが格納された .js ファイルへの Cloud Storage パスに置き換えます。
  • PATH_TO_YOUR_TEXT_DATA は、使用するテキスト データセットへの Cloud Storage パスに置き換えます。
  • BIGQUERY_TABLE は、実際の BigQuery テーブルの名前に置き換えます。
  • PATH_TO_TEMP_DIR_ON_GCS は、一時ディレクトリへの Cloud Storage パスに置き換えます。
POST https://dataflow.googleapis.com/v1b3/projects/YOUR_PROJECT_ID/templates:launch?gcsPath=gs://dataflow-templates/latest/GCS_Text_to_BigQuery
{
   "jobName": "JOB_NAME",
   "parameters": {
       "javascriptTextTransformFunctionName": "YOUR_JAVASCRIPT_FUNCTION",
       "JSONPath": "PATH_TO_BIGQUERY_SCHEMA_JSON",
       "javascriptTextTransformGcsPath": "PATH_TO_JAVASCRIPT_UDF_FILE",
       "inputFilePattern":"PATH_TO_YOUR_TEXT_DATA",
       "outputTable":"BIGQUERY_TABLE",
       "bigQueryLoadingTemporaryDirectory": "PATH_TO_TEMP_DIR_ON_GCS"
   },
   "environment": { "zone": "us-central1-f" }
}

Cloud Storage Text to Cloud Datastore

Cloud Storage Text to Cloud Datastore テンプレートは、Cloud Storage に格納されているテキスト ファイルを読み取って JSON でエンコードし、それらのエンティティを Cloud Datastore に書き込むバッチ パイプラインです。入力テキスト ファイルの各行は、https://cloud.google.com/datastore/docs/reference/rest/v1/Entity で指定されている JSON 形式になります。

このパイプラインの要件:

  • データストアが宛先プロジェクトで有効にされている必要があります。

テンプレートのパラメータ

パラメータ 説明
textReadPattern テキスト データファイルの場所を指定する、Cloud Storage ファイルのパスパターン。たとえば、gs://mybucket/somepath/*.json などです。
javascriptTextTransformGcsPath すべての JavaScript コードを格納する Cloud Storage パス。たとえば、gs://mybucket/mytransforms/*.js とします。関数を提供しない場合には、このパラメータを空白のままにします。
javascriptTextTransformFunctionName 呼び出される JavaScript 関数の名前。たとえば、JavaScript 関数が function myTransform(inJson) { ...dostuff...} の場合、関数名は myTransform です。関数を提供しない場合は、このパラメータを空白のままにします。
datastoreWriteProjectId Cloud Datastore エンティティを書き込む GCP プロジェクトのプロジェクト ID。
errorWritePath 処理中に発生したエラーを書き込むために使用するエラーログ出力ファイル。たとえば、gs://bucket-name/errors.txt とします。

Cloud Storage Text to Datastore テンプレートの実行

Console

Google Cloud Platform Console から実行する
  1. GCP Console の Cloud Dataflow ページに移動します。
  2. Cloud Dataflow ページに移動
  3. [テンプレートからジョブを作成] をクリックします。
  4. Cloud Platform Console の [テンプレートからジョブを作成] ボタン
  5. [Cloud Dataflow テンプレート] プルダウン メニューからCloud Storage Text to Datastore テンプレートを選択します。
  6. [ジョブ名] フィールドにジョブ名を入力します。 ジョブ名を有効にするには、正規表現 [a-z]([-a-z0-9]{0,38}[a-z0-9])? と一致させる必要があります。
  7. 表示されるパラメータ フィールドにパラメータ値を入力します。
  8. [ジョブを実行] をクリックします。

gcloud

gcloud コマンドライン ツールから実行する

注: gcloud コマンドライン ツールを使用してテンプレートを実行するには、Cloud SDK バージョン 138.0.0 以降が必要です。

このテンプレートの実行時は、テンプレートへの次のような Cloud Storage パスが必要です。

gs://dataflow-templates/VERSION/GCS_Text_to_Datastore

このサンプルの次の値は置き換える必要があります。

  • YOUR_PROJECT_ID は、実際のプロジェクト ID に置き換えます。
  • JOB_NAME は、任意のジョブ名に置き換えます。ジョブ名を有効にするには、正規表現 [a-z]([-a-z0-9]{0,38}[a-z0-9])? と一致させる必要があります。
  • PATH_TO_INPUT_TEXT_FILES は、Cloud Storage 上の入力ファイル パターンに置き換えます。
  • YOUR_JAVASCRIPT_FUNCTION は、JavaScript 関数の名前に置き換えます。
  • PATH_TO_JAVASCRIPT_UDF_FILE は、使用する JavaScript コードが格納された .js ファイルへの Cloud Storage パスに置き換えます。
  • ERROR_FILE_WRITE_PATH は、使用するエラーファイルへの Cloud Storage パスに置き換えます。
gcloud dataflow jobs run JOB_NAME \
    --gcs-location gs://dataflow-templates/latest/GCS_Text_to_Datastore \
    --parameters \
textReadPattern=PATH_TO_INPUT_TEXT_FILES,\
javascriptTextTransformGcsPath=PATH_TO_JAVASCRIPT_UDF_FILE,\
javascriptTextTransformFunctionName=YOUR_JAVASCRIPT_FUNCTION,\
datastoreWriteProjectId=YOUR_PROJECT_ID,\
errorWritePath=ERROR_FILE_WRITE_PATH

API

REST API から実行する

このテンプレートの実行時は、テンプレートへの次のような Cloud Storage パスが必要です。

gs://dataflow-templates/VERSION/GCS_Text_to_Datastore

REST API リクエストでこのテンプレートを実行するには、プロジェクト ID を指定して HTTP POST リクエストを送信します。このリクエストには承認が必要です。

このサンプルの次の値は置き換える必要があります。

  • YOUR_PROJECT_ID は、実際のプロジェクト ID に置き換えます。
  • JOB_NAME は、任意のジョブ名に置き換えます。ジョブ名を有効にするには、正規表現 [a-z]([-a-z0-9]{0,38}[a-z0-9])? と一致させる必要があります。
  • PATH_TO_INPUT_TEXT_FILES は、Cloud Storage 上の入力ファイル パターンに置き換えます。
  • YOUR_JAVASCRIPT_FUNCTION は、JavaScript 関数の名前に置き換えます。
  • PATH_TO_JAVASCRIPT_UDF_FILE は、使用する JavaScript コードが格納された .js ファイルへの Cloud Storage パスに置き換えます。
  • ERROR_FILE_WRITE_PATH は、使用するエラーファイルへの Cloud Storage パスに置き換えます。
POST https://dataflow.googleapis.com/v1b3/projects/YOUR_PROJECT_ID/templates:launch?gcsPath=gs://dataflow-templates/latest/GCS_Text_to_Datastore
{
   "jobName": "JOB_NAME",
   "parameters": {
       "textReadPattern": "PATH_TO_INPUT_TEXT_FILES",
       "javascriptTextTransformGcsPath": "PATH_TO_JAVASCRIPT_UDF_FILE",
       "javascriptTextTransformFunctionName": "YOUR_JAVASCRIPT_FUNCTION",
       "datastoreWriteProjectId": "YOUR_PROJECT_ID",
       "errorWritePath": "ERROR_FILE_WRITE_PATH"
   },
   "environment": { "zone": "us-central1-f" }
}

Cloud Storage Text to Cloud Pub/Sub (Batch)

このテンプレートは、Cloud Storage に保存されたテキスト ファイルからレコードを読み取り、Cloud Pub/Sub トピックに公開するバッチ パイプラインを作成します。このテンプレートを使用すると、JSON レコードを含む改行区切りのファイルや CSV ファイルのレコードを Cloud Pub/Sub トピックに公開し、リアルタイムで処理できます。また、Cloud Pub/Sub でデータを再生することもできます。

このテンプレートでは、個々のレコードにタイムスタンプを設定しません。このため、実行中はイベント時間と公開時間が同じになります。パイプラインの処理が正確なイベント時間に依存している場合は、このパイプラインを使用しないでください。

このパイプラインの要件:

  • 読み込むファイルは、改行区切りの JSON または CSV 形式でなければなりません。ソースファイル内に複数行にわたるレコードがあると、ファイル内の各行がメッセージとして Cloud Pub/Sub に公開されるため、ダウンストリームで問題が発生する可能性があります。
  • 実行前に Cloud Pub/Sub トピックが存在している必要があります。

テンプレートのパラメータ

パラメータ 説明
inputFilePattern 読み込み元の入力ファイルのパターン。たとえば、gs://bucket-name/files/*.json などです。
outputTopic 書き込み先の Cloud Pub/Sub 入力トピック。名前は projects/<project-id>/topics/<topic-name> の形式にする必要があります。

Cloud Storage Text to Cloud Pub/Sub (Batch) テンプレートの実行

Console

Google Cloud Platform Console から実行する
  1. GCP Console の Cloud Dataflow ページに移動します。
  2. Cloud Dataflow ページに移動
  3. [テンプレートからジョブを作成] をクリックします。
  4. Cloud Platform Console の [テンプレートからジョブを作成] ボタン
  5. [Cloud Dataflow テンプレート] プルダウン メニューからCloud Storage Text to Cloud Pub/Sub (Batch) テンプレートを選択します。
  6. [ジョブ名] フィールドにジョブ名を入力します。 ジョブ名を有効にするには、正規表現 [a-z]([-a-z0-9]{0,38}[a-z0-9])? と一致させる必要があります。
  7. 表示されるパラメータ フィールドにパラメータ値を入力します。
  8. [ジョブを実行] をクリックします。

gcloud

gcloud コマンドライン ツールから実行する

注: gcloud コマンドライン ツールを使用してテンプレートを実行するには、Cloud SDK バージョン 138.0.0 以降が必要です。

このテンプレートの実行時は、テンプレートへの次のような Cloud Storage パスが必要です。

gs://dataflow-templates/VERSION/GCS_Text_to_Cloud_PubSub

このサンプルの次の値は置き換える必要があります。

  • YOUR_PROJECT_ID は、実際のプロジェクト ID に置き換えます。
  • JOB_NAME は、任意のジョブ名に置き換えます。ジョブ名を有効にするには、正規表現 [a-z]([-a-z0-9]{0,38}[a-z0-9])? と一致させる必要があります。
  • YOUR_TOPIC_NAME は、使用する Cloud Pub/Sub トピックの名前に置き換えます。
  • YOUR_BUCKET_NAME は、使用する Cloud Storage バケットの名前に置き換えます。
gcloud dataflow jobs run JOB_NAME \
    --gcs-location gs://dataflow-templates/latest/GCS_Text_to_Cloud_PubSub \
    --parameters \
inputFilePattern=gs://YOUR_BUCKET_NAME/files/*.json,\
outputTopic=projects/YOUR_PROJECT_ID/topics/YOUR_TOPIC_NAME

API

REST API から実行する

このテンプレートの実行時は、テンプレートへの次のような Cloud Storage パスが必要です。

gs://dataflow-templates/VERSION/GCS_Text_to_Cloud_PubSub

REST API リクエストでこのテンプレートを実行するには、プロジェクト ID を指定して HTTP POST リクエストを送信します。このリクエストには承認が必要です。

このサンプルの次の値は置き換える必要があります。

  • YOUR_PROJECT_ID は、実際のプロジェクト ID に置き換えます。
  • JOB_NAME は、任意のジョブ名に置き換えます。ジョブ名を有効にするには、正規表現 [a-z]([-a-z0-9]{0,38}[a-z0-9])? と一致させる必要があります。
  • YOUR_TOPIC_NAME は、使用する Cloud Pub/Sub トピックの名前に置き換えます。
  • YOUR_BUCKET_NAME は、使用する Cloud Storage バケットの名前に置き換えます。
POST https://dataflow.googleapis.com/v1b3/projects/YOUR_PROJECT_ID/templates:launch?gcsPath=gs://dataflow-templates/latest/GCS_Text_to_Cloud_PubSub
{
   "jobName": "JOB_NAME",
   "parameters": {
       "inputFilePattern": "gs://YOUR_BUCKET_NAME/files/*.json",
       "outputTopic": "projects/YOUR_PROJECT_ID/topics/YOUR_TOPIC_NAME"
   },
   "environment": { "zone": "us-central1-f" }
}

Java Database Connectivity (JDBC) to BigQuery

JDBC to BigQuery テンプレートは、リレーショナル データベース テーブルから既存の BigQuery テーブルにデータをコピーするバッチ パイプラインです。このパイプラインは、JDBC を使用してリレーショナル データベースに接続します。このテンプレートを使用すると、使用可能な JDBC ドライバがある任意のリレーショナル データベースから BigQuery にデータをコピーできます。

このパイプラインの要件:

  • リレーショナル データベース用の JDBC ドライバが使用可能である必要があります。
  • パイプラインの実行前に BigQuery テーブルが存在する必要があります。
  • BigQuery テーブルに互換性のあるスキーマが必要です。
  • Cloud Dataflow が実行されるサブネットからリレーショナル データベースにアクセスできる必要があります。

テンプレートのパラメータ

パラメータ 説明
driverJars ドライバ jar のカンマ区切りリスト。たとえば、gs://<my-bucket>/driver_jar1.jar,gs://<my-bucket>/driver_jar2.jar などです。
driverClassName JDBC ドライバのクラス名。たとえば com.mysql.jdbc.Driver などです。
connectionURL JDBC 接続 URL 文字列。たとえば、jdbc:mysql://some-host:3306/sampledb などです。
query データを抽出するためにソース上で実行されるクエリ。たとえば、select * from sampledb.sample_table などです。
outputTable BigQuery 出力テーブルの場所。<my-project>:<my-dataset>.<my-table> の形式で指定します。
bigQueryLoadingTemporaryDirectory BigQuery 読み込みプロセスで使用する一時ディレクトリ。たとえば、gs://<my-bucket>/my-files/temp_dir などです。
connectionProperties (オプション)JDBC 接続に使用するプロパティ文字列。たとえば、unicode=true&characterEncoding=UTF-8 などです。
username (オプション)JDBC 接続に使用するユーザー名。
password (オプション)JDBC 接続に使用するパスワード。

JDBC to BigQuery テンプレートの実行

Console

Google Cloud Platform Console から実行する
  1. GCP Console の Cloud Dataflow ページに移動します。
  2. Cloud Dataflow ページに移動
  3. [テンプレートからジョブを作成] をクリックします。
  4. Cloud Platform Console の [テンプレートからジョブを作成] ボタン
  5. [Cloud Dataflow テンプレート] プルダウン メニューからJDBC to BigQuery テンプレートを選択します。
  6. [ジョブ名] フィールドにジョブ名を入力します。 ジョブ名を有効にするには、正規表現 [a-z]([-a-z0-9]{0,38}[a-z0-9])? と一致させる必要があります。
  7. 表示されるパラメータ フィールドにパラメータ値を入力します。
  8. [ジョブを実行] をクリックします。

gcloud

gcloud コマンドライン ツールから実行する

注: gcloud コマンドライン ツールを使用してテンプレートを実行するには、Cloud SDK バージョン 138.0.0 以降が必要です。

このテンプレートの実行時は、テンプレートへの次のような Cloud Storage パスが必要です。

gs://dataflow-templates/VERSION/Jdbc_to_BigQuery

このサンプルの次の値は置き換える必要があります。

  • YOUR_PROJECT_ID は、実際のプロジェクト ID に置き換えます。
  • JOB_NAME は、任意のジョブ名に置き換えます。ジョブ名を有効にするには、正規表現 [a-z]([-a-z0-9]{0,38}[a-z0-9])? と一致させる必要があります。
  • DRIVER_PATHS は、カンマで区切った JDBC ドライバの Cloud Storage パスに置き換えます。
  • DRIVER_CLASS_NAME は、ドライバのクラス名に置き換えます。
  • JDBC_CONNECTION_URL は、JDBC 接続 URL に置き換えます。
  • SOURCE_SQL_QUERY は、ソース データベースで実行される SQL クエリに置き換えます。
  • YOUR_DATASET は、BigQuery データセットに置き換え、YOUR_TABLE_NAME は、BigQuery テーブル名に置き換えます。
  • PATH_TO_TEMP_DIR_ON_GCS は、一時ディレクトリへの Cloud Storage パスに置き換えます。
  • CONNECTION_PROPERTIES は、必要に応じて JDBC 接続プロパティに置き換えます。
  • CONNECTION_USERNAME は、JDBC 接続ユーザー名に置き換えます。
  • CONNECTION_PASSWORD は、JDBC 接続パスワードに置き換えます。
gcloud dataflow jobs run JOB_NAME \
    --gcs-location gs://dataflow-templates/latest/Jdbc_to_BigQuery \
    --parameters \
driverJars=DRIVER_PATHS,\
driverClassName=DRIVER_CLASS_NAME,\
connectionURL=JDBC_CONNECTION_URL,\
query=SOURCE_SQL_QUERY,\
outputTable=YOUR_PROJECT_ID:YOUR_DATASET.YOUR_TABLE_NAME,
bigQueryLoadingTemporaryDirectory=PATH_TO_TEMP_DIR_ON_GCS,\
connectionProperties=CONNECTION_PROPERTIES,\
username=CONNECTION_USERNAME,\
password=CONNECTION_PASSWORD

API

REST API から実行する

このテンプレートの実行時は、テンプレートへの次のような Cloud Storage パスが必要です。

gs://dataflow-templates/VERSION/Jdbc_to_BigQuery

REST API リクエストでこのテンプレートを実行するには、プロジェクト ID を指定して HTTP POST リクエストを送信します。このリクエストには承認が必要です。

このサンプルの次の値は置き換える必要があります。

  • YOUR_PROJECT_ID は、実際のプロジェクト ID に置き換えます。
  • JOB_NAME は、任意のジョブ名に置き換えます。ジョブ名を有効にするには、正規表現 [a-z]([-a-z0-9]{0,38}[a-z0-9])? と一致させる必要があります。
  • DRIVER_PATHS は、カンマで区切った JDBC ドライバの Cloud Storage パスに置き換えます。
  • DRIVER_CLASS_NAME は、ドライバのクラス名に置き換えます。
  • JDBC_CONNECTION_URL は、JDBC 接続 URL に置き換えます。
  • SOURCE_SQL_QUERY は、ソース データベースで実行される SQL クエリに置き換えます。
  • YOUR_DATASET は、BigQuery データセットに置き換え、YOUR_TABLE_NAME は、BigQuery テーブル名に置き換えます。
  • PATH_TO_TEMP_DIR_ON_GCS は、一時ディレクトリへの Cloud Storage パスに置き換えます。
  • CONNECTION_PROPERTIES は、必要に応じて JDBC 接続プロパティに置き換えます。
  • CONNECTION_USERNAME は、JDBC 接続ユーザー名に置き換えます。
  • CONNECTION_PASSWORD は、JDBC 接続パスワードに置き換えます。
POST https://dataflow.googleapis.com/v1b3/projects/YOUR_PROJECT_ID/templates:launch?gcsPath=gs://dataflow-templates/latest/Jdbc_to_BigQuery
{
   "jobName": "JOB_NAME",
   "parameters": {
       "driverJars": "DRIVER_PATHS",
       "driverClassName": "DRIVER_CLASS_NAME",
       "connectionURL": "JDBC_CONNECTION_URL",
       "query": "SOURCE_SQL_QUERY",
       "outputTable": "YOUR_PROJECT_ID:YOUR_DATASET.YOUR_TABLE_NAME",
       "bigQueryLoadingTemporaryDirectory": "PATH_TO_TEMP_DIR_ON_GCS",
       "connectionProperties": "CONNECTION_PROPERTIES",
       "username": "CONNECTION_USERNAME",
       "password": "CONNECTION_PASSWORD"
   },
   "environment": { "zone": "us-central1-f" }
}
このページは役立ちましたか?評価をお願いいたします。

フィードバックを送信...

ご不明な点がありましたら、Google のサポートページをご覧ください。