Mengonfigurasi Template Flex

Halaman ini mendokumentasikan berbagai opsi konfigurasi Template Dataflow Flex, termasuk:

Untuk mengonfigurasi contoh Template Fleksibel, lihat tutorial Template Fleksibel.

Memahami izin Template Flex

Saat menggunakan Flex Templates, Anda memerlukan tiga set izin:

  • Izin untuk membuat resource
  • Izin untuk membuat Template Fleksibel
  • Izin untuk menjalankan Template Fleksibel

Izin untuk membuat resource

Untuk mengembangkan dan menjalankan pipeline Template Flex, Anda harus membuat berbagai resource (misalnya, bucket staging). Untuk tugas pembuatan resource satu kali, Anda dapat menggunakan peran Pemilik dasar.

Izin untuk membuat Template Fleksibel

Sebagai developer Template Fleksibel, Anda perlu membuat template agar tersedia bagi pengguna. Proses build melibatkan upload spesifikasi template ke bucket Cloud Storage dan menyediakan image Docker dengan kode dan dependensi yang diperlukan untuk menjalankan pipeline. Untuk mem-build Template Flex, Anda memerlukan akses baca dan tulis ke Cloud Storage serta akses Penulis Artifact Registry ke repositori Artifact Registry. Anda dapat memberikan izin ini dengan menetapkan peran berikut:

  • Admin Penyimpanan (roles/storage.admin)
  • (roles/cloudbuild.builds.editor) Cloud Build Editor
  • Penulis Artifact Registry (roles/artifactregistry.writer)

Izin untuk menjalankan Template Fleksibel

Saat Anda menjalankan Template Fleksibel, Dataflow akan membuat tugas untuk Anda. Untuk membuat tugas, akun layanan Dataflow memerlukan izin berikut:

  • dataflow.serviceAgent

Saat Anda pertama kali menggunakan Dataflow, layanan menetapkan peran ini untuk Anda, sehingga Anda tidak perlu memberikan izin ini.

Secara default, akun layanan Compute Engine digunakan untuk VM peluncur dan VM pekerja. Akun layanan memerlukan peran dan kemampuan berikut:

  • Storage Object Admin (roles/storage.objectAdmin)
  • Pengakses lihat-saja (roles/viewer)
  • Dataflow Worker (roles/dataflow.worker)
  • Akses baca dan tulis ke bucket staging
  • Akses baca ke gambar Template Flex

Untuk memberikan akses baca dan tulis ke bucket staging, Anda dapat menggunakan peran Storage Object Admin (roles/storage.objectAdmin). Untuk mengetahui informasi selengkapnya, baca artikel Peran IAM untuk Cloud Storage.

Untuk memberikan akses baca ke image Flex Template, Anda dapat menggunakan peran Storage Object Viewer (roles/storage.objectViewer). Untuk mengetahui informasi selengkapnya, lihat Mengonfigurasi kontrol akses.

Menetapkan variabel lingkungan Dockerfile yang diperlukan

Jika Anda ingin membuat Dockerfile sendiri untuk tugas Template Flex, tentukan variabel lingkungan berikut:

Java

Tentukan FLEX_TEMPLATE_JAVA_MAIN_CLASS dan FLEX_TEMPLATE_JAVA_CLASSPATH di Dockerfile Anda.

ENV Deskripsi Diperlukan
FLEX_TEMPLATE_JAVA_MAIN_CLASS Menentukan class Java yang akan dijalankan untuk meluncurkan Flex Template. YA
FLEX_TEMPLATE_JAVA_CLASSPATH Menentukan lokasi file class. YA
FLEX_TEMPLATE_JAVA_OPTIONS Menentukan opsi Java yang akan diteruskan saat meluncurkan Flex Template. NO

Python

Tentukan FLEX_TEMPLATE_PYTHON_PY_FILE di Dockerfile Anda.

Untuk mengelola dependensi pipeline, tetapkan variabel dalam Dockerfile Anda, seperti berikut:

  • FLEX_TEMPLATE_PYTHON_REQUIREMENTS_FILE
  • FLEX_TEMPLATE_PYTHON_PY_OPTIONS
  • FLEX_TEMPLATE_PYTHON_SETUP_FILE
  • FLEX_TEMPLATE_PYTHON_EXTRA_PACKAGES

Misalnya, variabel lingkungan berikut ditetapkan dalam tutorial Streaming di Python Flex Template di GitHub:

ENV FLEX_TEMPLATE_PYTHON_REQUIREMENTS_FILE="${WORKDIR}/requirements.txt"
ENV FLEX_TEMPLATE_PYTHON_PY_FILE="${WORKDIR}/streaming_beam.py"
ENV Deskripsi Diperlukan
FLEX_TEMPLATE_PYTHON_PY_FILE Menentukan file Python mana yang akan dijalankan untuk meluncurkan Flex Template. YA
FLEX_TEMPLATE_PYTHON_REQUIREMENTS_FILE Menentukan file persyaratan dengan dependensi pipeline. Untuk informasi selengkapnya, lihat dependensi PyPI dalam dokumentasi Apache Beam. NO
FLEX_TEMPLATE_PYTHON_SETUP_FILE Menentukan jalur ke file `setup.py` paket pipeline. Untuk mengetahui informasi selengkapnya, lihat Dependensi Beberapa File dalam dokumentasi Apache Beam. NO
FLEX_TEMPLATE_PYTHON_EXTRA_PACKAGES

Menentukan paket yang tidak tersedia untuk publik. Untuk mengetahui informasi tentang cara menggunakan paket tambahan, baca Dependensi lokal atau non-PyPI.

 NO
FLEX_TEMPLATE_PYTHON_PY_OPTIONS Menentukan opsi Python yang akan diteruskan saat meluncurkan Template Flex. NO

Dependensi paket

Jika pipeline Python Dataflow menggunakan dependensi tambahan, Anda mungkin perlu mengonfigurasi Template Fleksibel untuk menginstal dependensi tambahan pada VM pekerja Dataflow.

Saat menjalankan tugas Python Dataflow yang menggunakan Template Fleksibel di lingkungan yang membatasi akses ke internet, Anda harus mengemas dependensi saat membuat template.

Gunakan salah satu opsi berikut untuk mengemas dependensi Python.

Untuk mengetahui petunjuk pengelolaan dependensi pipeline di pipeline Java dan Go, lihat Mengelola dependensi pipeline di Dataflow.

Menggunakan file persyaratan dan mengemas dependensi dengan template

Jika Anda menggunakan Dockerfile Anda sendiri untuk menentukan image Template Flex, ikuti langkah-langkah berikut:

  1. Buat file requirements.txt yang mencantumkan dependensi pipeline Anda.

    COPY requirements.txt /template/
ENV FLEX_TEMPLATE_PYTHON_REQUIREMENTS_FILE="/template/requirements.txt"

  2. Instal dependensi di image Flex Template.

    RUN pip install --no-cache-dir -r $FLEX_TEMPLATE_PYTHON_REQUIREMENTS_FILE

  3. Download dependensi ke cache persyaratan lokal, yang ditingkatkan ke pekerja Dataflow saat template diluncurkan.

    RUN pip download --no-cache-dir --dest /tmp/dataflow-requirements-cache -r $FLEX_TEMPLATE_PYTHON_REQUIREMENTS_FILE

Berikut adalah contoh kode yang melakukan pra-download dependensi.

# Copyright 2020 Google LLC
#
# Licensed under the Apache License, Version 2.0 (the "License");
# you may not use this file except in compliance with the License.
# You may obtain a copy of the License at
#
#    http://www.apache.org/licenses/LICENSE-2.0
#
# Unless required by applicable law or agreed to in writing, software
# distributed under the License is distributed on an "AS IS" BASIS,
# WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
# See the License for the specific language governing permissions and
# limitations under the License.

FROM gcr.io/dataflow-templates-base/python3-template-launcher-base

# Configure the Template to launch the pipeline with a --requirements_file option.
# See: https://beam.apache.org/documentation/sdks/python-pipeline-dependencies/#pypi-dependencies
ENV FLEX_TEMPLATE_PYTHON_REQUIREMENTS_FILE="/template/requirements.txt"
ENV FLEX_TEMPLATE_PYTHON_PY_FILE="/template/streaming_beam.py"

COPY . /template

RUN apt-get update \
    # Install any apt packages if required by your template pipeline.
    && apt-get install -y libffi-dev git \
    && rm -rf /var/lib/apt/lists/* \
    # Upgrade pip and install the requirements.
    && pip install --no-cache-dir --upgrade pip \
    # Install dependencies from requirements file in the launch environment.
    && pip install --no-cache-dir -r $FLEX_TEMPLATE_PYTHON_REQUIREMENTS_FILE \
    # When FLEX_TEMPLATE_PYTHON_REQUIREMENTS_FILE  option is used,
    # then during Template launch Beam downloads dependencies
    # into a local requirements cache folder and stages the cache to workers.
    # To speed up Flex Template launch, pre-download the requirements cache
    # when creating the Template.
    && pip download --no-cache-dir --dest /tmp/dataflow-requirements-cache -r $FLEX_TEMPLATE_PYTHON_REQUIREMENTS_FILE

# Set this if using Beam 2.37.0 or earlier SDK to speed up job submission.
ENV PIP_NO_DEPS=True

ENTRYPOINT ["/opt/google/dataflow/python_template_launcher"]

Menggunakan container kustom yang telah menginstal semua dependensi di awal

Opsi ini lebih disarankan untuk pipeline yang berjalan di lingkungan tanpa akses internet.

Ikuti langkah-langkah berikut untuk menggunakan penampung kustom:

  1. Buat container kustom yang menginstal dependensi yang diperlukan terlebih dahulu.

  2. Prainstal dependensi yang sama di Flex Template Dockerfile. Jangan gunakan opsi FLEX_TEMPLATE_PYTHON_REQUIREMENTS_FILE.

    dataflow/flex-templates/streaming_beam/Dockerfile yang dimodifikasi mungkin terlihat seperti contoh berikut:

    FROM gcr.io/dataflow-templates-base/python3-template-launcher-base
ENV FLEX_TEMPLATE_PYTHON_PY_FILE="/template/streaming_beam.py"
COPY . /template
RUN pip install --no-cache-dir -r /template/requirements.txt

    Atau, untuk mengurangi jumlah gambar yang harus dikelola, gunakan image container kustom sebagai image dasar untuk Template Flex.

  3. Jika Anda menggunakan Apache Beam SDK versi 2.49.0 atau yang lebih lama, tambahkan opsi pipeline --sdk_location=container di peluncur pipeline Anda. Opsi ini memberi tahu pipeline Anda untuk menggunakan SDK dari penampung kustom, bukan mendownload SDK.

    options = PipelineOptions(beam_args, save_main_session=True, streaming=True, sdk_location="container")

  4. Setel parameter sdk_container_image di perintah flex-template run. Contoh:

    gcloud dataflow flex-template run $JOB_NAME \
   --region=$REGION \
   --template-file-gcs-location=$TEMPLATE_PATH \
   --parameters=sdk_container_image=$CUSTOM_CONTAINER_IMAGE \
   --additional-experiments=use_runner_v2

    Untuk mengetahui informasi lebih lanjut, lihat Menggunakan container kustom di Dataflow.

Menyusun pipeline sebagai paket

Jika Anda menyusun pipeline sebagai sebuah paket, gunakan opsi FLEX_TEMPLATE_PYTHON_SETUP_FILE. Untuk informasi selengkapnya tentang struktur pipeline sebagai paket, lihat Beberapa dependensi file dalam dokumentasi Apache Beam.

Jika Anda menggunakan Dockerfile Anda sendiri untuk menentukan image Template Flex, instal paket di Dockerfile.

Dockerfile Template Flex Anda mungkin menyertakan hal berikut:

  COPY setup.py .
  COPY main.py .
  COPY package_name package_name

  RUN pip install -e .

  ENV FLEX_TEMPLATE_PYTHON_SETUP_FILE="${WORKDIR}/setup.py"
  ENV FLEX_TEMPLATE_PYTHON_PY_FILE="${WORKDIR}/main.py"

Jika Anda menggunakan metode ini dan menggunakan image container kustom untuk melakukan prapenginstalan dependensi di lingkungan runtime, sebaiknya instal paket pipeline di image container kustom saat Anda mem-build-nya. Jangan tentukan opsi FLEX_TEMPLATE_PYTHON_SETUP_FILE.

Untuk contoh yang mengikuti pendekatan ini, lihat tutorial Template Fleksibel untuk pipeline dengan dependensi dan image container kustom di GitHub.

Memilih image dasar

Anda dapat menggunakan image dasar yang disediakan Google untuk mengemas image container template menggunakan Docker. Pilih tag terbaru dari gambar dasar Template Fleksibel. Sebaiknya gunakan tag gambar tertentu, bukan latest.

Tentukan image dasar dalam format berikut:

gcr.io/dataflow-templates-base/IMAGE_NAME:TAG

Ganti kode berikut:

Menggunakan image container kustom

Jika pipeline Anda menggunakan image container kustom, sebaiknya gunakan image kustom sebagai image dasar untuk image Docker Template Flex. Untuk melakukannya, salin biner peluncur Template Flex dari gambar dasar template yang disediakan Google ke gambar kustom Anda.

Contoh Dockerfile untuk gambar yang dapat digunakan sebagai gambar penampung SDK Kustom dan sebagai Template Fleksibel, mungkin terlihat seperti berikut:

FROM gcr.io/dataflow-templates-base/IMAGE_NAME:TAG as template_launcher
FROM apache/beam_python3.10_sdk:2.55.1

# RUN <...Make image customizations here...>
# See: https://cloud.google.com/dataflow/docs/guides/build-container-image

# Configure the Flex Template here.
COPY --from=template_launcher /opt/google/dataflow/python_template_launcher /opt/google/dataflow/python_template_launcher
COPY my_pipeline.py /template/
ENV FLEX_TEMPLATE_PYTHON_PY_FILE="/template/my_pipeline.py"

Ganti kode berikut:

  • IMAGE_NAME: image dasar yang disediakan Google. Contoh: python311-template-launcher-base.
  • TAG: tag versi untuk image dasar yang ditemukan dalam referensi image dasar Template Fleksibel. Untuk stabilitas dan pemecahan masalah yang lebih baik, hindari penggunaan latest. Sebagai gantinya, sematkan ke tag versi tertentu.

Untuk contoh yang mengikuti pendekatan ini, lihat tutorial Template Fleksibel untuk pipeline dengan dependensi dan gambar container kustom.

Menggunakan image dari registry pribadi

Anda dapat membuat image Template Flex yang disimpan di registry Docker pribadi, jika registry pribadi menggunakan HTTPS dan memiliki sertifikat yang valid.

Untuk menggunakan image dari registry pribadi, tentukan jalur ke image serta nama pengguna dan sandi untuk registry tersebut. Nama pengguna dan sandi harus disimpan di Secret Manager. Anda dapat memberikan rahasia ini dalam salah satu format berikut:

  • projects/{project}/secrets/{secret}/versions/{secret_version}
  • projects/{project}/secrets/{secret}

Jika Anda menggunakan format kedua, karena format ini tidak menentukan versi, Dataflow akan menggunakan versi terbaru.

Jika registry menggunakan sertifikat yang ditandatangani sendiri, Anda juga harus menentukan jalur ke sertifikat yang ditandatangani sendiri di Cloud Storage.

Tabel berikut menjelaskan opsi gcloud CLI yang dapat Anda gunakan untuk mengonfigurasi registry pribadi.

Parameter Deskripsi
image Alamat registry. Contoh: gcp.repository.example.com:9082/registry/example/image:latest.
image-repository-username-secret-id ID rahasia Secret Manager untuk nama pengguna yang akan melakukan autentikasi ke registry pribadi. Contoh: projects/example-project/secrets/username-secret.
image-repository-password-secret-id ID rahasia Secret Manager untuk sandi yang digunakan untuk mengautentikasi ke registry pribadi. Contoh: projects/example-project/secrets/password-secret/versions/latest.
image-repository-cert-path URL Cloud Storage lengkap untuk sertifikat yang ditandatangani sendiri untuk registry pribadi. Nilai ini hanya diperlukan jika registry menggunakan sertifikat yang ditandatangani sendiri. Contoh: gs://example-bucket/self-signed.crt.

Berikut ini contoh perintah Google Cloud CLI yang membuat Template Fleksibel menggunakan image di registry pribadi dengan sertifikat yang ditandatangani sendiri.

gcloud dataflow flex-template build gs://example-bucket/custom-pipeline-private-repo.json
--sdk-language=JAVA
--image="gcp.repository.example.com:9082/registry/example/image:latest"
--image-repository-username-secret-id="projects/example-project/secrets/username-secret"
--image-repository-password-secret-id="projects/example-project/secrets/password-secret/versions/latest"
--image-repository-cert-path="gs://example-bucket/self-signed.crt"
--metadata-file=metadata.json

Untuk membuat Template Fleksibel sendiri, Anda harus mengganti nilai contoh, dan Anda mungkin perlu menentukan opsi yang berbeda atau tambahan. Untuk mempelajari lebih lanjut, lihat referensi berikut:

Menentukan opsi pipeline

Untuk mengetahui informasi tentang opsi pipeline yang didukung langsung oleh Template Fleksi, lihat Opsi pipeline.

Anda juga dapat menggunakan opsi pipeline Apache Beam secara tidak langsung. Jika Anda menggunakan file metadata.json untuk tugas Template Flex, sertakan opsi pipeline ini dalam file. File metadata ini harus mengikuti format dalam TemplateMetadata.

Jika tidak, saat Anda meluncurkan tugas Template Fleksibel, teruskan opsi pipeline ini dengan menggunakan kolom parameter.

API

Sertakan opsi pipeline menggunakan kolom parameters.

gcloud

Sertakan opsi pipeline menggunakan flag parameters.

Saat meneruskan parameter jenis List atau Map, Anda mungkin perlu menentukan parameter dalam file YAML dan menggunakan flags-file. Untuk contoh pendekatan ini, lihat langkah "Buat file dengan parameter..." dalam solusi ini.

Saat menggunakan Template Fleksibel, Anda dapat mengonfigurasi beberapa opsi pipeline selama inisialisasi pipeline, tetapi opsi pipeline lainnya tidak dapat diubah. Jika argumen command line yang diperlukan oleh Flex Template ditimpa, tugas mungkin mengabaikan, mengganti, atau menghapus opsi pipeline yang diteruskan oleh peluncur template. Tugas mungkin gagal diluncurkan, atau tugas yang tidak menggunakan Template Fleksibel mungkin diluncurkan. Untuk informasi selengkapnya, lihat Gagal membaca file tugas.

Selama inisialisasi pipeline, jangan ubah opsi pipeline berikut:

Java

  • runner
  • project
  • jobName
  • templateLocation
  • region

Python

  • runner
  • project
  • job_name
  • template_location
  • region

Go

  • runner
  • project
  • job_name
  • template_location
  • region

Memblokir kunci SSH project dari VM yang menggunakan kunci SSH berbasis metadata

Anda dapat mencegah VM menerima kunci SSH yang disimpan dalam metadata project dengan memblokir kunci SSH project dari VM. Gunakan flag additional-experiments dengan opsi layanan block_project_ssh_keys:

--additional-experiments=block_project_ssh_keys

Untuk mengetahui informasi selengkapnya, lihat Opsi layanan Dataflow.

Metadata

Anda dapat memperluas template dengan metadata tambahan sehingga parameter kustom divalidasi saat template dijalankan. Jika ingin membuat metadata untuk template Anda, ikuti langkah-langkah berikut:

  1. Buat file metadata.json menggunakan parameter di Parameter metadata.

    Untuk melihat contoh, lihat Contoh file metadata.

  2. Simpan file metadata di Cloud Storage dalam folder yang sama dengan template.

Parameter metadata

Kunci parameter Diperlukan Deskripsi nilai
name Ya Nama template Anda.
description Tidak Paragraf singkat berisi teks yang menjelaskan template.
streaming Tidak Jika true, template ini mendukung streaming. Nilai defaultnya adalah false.
supportsAtLeastOnce Tidak Jika true, template ini mendukung pemrosesan setidaknya satu kali. Nilai defaultnya adalah false. Tetapkan parameter ini ke true jika template dirancang untuk berfungsi dengan mode streaming minimal satu kali.
supportsExactlyOnce Tidak Jika true, template ini mendukung pemrosesan tepat satu kali. Nilai default-nya adalah true.
defaultStreamingMode Tidak Mode streaming default, untuk template yang mendukung mode minimal satu kali dan mode tepat satu kali. Gunakan salah satu nilai berikut: "AT_LEAST_ONCE", "EXACTLY_ONCE". Jika tidak ditentukan, mode streaming default adalah tepat satu kali.
parameters Tidak Array parameter tambahan yang digunakan template. Array kosong digunakan secara default.
name Ya Nama parameter yang digunakan di template Anda.
label Ya String yang dapat dibaca manusia, yang digunakan di Konsol Google Cloud untuk memberi label pada parameter.
helpText Ya Paragraf singkat berisi teks yang menjelaskan parameter.
isOptional Tidak false jika parameter diperlukan dan true jika parameter bersifat opsional. Kecuali ditetapkan dengan nilai, isOptional ditetapkan secara default ke false. Jika Anda tidak menyertakan kunci parameter ini untuk metadata, metadata akan menjadi parameter yang diperlukan.
regexes Tidak Array ekspresi reguler POSIX-egrep dalam bentuk string yang digunakan untuk memvalidasi nilai parameter. Misalnya, ["^[a-zA-Z][a-zA-Z0-9]+"] adalah satu ekspresi reguler yang memvalidasi bahwa nilai diawali dengan huruf, lalu memiliki satu atau beberapa karakter. Array kosong digunakan secara default.

Contoh file metadata

Java

{
  "name": "Streaming Beam SQL",
  "description": "An Apache Beam streaming pipeline that reads JSON encoded messages from Pub/Sub, uses Beam SQL to transform the message data, and writes the results to a BigQuery",
  "parameters": [
    {
      "name": "inputSubscription",
      "label": "Pub/Sub input subscription.",
      "helpText": "Pub/Sub subscription to read from.",
      "regexes": [
        "[a-zA-Z][-_.~+%a-zA-Z0-9]{2,}"
      ]
    },
    {
      "name": "outputTable",
      "label": "BigQuery output table",
      "helpText": "BigQuery table spec to write to, in the form 'project:dataset.table'.",
      "isOptional": true,
      "regexes": [
        "[^:]+:[^.]+[.].+"
      ]
    }
  ]
}

Python

{
  "name": "Streaming beam Python flex template",
  "description": "Streaming beam example for python flex template.",
  "parameters": [
    {
      "name": "input_subscription",
      "label": "Input PubSub subscription.",
      "helpText": "Name of the input PubSub subscription to consume from.",
      "regexes": [
        "projects/[^/]+/subscriptions/[a-zA-Z][-_.~+%a-zA-Z0-9]{2,}"
      ]
    },
    {
      "name": "output_table",
      "label": "BigQuery output table name.",
      "helpText": "Name of the BigQuery output table name.",
      "isOptional": true,
      "regexes": [
        "([^:]+:)?[^.]+[.].+"
      ]
    }
  ]
}

Anda dapat mendownload file metadata untuk template yang disediakan Google dari direktori template Dataflow.

Memahami lokasi staging dan lokasi sementara

Google Cloud CLI menyediakan opsi --staging-location dan --temp-location saat Anda menjalankan template fleksibel. Demikian pula, Dataflow REST API menyediakan kolom stagingLocation dan tempLocation untuk FlexTemplateRuntimeEnvironment.

Untuk Template Fleksibel, lokasi staging adalah URL Cloud Storage tempat file ditulis selama langkah staging untuk peluncuran template. Dataflow membaca file bertahap ini untuk membuat grafik template. Lokasi sementara adalah URL Cloud Storage tempat file sementara ditulis selama langkah eksekusi.

Memperbarui tugas Template Flex

Contoh permintaan berikut menunjukkan cara memperbarui tugas streaming template dengan menggunakan metode projects.locations.flexTemplates.launch. Jika ingin menggunakan gcloud CLI, baca artikel Memperbarui pipeline yang ada.

Jika Anda ingin mengupdate template klasik, gunakan projects.locations.templates.launch sebagai gantinya.

  1. Ikuti langkah-langkah untuk membuat tugas streaming dari Template Fleksibel. Kirim permintaan HTTP POST berikut dengan nilai yang diubah:

    POST https://dataflow.googleapis.com/v1b3/projects/PROJECT_ID/locations/REGION/flexTemplates:launch
{
    "launchParameter": {
      "update": true
      "jobName": "JOB_NAME",
      "parameters": {
        "input_subscription": "projects/PROJECT_ID/subscriptions/SUBSCRIPTION_NAME",
        "output_table": "PROJECT_ID:DATASET.TABLE_NAME"
      },
    "containerSpecGcsPath": "STORAGE_PATH"
    },
}
    • Ganti PROJECT_ID dengan project ID Anda.
    • Ganti REGION dengan region Dataflow untuk tugas yang sedang Anda perbarui.
    • Ganti JOB_NAME dengan nama persis lowongan yang ingin Anda perbarui.
    • Tetapkan parameters ke daftar key-value pair Anda. Parameter yang tercantum bersifat khusus untuk contoh template ini. Jika Anda menggunakan template kustom, ubah parameter sesuai kebutuhan. Jika Anda menggunakan template contoh, ganti variabel berikut.
      • Ganti SUBSCRIPTION_NAME dengan nama langganan Pub/Sub Anda.
      • Ganti DATASET dengan nama set data BigQuery Anda.
      • Ganti TABLE_NAME dengan nama tabel BigQuery Anda.
    • Ganti STORAGE_PATH dengan lokasi Cloud Storage dari file template. Lokasi harus diawali dengan gs://.

  2. Gunakan parameter environment untuk mengubah setelan lingkungan. Untuk mengetahui informasi selengkapnya, lihat FlexTemplateRuntimeEnvironment.

  3. Opsional: Untuk mengirim permintaan Anda menggunakan curl (Linux, macOS, atau Cloud Shell), simpan permintaan ke file JSON, lalu jalankan perintah berikut:

    curl -X POST -d "@FILE_PATH" -H "Content-Type: application/json" -H "Authorization: Bearer $(gcloud auth print-access-token)"  https://dataflow.googleapis.com/v1b3/projects/PROJECT_ID/locations/REGION/flexTemplates:launch

    Ganti FILE_PATH dengan jalur ke file JSON yang berisi isi permintaan.

  4. Gunakan Antarmuka pemantauan Dataflow untuk memverifikasi bahwa tugas baru dengan nama yang sama telah dibuat. Tugas ini memiliki status Diperbarui.

Batasan

Batasan berikut berlaku untuk tugas Template Flex:

  • Anda harus menggunakan image dasar yang disediakan Google untuk mengemas container menggunakan Docker. Untuk daftar gambar yang berlaku, lihat Gambar dasar Template Fleksibel.
  • Program yang membuat pipeline harus keluar setelah run dipanggil agar pipeline dimulai.
  • waitUntilFinish (Java) dan wait_until_finish (Python) tidak didukung.

Langkah selanjutnya