Cloud Composer 1 berada dalam mode pascapemeliharaan. Google tidak merilis update lebih lanjut ke Cloud Composer 1, termasuk Airflow versi baru, perbaikan bug, dan update keamanan. Sebaiknya rencanakan migrasi ke Cloud Composer 2.

Halaman ini diterjemahkan oleh Cloud Translation API.

Menulis DAG Airflow

Cloud Composer 1 | Cloud Composer 2 | Cloud Composer 3

Panduan ini menunjukkan cara menulis directed acyclic graph (DAG) Apache Airflow yang berjalan di lingkungan Cloud Composer.

Karena Apache Airflow tidak menyediakan isolasi tugas dan DAG yang kuat, sebaiknya Anda menggunakan lingkungan produksi dan pengujian terpisah untuk mencegah gangguan DAG. Untuk informasi selengkapnya, lihat Menguji DAG.

Membuat struktur DAG Airflow

DAG Airflow ditentukan dalam file Python dan terdiri dari komponen berikut:

Definisi DAG
Operator Airflow
Hubungan operator

Cuplikan kode berikut menunjukkan contoh setiap komponen di luar konteks.

Definisi DAG

Contoh berikut menunjukkan definisi DAG Alur Kerja:

import datetime

from airflow import models

default_dag_args = {
    # The start_date describes when a DAG is valid / can be run. Set this to a
    # fixed point in time rather than dynamically, since it is evaluated every
    # time a DAG is parsed. See:
    # https://airflow.apache.org/faq.html#what-s-the-deal-with-start-date
    "start_date": datetime.datetime(2018, 1, 1),
}

# Define a DAG (directed acyclic graph) of tasks.
# Any task you create within the context manager is automatically added to the
# DAG object.
with models.DAG(
    "composer_sample_simple_greeting",
    schedule_interval=datetime.timedelta(days=1),
    default_args=default_dag_args,
) as dag:

Operator dan tugas

Operator Airflow menjelaskan pekerjaan yang akan dilakukan. Tugas tugas adalah instance operator tertentu.

from airflow.operators.bash import BashOperator
from airflow.operators.python import PythonOperator

    def greeting():
        import logging

        logging.info("Hello World!")

    # An instance of an operator is called a task. In this case, the
    # hello_python task calls the "greeting" Python function.
    hello_python = PythonOperator(task_id="hello", python_callable=greeting)

    # Likewise, the goodbye_bash task calls a Bash script.
    goodbye_bash = BashOperator(task_id="bye", bash_command="echo Goodbye.")

Hubungan tugas

Hubungan tugas menjelaskan urutan pekerjaan yang harus diselesaikan.

# Define the order in which the tasks complete by using the >> and <<
# operators. In this example, hello_python executes before goodbye_bash.
hello_python >> goodbye_bash

Contoh alur kerja DAG lengkap di Python

Alur kerja berikut adalah template DAG lengkap yang berfungsi dan terdiri dari dua tugas: tugas hello_python dan tugas goodbye_bash:


import datetime

from airflow import models

from airflow.operators.bash import BashOperator
from airflow.operators.python import PythonOperator



default_dag_args = {
    # The start_date describes when a DAG is valid / can be run. Set this to a
    # fixed point in time rather than dynamically, since it is evaluated every
    # time a DAG is parsed. See:
    # https://airflow.apache.org/faq.html#what-s-the-deal-with-start-date
    "start_date": datetime.datetime(2018, 1, 1),
}

# Define a DAG (directed acyclic graph) of tasks.
# Any task you create within the context manager is automatically added to the
# DAG object.
with models.DAG(
    "composer_sample_simple_greeting",
    schedule_interval=datetime.timedelta(days=1),
    default_args=default_dag_args,
) as dag:
    def greeting():
        import logging

        logging.info("Hello World!")

    # An instance of an operator is called a task. In this case, the
    # hello_python task calls the "greeting" Python function.
    hello_python = PythonOperator(task_id="hello", python_callable=greeting)

    # Likewise, the goodbye_bash task calls a Bash script.
    goodbye_bash = BashOperator(task_id="bye", bash_command="echo Goodbye.")

    # Define the order in which the tasks complete by using the >> and <<
    # operators. In this example, hello_python executes before goodbye_bash.
    hello_python >> goodbye_bash

Untuk informasi selengkapnya tentang menentukan DAG Airflow, lihat tutorial Airflow dan konsep Airflow.

Operator Airflow

Contoh berikut menunjukkan beberapa operator Airflow populer. Untuk referensi resmi operator Airflow, lihat Referensi Operator dan Hook dan Indeks penyedia.

BashOperator

Gunakan BashOperator untuk menjalankan program command line.

from airflow.operators import bash

    # Create BigQuery output dataset.
    make_bq_dataset = bash.BashOperator(
        task_id="make_bq_dataset",
        # Executing 'bq' command requires Google Cloud SDK which comes
        # preinstalled in Cloud Composer.
        bash_command=f"bq ls {bq_dataset_name} || bq mk {bq_dataset_name}",
    )

Cloud Composer menjalankan perintah yang disediakan dalam skrip Bash di pekerja Airflow. Pekerja adalah penampung Docker berbasis Debian dan menyertakan beberapa paket.

Perintah gcloud, termasuk sub-perintah gcloud storage untuk menggunakan bucket Cloud Storage.
Perintah bq
Perintah kubectl

PythonOperator

Gunakan PythonOperator untuk menjalankan kode Python arbitrer.

Cloud Composer menjalankan kode Python dalam penampung yang menyertakan paket untuk versi image Cloud Composer yang digunakan di lingkungan Anda.

Untuk menginstal paket Python tambahan, lihat Menginstal Dependensi Python.

Operator Google Cloud

Untuk menjalankan tugas yang menggunakan produk Google Cloud, gunakan operator Google Cloud Airflow. Misalnya, operator BigQuery membuat kueri dan memproses data di BigQuery.

Ada banyak lagi operator Airflow untuk Google Cloud dan layanan individual yang disediakan oleh Google Cloud. Lihat Operator Google Cloud untuk mengetahui daftar lengkapnya.

from airflow.providers.google.cloud.operators import bigquery
from airflow.providers.google.cloud.transfers import bigquery_to_gcs

    bq_recent_questions_query = bigquery.BigQueryInsertJobOperator(
        task_id="bq_recent_questions_query",
        configuration={
            "query": {
                "query": RECENT_QUESTIONS_QUERY,
                "useLegacySql": False,
                "destinationTable": {
                    "projectId": project_id,
                    "datasetId": bq_dataset_name,
                    "tableId": bq_recent_questions_table_id,
                },
            }
        },
        location=location,
    )

EmailOperator

Gunakan EmailOperator untuk mengirim email dari DAG. Untuk mengirim email dari lingkungan Cloud Composer, konfigurasi lingkungan Anda untuk menggunakan SendGrid.

from airflow.operators import email

    # Send email confirmation (you will need to set up the email operator
    # See https://cloud.google.com/composer/docs/how-to/managing/creating#notification
    # for more info on configuring the email operator in Cloud Composer)
    email_summary = email.EmailOperator(
        task_id="email_summary",
        to="{{var.value.email}}",
        subject="Sample BigQuery notify data ready",
        html_content="""
        Analyzed Stack Overflow posts data from {min_date} 12AM to {max_date}
        12AM. The most popular question was '{question_title}' with
        {view_count} views. Top 100 questions asked are now available at:
        {export_location}.
        """.format(
            min_date=min_query_date,
            max_date=max_query_date,
            question_title=(
                "{{ ti.xcom_pull(task_ids='bq_read_most_popular', "
                "key='return_value')[0][0] }}"
            ),
            view_count=(
                "{{ ti.xcom_pull(task_ids='bq_read_most_popular', "
                "key='return_value')[0][1] }}"
            ),
            export_location=output_file,
        ),
    )

Notifikasi tentang kegagalan operator

Tetapkan email_on_failure ke True untuk mengirim notifikasi email saat operator dalam DAG gagal. Untuk mengirim notifikasi email dari lingkungan Cloud Composer, Anda harus mengonfigurasi lingkungan untuk menggunakan SendGrid.

from airflow import models

default_dag_args = {
    "start_date": yesterday,
    # Email whenever an Operator in the DAG fails.
    "email": "{{var.value.email}}",
    "email_on_failure": True,
    "email_on_retry": False,
    "retries": 1,
    "retry_delay": datetime.timedelta(minutes=5),
    "project_id": project_id,
}

with models.DAG(
    "composer_sample_bq_notify",
    schedule_interval=datetime.timedelta(weeks=4),
    default_args=default_dag_args,
) as dag:

Panduan alur kerja DAG

Tempatkan library Python kustom di arsip ZIP DAG dalam direktori bertingkat. Jangan menempatkan library di tingkat teratas direktori DAG.

Saat memindai folder dags/, Airflow hanya memeriksa DAG di modul Python yang berada di tingkat atas folder DAG dan di tingkat atas arsip ZIP yang juga terletak di folder dags/ tingkat atas. Jika Airflow menemukan modul Python dalam arsip ZIP yang tidak berisi substring airflow dan DAG, Airflow akan berhenti memproses arsip ZIP. Airflow hanya menampilkan DAG yang ditemukan hingga titik tersebut.
Untuk toleransi error, jangan tentukan beberapa objek DAG dalam modul Python yang sama.
Jangan gunakan SubDAG. Sebagai gantinya, kelompokkan tugas di dalam DAG.
Tempatkan file yang diperlukan pada waktu penguraian DAG ke folder dags/, bukan di folder data/.
Terapkan pengujian unit untuk DAG Anda.
Uji DAG yang dikembangkan atau diubah seperti yang direkomendasikan dalam petunjuk untuk menguji DAG.
Pastikan DAG yang dikembangkan tidak terlalu meningkatkan waktu penguraian DAG.
Tugas Airflow dapat gagal karena beberapa alasan. Untuk menghindari kegagalan seluruh DAG yang berjalan, sebaiknya aktifkan percobaan ulang tugas. Menetapkan percobaan ulang maksimum ke 0 berarti tidak ada percobaan ulang yang dilakukan.

Sebaiknya ganti opsi default_task_retries dengan nilai untuk percobaan ulang tugas selain 0. Selain itu, Anda dapat menetapkan parameter retries di tingkat tugas.
Jika Anda ingin menggunakan GPU dalam tugas Airflow, buat cluster GKE terpisah berdasarkan node yang menggunakan mesin dengan GPU. Gunakan GKEStartPodOperator untuk menjalankan tugas Anda.
Hindari menjalankan tugas yang menggunakan banyak CPU dan memori di node pool cluster tempat komponen Airflow lainnya (penjadwal, pekerja, server web) berjalan. Sebagai gantinya, gunakan KubernetesPodOperator atau GKEStartPodOperator.
Saat men-deploy DAG ke lingkungan, hanya upload file yang benar-benar diperlukan untuk menafsirkan dan mengeksekusi DAG ke folder /dags.
Batasi jumlah file DAG di folder /dags.

Airflow terus mengurai DAG di folder /dags. Mengurai adalah proses yang melakukan loop melalui folder DAG dan jumlah file yang perlu dimuat (dengan dependensinya) akan memengaruhi performa penguraian DAG dan penjadwalan tugas. Sebaiknya gunakan 100 file dengan masing-masing 100 DAG daripada 10.000 file dengan masing-masing 1 DAG karena pengoptimalan tersebut jauh lebih efisien. Pengoptimalan ini adalah keseimbangan antara waktu penguraian dan efisiensi pembuatan serta pengelolaan DAG.

Anda juga dapat mempertimbangkan, misalnya, untuk men-deploy 10.000 file DAG, Anda dapat membuat 100 file ZIP yang masing-masing berisi 100 file DAG.

Selain petunjuk di atas, jika Anda memiliki lebih dari 10.000 file DAG, membuat DAG secara terprogram mungkin merupakan opsi yang baik. Misalnya, Anda dapat menerapkan satu file DAG Python yang menghasilkan sejumlah objek DAG (misalnya, 20, 100 objek DAG).
Hindari penggunaan operator Airflow yang tidak digunakan lagi. Sebagai gantinya, gunakan alternatif terbarunya.

FAQ untuk menulis DAG

Bagaimana cara meminimalkan pengulangan kode jika saya ingin menjalankan tugas yang sama atau serupa di beberapa DAG?

Sebaiknya tentukan library dan wrapper untuk meminimalkan pengulangan kode.

Bagaimana cara menggunakan kembali kode di antara file DAG?

Masukkan fungsi utilitas Anda di library Python lokal dan impor fungsi tersebut. Anda dapat mereferensikan fungsi dalam DAG apa pun yang terletak di folder dags/ di bucket lingkungan Anda.

Bagaimana cara meminimalkan risiko munculnya definisi yang berbeda?

Misalnya, Anda memiliki dua tim yang ingin menggabungkan data mentah menjadi metrik pendapatan. Tim menulis dua tugas yang sedikit berbeda yang mencapai hal yang sama. Menentukan library untuk menggunakan data pendapatan sehingga pengimplementasi DAG harus mengklarifikasi definisi pendapatan yang digabungkan.

Bagaimana cara menetapkan dependensi antar-DAG?

Hal ini bergantung pada cara Anda ingin menentukan dependensi.

Jika memiliki dua DAG (DAG A dan DAG B) dan ingin DAG B dipicu setelah DAG A, Anda dapat menempatkan TriggerDagRunOperator di akhir DAG A.

Jika DAG B hanya bergantung pada artefak yang dihasilkan DAG A, seperti pesan Pub/Sub, sensor mungkin akan berfungsi lebih baik.

Jika DAG B terintegrasi erat dengan DAG A, Anda mungkin dapat menggabungkan kedua DAG menjadi satu DAG.

Bagaimana cara meneruskan ID run unik ke DAG dan tugasnya?

Misalnya, Anda ingin meneruskan nama cluster dan jalur file Dataproc.

Anda dapat membuat ID unik acak dengan menampilkan str(uuid.uuid4()) dalam PythonOperator. Tindakan ini akan menempatkan ID ke dalam XComs sehingga Anda dapat merujuk ke ID di operator lain melalui kolom template.

Sebelum membuat uuid, pertimbangkan apakah ID khusus DagRun akan lebih bernilai. Anda juga dapat mereferensikan ID ini dalam penggantian Jinja dengan menggunakan makro.

Bagaimana cara memisahkan tugas dalam DAG?

Setiap tugas harus berupa unit pekerjaan idempoten. Oleh karena itu, Anda harus menghindari enkapsulasi alur kerja multi-langkah dalam satu tugas, seperti program kompleks yang berjalan di PythonOperator.

Haruskah saya menentukan beberapa tugas dalam satu DAG untuk menggabungkan data dari beberapa sumber?

Misalnya, Anda memiliki beberapa tabel dengan data mentah dan ingin membuat agregat harian untuk setiap tabel. Tugas-tugas tersebut tidak saling bergantung. Haruskah Anda membuat satu tugas dan DAG untuk setiap tabel atau membuat satu DAG umum?

Jika Anda tidak keberatan jika setiap tugas memiliki properti tingkat DAG yang sama, seperti schedule_interval, sebaiknya tentukan beberapa tugas dalam satu DAG. Atau, untuk meminimalkan pengulangan kode, beberapa DAG dapat dihasilkan dari satu modul Python dengan menempatkannya ke dalam globals() modul.

Bagaimana cara membatasi jumlah tugas serentak yang berjalan di DAG?

Misalnya, Anda ingin menghindari melampaui batas/kuota penggunaan API atau menghindari menjalankan terlalu banyak proses serentak.

Anda dapat menentukan kumpulan Airflow di UI web Airflow dan mengaitkan tugas dengan kumpulan yang ada di DAG.

FAQ untuk menggunakan operator

Haruskah saya menggunakan `DockerOperator`?

Sebaiknya jangan gunakan DockerOperator, kecuali jika digunakan untuk meluncurkan penampung di penginstalan Docker jarak jauh (bukan dalam cluster lingkungan). Di lingkungan Cloud Composer, operator tidak memiliki akses ke daemon Docker.

Sebagai gantinya, gunakan KubernetesPodOperator atau GKEStartPodOperator. Operator ini meluncurkan pod Kubernetes ke dalam cluster Kubernetes atau GKE. Perhatikan bahwa kami tidak menyarankan untuk meluncurkan pod ke cluster lingkungan, karena hal ini dapat menyebabkan persaingan resource.

Haruskah saya menggunakan `SubDagOperator`?

Sebaiknya jangan gunakan SubDagOperator.

Gunakan alternatif seperti yang disarankan di Mengelompokkan tugas.

Haruskah saya menjalankan kode Python hanya di `PythonOperators` untuk memisahkan operator Python sepenuhnya?

Bergantung pada sasaran Anda, Anda memiliki beberapa opsi.

Jika satu-satunya masalah Anda adalah mempertahankan dependensi Python terpisah, Anda dapat menggunakan PythonVirtualenvOperator.

Pertimbangkan untuk menggunakan KubernetesPodOperator. Operator ini memungkinkan Anda menentukan pod Kubernetes dan menjalankan pod di cluster lain.

Bagaimana cara menambahkan paket biner kustom atau non-PyPI?

Anda dapat menginstal paket yang dihosting di repositori paket pribadi.

Bagaimana cara meneruskan argumen secara seragam ke DAG dan tugasnya?

Anda dapat menggunakan dukungan bawaan Airflow untuk template Jinja guna meneruskan argumen yang dapat digunakan di kolom template.

Kapan penggantian template terjadi?

Penggantian template terjadi pada pekerja Airflow tepat sebelum fungsi pre_execute operator dipanggil. Dalam praktiknya, ini berarti template tidak diganti hingga tepat sebelum tugas berjalan.

Bagaimana cara mengetahui argumen operator yang mendukung penggantian template?

Argumen operator yang mendukung penggantian template Jinja2 ditandai secara eksplisit sebagai argumen tersebut.

Cari kolom template_fields dalam definisi Operator, yang berisi daftar nama argumen yang mengalami penggantian template.

Misalnya, lihat BashOperator, yang mendukung pembuatan template untuk argumen bash_command dan env.

Operator Airflow yang tidak digunakan lagi dan dihapus

Operator Airflow yang tercantum dalam tabel berikut tidak digunakan lagi:

Hindari penggunaan operator ini di DAG Anda. Sebagai gantinya, gunakan operator pengganti terbaru yang disediakan.
Jika operator tercantum sebagai dihapus, berarti operator tersebut sudah tidak tersedia di salah satu build Airflow yang dirilis di Cloud Composer 3.
Jika operator tercantum sebagai direncanakan untuk dihapus, operator tersebut tidak digunakan lagi dan akan dihapus dalam build Airflow mendatang.
Jika operator tercantum sebagai sudah dihapus di penyedia Google terbaru, operator tersebut akan dihapus di paket apache-airflow-providers-google versi terbaru. Pada saat yang sama, Cloud Composer masih menggunakan versi paket ini dengan operator yang belum dihapus.

Operator yang tidak digunakan lagi	Status	Operator pengganti	Penggantian tersedia dari
CreateAutoMLTextTrainingJobOperator	Tidak digunakan lagi, Penghapusan direncanakan, Sudah dihapus di penyedia Google terbaru	SupervisedFineTuningTrainOperator	composer-3-airflow-2.9.3-build.1 composer-3-airflow-2.9.1-build.8
GKEDeploymentHook	Tidak digunakan lagi, Penghapusan direncanakan, Sudah dihapus di penyedia Google terbaru	GKEKubernetesHook	Semua versi
GKECustomResourceHook	Tidak digunakan lagi, Penghapusan direncanakan, Sudah dihapus di penyedia Google terbaru	GKEKubernetesHook	Semua versi
GKEPodHook	Tidak digunakan lagi, Penghapusan direncanakan, Sudah dihapus di penyedia Google terbaru	GKEKubernetesHook	Semua versi
GKEJobHook	Tidak digunakan lagi, Penghapusan direncanakan, Sudah dihapus di penyedia Google terbaru	GKEKubernetesHook	Semua versi
GKEPodAsyncHook	Tidak digunakan lagi, Penghapusan direncanakan, Sudah dihapus di penyedia Google terbaru	GKEKubernetesAsyncHook	Semua versi
SecretsManagerHook	Tidak digunakan lagi, Penghapusan direncanakan, Sudah dihapus di penyedia Google terbaru	GoogleCloudSecretManagerHook	composer-3-airflow-2.7.3-build.6
BigQueryExecuteQueryOperator	Tidak digunakan lagi, Penghapusan direncanakan, Sudah dihapus di penyedia Google terbaru	BigQueryInsertJobOperator	Semua versi
BigQueryPatchDatasetOperator	Tidak digunakan lagi, Penghapusan direncanakan, Sudah dihapus di penyedia Google terbaru	BigQueryUpdateDatasetOperator	Semua versi
DataflowCreateJavaJobOperator	Tidak digunakan lagi, Penghapusan direncanakan, Sudah dihapus di penyedia Google terbaru	beam.BeamRunJavaPipelineOperator	Semua versi
DataflowCreatePythonJobOperator	Tidak digunakan lagi, Penghapusan direncanakan, Sudah dihapus di penyedia Google terbaru	beam.BeamRunPythonPipelineOperator	Semua versi
DataprocSubmitPigJobOperator	Tidak digunakan lagi, Penghapusan direncanakan, Sudah dihapus di penyedia Google terbaru	DataprocSubmitJobOperator	Semua versi
DataprocSubmitHiveJobOperator	Tidak digunakan lagi, Penghapusan direncanakan, Sudah dihapus di penyedia Google terbaru	DataprocSubmitJobOperator	Semua versi
DataprocSubmitSparkSqlJobOperator	Tidak digunakan lagi, Penghapusan direncanakan, Sudah dihapus di penyedia Google terbaru	DataprocSubmitJobOperator	Semua versi
DataprocSubmitSparkJobOperator	Tidak digunakan lagi, Penghapusan direncanakan, Sudah dihapus di penyedia Google terbaru	DataprocSubmitJobOperator	Semua versi
DataprocSubmitHadoopJobOperator	Tidak digunakan lagi, Penghapusan direncanakan, Sudah dihapus di penyedia Google terbaru	DataprocSubmitJobOperator	Semua versi
DataprocSubmitPySparkJobOperator	Tidak digunakan lagi, Penghapusan direncanakan, Sudah dihapus di penyedia Google terbaru	DataprocSubmitJobOperator	Semua versi
BigQueryTableExistenceAsyncSensor	Tidak digunakan lagi, Penghapusan direncanakan, Sudah dihapus di penyedia Google terbaru	BigQueryTableExistenceSensor	Semua versi
BigQueryTableExistencePartitionAsyncSensor	Tidak digunakan lagi, Penghapusan direncanakan, Sudah dihapus di penyedia Google terbaru	BigQueryTablePartitionExistenceSensor	Semua versi
CloudComposerEnvironmentSensor	Tidak digunakan lagi, Penghapusan direncanakan, Sudah dihapus di penyedia Google terbaru	CloudComposerCreateEnvironmentOperator, CloudComposerDeleteEnvironmentOperator, CloudComposerUpdateEnvironmentOperator	Semua versi
GCSObjectExistenceAsyncSensor	Tidak digunakan lagi, Penghapusan direncanakan, Sudah dihapus di penyedia Google terbaru	GCSObjectExistenceSensor	Semua versi
GoogleAnalyticsHook	Tidak digunakan lagi, Penghapusan direncanakan, Sudah dihapus di penyedia Google terbaru	GoogleAnalyticsAdminHook	Semua versi
GoogleAnalyticsListAccountsOperator	Tidak digunakan lagi, Penghapusan direncanakan, Sudah dihapus di penyedia Google terbaru	GoogleAnalyticsAdminListAccountsOperator	Semua versi
GoogleAnalyticsGetAdsLinkOperator	Tidak digunakan lagi, Penghapusan direncanakan, Sudah dihapus di penyedia Google terbaru	GoogleAnalyticsAdminGetGoogleAdsLinkOperator	Semua versi
GoogleAnalyticsRetrieveAdsLinksListOperator	Tidak digunakan lagi, Penghapusan direncanakan, Sudah dihapus di penyedia Google terbaru	GoogleAnalyticsAdminListGoogleAdsLinksOperator	Semua versi
GoogleAnalyticsDataImportUploadOperator	Tidak digunakan lagi, Penghapusan direncanakan, Sudah dihapus di penyedia Google terbaru	GoogleAnalyticsAdminCreateDataStreamOperator	Semua versi
GoogleAnalyticsDeletePreviousDataUploadsOperator	Tidak digunakan lagi, Penghapusan direncanakan, Sudah dihapus di penyedia Google terbaru	GoogleAnalyticsAdminDeleteDataStreamOperator	Semua versi
DataPipelineHook	Tidak digunakan lagi, Penghapusan direncanakan	DataflowHook	composer-3-airflow-2.9.1-build.0 composer-3-airflow-2.7.3-build.9
CreateDataPipelineOperator	Tidak digunakan lagi, Penghapusan direncanakan	DataflowCreatePipelineOperator	composer-3-airflow-2.9.1-build.0 composer-3-airflow-2.7.3-build.9
RunDataPipelineOperator	Tidak digunakan lagi, Penghapusan direncanakan	DataflowRunPipelineOperator	composer-3-airflow-2.9.1-build.0 composer-3-airflow-2.7.3-build.9
AutoMLDatasetLink	Tidak digunakan lagi, Penghapusan direncanakan	TranslationLegacyDatasetLink	composer-3-airflow-2.9.1-build.0 composer-3-airflow-2.7.3-build.9
AutoMLDatasetListLink	Tidak digunakan lagi, Penghapusan direncanakan	TranslationDatasetListLink	composer-3-airflow-2.9.1-build.0 composer-3-airflow-2.7.3-build.9
AutoMLModelLink	Tidak digunakan lagi, Penghapusan direncanakan	TranslationLegacyModelLink	composer-3-airflow-2.9.1-build.0 composer-3-airflow-2.7.3-build.9
AutoMLModelTrainLink	Tidak digunakan lagi, Penghapusan direncanakan	TranslationLegacyModelTrainLink	composer-3-airflow-2.9.1-build.0 composer-3-airflow-2.7.3-build.9
AutoMLModelPredictLink	Tidak digunakan lagi, Penghapusan direncanakan	TranslationLegacyModelPredictLink	composer-3-airflow-2.9.1-build.0 composer-3-airflow-2.7.3-build.9
AutoMLBatchPredictOperator	Tidak digunakan lagi, Penghapusan direncanakan	vertex_ai.batch_prediction_job	composer-3-airflow-2.9.3-build.4
AutoMLPredictOperator	Tidak digunakan lagi, Penghapusan direncanakan	vertex_aigenerative_model. TextGenerationModelPredictOperator, translate.TranslateTextOperator	composer-3-airflow-2.7.3-build.6
PromptLanguageModelOperator	Tidak digunakan lagi, Penghapusan direncanakan	TextGenerationModelPredictOperator	composer-3-airflow-2.9.1-build.0 composer-3-airflow-2.7.3-build.9
GenerateTextEmbeddingsOperator	Tidak digunakan lagi, Penghapusan direncanakan	TextEmbeddingModelGetEmbeddingsOperator	composer-3-airflow-2.9.1-build.0 composer-3-airflow-2.7.3-build.9
PromptMultimodalModelOperator	Tidak digunakan lagi, Penghapusan direncanakan	GenerativeModelGenerateContentOperator	composer-3-airflow-2.9.1-build.0 composer-3-airflow-2.7.3-build.9
PromptMultimodalModelWithMediaOperator	Tidak digunakan lagi, Penghapusan direncanakan	GenerativeModelGenerateContentOperator	composer-3-airflow-2.9.1-build.0 composer-3-airflow-2.7.3-build.9
DataflowStartSqlJobOperator	Tidak digunakan lagi, Penghapusan direncanakan	DataflowStartYamlJobOperator	composer-3-airflow-2.9.3-build.1 composer-3-airflow-2.9.1-build.8
LifeSciencesHook	Tidak digunakan lagi, Penghapusan direncanakan	Hook Operator Batch Google Cloud	Akan diumumkan
DataprocScaleClusterOperator	Tidak digunakan lagi, Penghapusan direncanakan	DataprocUpdateClusterOperator	Akan diumumkan
MLEngineStartBatchPredictionJobOperator	Tidak digunakan lagi, Penghapusan direncanakan	CreateBatchPredictionJobOperator	Akan diumumkan
MLEngineManageModelOperator	Tidak digunakan lagi, Penghapusan direncanakan	MLEngineCreateModelOperator, MLEngineGetModelOperator	Akan diumumkan
MLEngineGetModelOperator	Tidak digunakan lagi, Penghapusan direncanakan	GetModelOperator	Akan diumumkan
MLEngineDeleteModelOperator	Tidak digunakan lagi, Penghapusan direncanakan	DeleteModelOperator	Akan diumumkan
MLEngineManageVersionOperator	Tidak digunakan lagi, Penghapusan direncanakan	MLEngineCreateVersion, MLEngineSetDefaultVersion, MLEngineListVersions, MLEngineDeleteVersion	Akan diumumkan
MLEngineCreateVersionOperator	Tidak digunakan lagi, Penghapusan direncanakan	Parameter parent_model untuk operator VertexAI	Akan diumumkan
MLEngineSetDefaultVersionOperator	Tidak digunakan lagi, Penghapusan direncanakan	SetDefaultVersionOnModelOperator	Akan diumumkan
MLEngineListVersionsOperator	Tidak digunakan lagi, Penghapusan direncanakan	ListModelVersionsOperator	Akan diumumkan
MLEngineDeleteVersionOperator	Tidak digunakan lagi, Penghapusan direncanakan	DeleteModelVersionOperator	Akan diumumkan
MLEngineStartTrainingJobOperator	Tidak digunakan lagi, Penghapusan direncanakan	CreateCustomPythonPackageTrainingJobOperator	Akan diumumkan
MLEngineTrainingCancelJobOperator	Tidak digunakan lagi, Penghapusan direncanakan	CancelCustomTrainingJobOperator	Akan diumumkan
LifeSciencesRunPipelineOperator	Tidak digunakan lagi, Penghapusan direncanakan	Operator Batch Google Cloud	Akan diumumkan
MLEngineCreateModelOperator	Tidak digunakan lagi, Penghapusan direncanakan	operator VertexAI yang sesuai	Akan diumumkan