Langsung ke
Managed Service untuk Apache Airflow

Managed Service untuk Apache Airflow (sebelumnya Cloud Composer)

Layanan orkestrasi alur kerja terkelola sepenuhnya yang dibangun di Apache Airflow.

Pelanggan baru akan mendapatkan kredit gratis senilai $300 untuk dibelanjakan di Managed Service untuk Apache Airflow atau produk Google Cloud lainnya.

  • Membuat, menjadwalkan, dan memantau pipeline yang mencakup seluruh lingkungan hybrid dan multi-cloud

  • Dikembangkan dari project open source Apache Airflow dan dioperasikan menggunakan Python

  • Membebaskan Anda dari ketergantungan dan mudah digunakan

  • Dukungan baru untuk Apache Airflow 3 (dalam Pratinjau)

Manfaat

Orkestrasi alur kerja yang terkelola sepenuhnya

Karena sifatnya yang terkelola dan kompatibel dengan Airflow, Managed Service untuk Apache Airflow memungkinkan Anda berfokus pada pembuatan, penjadwalan, dan pemantauan alur kerja, bukan penyediaan resource.

Terintegrasi dengan produk Google Cloud lainnya

Integrasi end-to-end dengan produk Google Cloud yang meliputi BigQuery, Dataflow, Managed Service untuk Apache Spark, Datastore, Cloud Storage, dan Pub/Sub memberi pengguna kebebasan untuk mengorkestrasi pipeline mereka sepenuhnya.

Mendukung hybrid dan multi-cloud

Buat, jadwalkan, dan pantau alur kerja Anda dengan hanya satu alat orkestrasi, baik pipeline Anda berada di infrastruktur lokal, di beberapa cloud, maupun sepenuhnya dalam Google Cloud.

Fitur utama

Fitur utama

Hybrid dan multi-cloud

Mudahkan transisi ke cloud atau pertahankan lingkungan data hybrid dengan mengorkestrasi alur kerja yang tersebar di infrastruktur lokal dan cloud publik. Buat alur kerja yang menghubungkan data, pemrosesan, dan layanan di seluruh cloud, untuk menciptakan lingkungan data yang terpadu.

Open source

Managed Service untuk Apache Airflow membebaskan pengguna dari masalah lock-in dan portabilitas. Project open source yang juga didukung oleh Google ini membebaskan pelanggan dari masalah lock-in serta memberikan integrasi dengan berbagai platform, yang akan terus bertambah jumlahnya seiring pertumbuhan komunitas Airflow.

Orkestrasi mudah

Pipeline Managed Service untuk Apache Airflow dikonfigurasi sebagai directed acyclic graph (DAG) menggunakan Python, sehingga praktis bagi semua pengguna. Deployment sekali klik menghasilkan akses instan ke library lengkap yang memuat konektor dan berbagai representasi grafik dari penerapan alur kerja Anda, sehingga memudahkan pemecahan masalah. Sinkronisasi otomatis dari directed acyclic graph memastikan tugas Anda selesai sesuai jadwal.

Meningkatkan cara alur kerja data dibangun, dikelola, dan dipantau

Peningkatan utama mencakup pembuatan versi DAG untuk auditabilitas dan rollback yang penuh percaya diri, serta pengisian ulang yang dikelola penjadwal untuk pemrosesan ulang data historis yang lebih sederhana. Task Execution API & SDK baru membuka jalan bagi dukungan multi-bahasa dan lingkungan tugas terisolasi di masa mendatang. Pengguna mendapatkan manfaat dari UI berbasis Reaksi yang lebih cepat dan modern dengan navigasi yang lebih baik. Penjadwalan berbasis peristiwa yang direncanakan bertujuan untuk pipeline yang lebih reaktif dan mendekati real-time. Edge Executor mengoptimalkan eksekusi tugas jarak jauh, dan CLI terpisah (airflow/airflowctl) menawarkan pengalaman command line yang lebih jelas untuk pengembangan dan operasi.

Dokumentasi

Dokumentasi

Google Cloud Basics

Ringkasan Managed Service untuk Apache Airflow

Temukan ringkasan mengenai lingkungan Managed Service untuk Apache Airflow dan produk Google Cloud yang digunakan untuk deployment Apache Airflow.

Architecture

Menggunakan pipeline CI/CD untuk alur kerja pemrosesan data

Temukan cara menyiapkan pipeline continuous integration/continuous deployment (CI/CD) untuk memproses data dengan produk terkelola di Google Cloud.

Pattern

Lingkungan Managed Service untuk Apache Airflow IP Pribadi

Temukan informasi tentang cara menggunakan lingkungan Managed Service untuk Apache Airflow cloud IP pribadi.

Tutorial

Menulis DAG (alur kerja)

Pelajari cara menulis directed acyclic graph (DAG) Apache Airflow yang berjalan di lingkungan Managed Service untuk Apache Airflow.

Tutorial

Google Cloud Skills Boost: Data engineering on Google Cloud

Kelas berdurasi empat hari yang dipandu instruktur ini memberikan pengantar interaktif kepada peserta dalam mendesain dan membangun pipeline data di Google Cloud.

Tidak menemukan yang Anda cari?

Kasus penggunaan

Kasus penggunaan

Kasus penggunaan
Pelajari kasus penggunaan Managed Service untuk Apache Airflow
  • Orkestrasi pipeline data (ETL/ELT): Mengotomatiskan alur kerja data yang kompleks, termasuk tugas ekstraksi, transformasi, dan pemuatan (ETL/ELT), serta mengelola dependensi antar-tugas.
  • MLOps & alur kerja machine learning: Mengorkestrasi siklus proses ML end-to-end, mulai dari persiapan data dan pelatihan/evaluasi model hingga deployment dan pemantauan.
  • Otomatisasi business intelligence (BI): Menjadwalkan ekstraksi data untuk alat BI, mengotomatiskan pembuatan laporan, dan memperbarui dasbor.
  • Otomatisasi infrastruktur dan DevOps: Mengotomatiskan tugas infrastruktur cloud seperti penyediaan dan penghentian cluster, pengiriman tugas, dan pengelolaan proses rilis CI/CD.
  • Integrasi data hybrid dan multi-cloud: Mengoordinasikan alur data di berbagai sumber, termasuk penyedia cloud lain dan pusat data lokal, untuk membuat set data terpadu.

Semua fitur

Semua fitur

Multi-cloud

Buat alur kerja yang menghubungkan data, pemrosesan, dan layanan di seluruh cloud, untuk menciptakan lingkungan data yang terpadu.

Open source

Managed Service untuk Apache Airflow membebaskan pengguna dari masalah lock-in dan portabilitas.

Hybrid

Mudahkan transisi ke cloud atau pertahankan lingkungan data hybrid dengan mengorkestrasi alur kerja yang tersebar di infrastruktur lokal dan cloud publik.

Terintegrasi

Integrasi bawaan dengan BigQuery, Dataflow, Managed Service untuk Apache Spark, Datastore, Cloud Storage, Pub/Sub, dan lain-lain yang memungkinkan Anda mengorkestrasi workload Google Cloud secara menyeluruh.

Bahasa pemrograman Python

Manfaatkan kemampuan Python yang sudah ada untuk membuat dan menjadwalkan alur kerja secara dinamis dalam Managed Service untuk Apache Airflow.

Keandalan

Tingkatkan keandalan alur kerja Anda melalui diagram yang mudah digunakan untuk memantau dan mengatasi penyebab utama suatu masalah.

Terkelola sepenuhnya

Sifat Managed Service untuk Apache Airflow memungkinkan Anda berfokus pada pembuatan, penjadwalan, dan pemantauan alur kerja, bukan penyediaan resource.

Jaringan dan keamanan

Selama pembuatan lingkungan, Managed Service untuk Apache Airflow menyediakan opsi konfigurasi berikut: IP Pribadi, VPC Bersama, Kontrol Layanan VPC, dukungan enkripsi CMEK, dan lainnya.

Harga

Harga

Harga Managed Service untuk Apache Airflow dihitung sesuai penggunaan. Anda hanya membayar untuk layanan yang digunakan, yang diukur berdasarkan vCPU/jam, GB/bulan, dan GB yang ditransfer/bulan. Kami memiliki beberapa unit harga karena Managed Service untuk Apache Airflow menggunakan beberapa produk Google Cloud sebagai elemen penyusunnya.

Harga seragam di semua tingkat konsumsi dan penggunaan berkelanjutan. Untuk mengetahui informasi selengkapnya, lihat halaman harga.

Langkah selanjutnya

Mulailah membangun solusi di Google Cloud dengan kredit gratis senilai $300 dan lebih dari 20 produk yang selalu gratis.