Lihat konektor yang didukung untuk Application Integration.

Dataflow - Buat tugas Tugas

Tugas Dataflow - Buat Tugas memungkinkan Anda membuat tugas di Cloud Dataflow untuk menjalankan pipeline data yang dibuat menggunakan salah satu Apache Beam SDK.

Cloud Dataflow adalah layanan Google Cloud yang terkelola sepenuhnya untuk menjalankan pipeline pemrosesan data Batch dan streaming.

Sebelum memulai

Pastikan Anda melakukan tugas berikut di project Google Cloud sebelum mengonfigurasi tugas Dataflow - Buat Tugas:

  1. Aktifkan Dataflow API (dataflow.googleapis.com).

    Mengaktifkan Dataflow API

  2. Buat profil autentikasi. Application Integration menggunakan profil autentikasi untuk terhubung ke endpoint autentikasi untuk tugas Dataflow - Create Job.

    Untuk informasi tentang memberikan peran atau izin tambahan ke akun layanan, lihat Memberikan, mengubah, dan mencabut akses.

Mengonfigurasi tugas Dataflow - Buat Tugas

  1. Di konsol Google Cloud, buka halaman Application Integration.

    Buka Application Integration

  2. Di menu navigasi, klik Integrasi.

    Halaman Integrations akan muncul dan mencantumkan semua integrasi yang tersedia di project Google Cloud.

  3. Pilih integrasi yang ada atau klik Buat integrasi untuk membuat integrasi baru.

    Jika Anda membuat integrasi baru:

    1. Masukkan nama dan deskripsi di panel Create Integration.
    2. Pilih region untuk integrasi.
    3. Pilih akun layanan untuk integrasi. Anda dapat mengubah atau memperbarui detail akun layanan integrasi kapan saja dari panel Integration summary di toolbar integrasi.
    4. Klik Create.

    Tindakan ini akan membuka integrasi di editor integrasi.

  4. Di menu navigasi editor integrasi, klik Tasks untuk melihat daftar tugas yang tersedia.
  5. Klik dan tempatkan elemen Dataflow - Create Job di editor integrasi.
  6. Klik elemen Dataflow - Create Job pada desainer untuk melihat panel konfigurasi tugas Dataflow - Create Job.
  7. Buka Authentication, lalu pilih profil autentikasi yang ada yang ingin Anda gunakan.

    Opsional. Jika Anda belum membuat profil autentikasi sebelum mengonfigurasi tugas, Klik + Profil autentikasi baru, lalu ikuti langkah-langkah yang disebutkan dalam Membuat profil autentikasi baru.

  8. Buka Input Tugas, dan konfigurasi kolom input yang ditampilkan menggunakan tabel Parameter input tugas berikut.

    Perubahan pada kolom input disimpan secara otomatis.

Parameter input tugas

Tabel berikut menjelaskan parameter input dari tugas Dataflow - Membuat Tugas:

Properti Jenis data Deskripsi
Region String Lokasi Cloud Dataflow untuk tugas.
ProjectsId String ID Project Google Cloud Anda.
Location String Endpoint regional yang berisi tugas ini.
Permintaan JSON Lihat meminta struktur JSON.

Output tugas

Tugas Dataflow - Membuat Tugas akan menampilkan instance Job yang baru dibuat.

Strategi penanganan error

Strategi penanganan error untuk tugas menentukan tindakan yang akan diambil jika tugas gagal karena error sementara. Untuk mendapatkan informasi tentang cara menggunakan strategi penanganan error, dan mengetahui berbagai jenis strategi penanganan error, lihat Strategi penanganan error.

Langkah selanjutnya

  1. Tambahkan kondisi tepi dan tepi.
  2. Uji dan publikasikan integrasi Anda.
  3. Mengonfigurasi pemicu.
  4. Tambahkan tugas Pemetaan Data.
  5. Lihat semua tugas untuk layanan Google Cloud.