Dataflow - Tugas Membuat Tugas

Tugas Dataflow - Buat Tugas memungkinkan Anda membuat tugas di Cloud Dataflow untuk menjalankan pipeline data yang dibangun menggunakan salah satu Apache Beam SDK.

Cloud Dataflow adalah layanan Google Cloud yang terkelola sepenuhnya untuk menjalankan pipeline pemrosesan data aliran dan Batch.

Sebelum memulai

Pastikan Anda melakukan tugas berikut di project Google Cloud sebelum mengonfigurasi tugas Dataflow - Membuat Tugas:

  1. Mengaktifkan Dataflow API (dataflow.googleapis.com).

    Mengaktifkan Dataflow API

  2. Buat profil autentikasi. Apigee Integration menggunakan profil autentikasi untuk terhubung ke endpoint autentikasi untuk tugas Dataflow - Create Job.

    Untuk mengetahui informasi tentang cara memberikan peran atau izin tambahan ke akun layanan, lihat Memberikan, mengubah, dan mencabut akses.

Mengonfigurasi tugas Dataflow - Membuat Tugas

  1. Di UI Apigee, pilih Organisasi Apigee Anda.
  2. Klik Develop > Integrasi.
  3. Pilih integrasi yang ada atau buat integrasi baru dengan mengklik Buat Integrasi.

    Jika Anda membuat integrasi baru:

    1. Masukkan nama dan deskripsi dalam dialog Create Integration.
    2. Pilih Region untuk integrasi dari daftar wilayah yang didukung.
    3. Klik Create.

    Tindakan ini akan membuka integrasi di desainer integrasi.

  4. Di menu navigasi desainer integrasi, klik +Tambahkan tugas/pemicu > Tasks untuk melihat daftar tugas yang tersedia.
  5. Klik dan tempatkan elemen Dataflow - Create Job di desainer integrasi.
  6. Klik elemen Dataflow - Create Job pada desainer untuk melihat panel konfigurasi tugas Dataflow - Create Job.
  7. Buka Authentication, lalu pilih profil autentikasi yang sudah ada dan ingin Anda gunakan.

    Opsional. Jika Anda belum membuat profil autentikasi sebelum mengonfigurasi tugas, klik + New authentication profile, lalu ikuti langkah-langkah seperti yang disebutkan dalam Membuat profil autentikasi baru.

  8. Buka Input Tugas, dan konfigurasikan kolom input yang ditampilkan menggunakan tabel Parameter input tugas berikut.

    Perubahan pada kolom input disimpan secara otomatis.

Parameter input tugas

Tabel berikut menjelaskan parameter input tugas Dataflow - Membuat Tugas:

Properti Jenis data Deskripsi
Wilayah String Lokasi Cloud Dataflow untuk tugas.
ProjectsId String ID Project Google Cloud Anda.
Lokasi String Endpoint regional yang berisi tugas ini.
Permintaan JSON Lihat meminta struktur JSON.

Output tugas

Tugas Dataflow - Create Job menampilkan instance Job yang baru dibuat.

Strategi penanganan error

Strategi penanganan error untuk tugas menentukan tindakan yang akan diambil jika tugas gagal karena error sementara. Untuk informasi tentang cara menggunakan strategi penanganan error, dan mengetahui berbagai jenis strategi penanganan error, lihat Strategi penanganan error.

Langkah selanjutnya

  1. Tambahkan kondisi edge dan edge.
  2. Uji dan publikasikan integrasi Anda.
  3. Konfigurasi pemicu.
  4. Tambahkan tugas Pemetaan Data.
  5. Lihat semua tugas untuk layanan Google Cloud.