Menjalankan pipeline menggunakan pembuat tugas

Menjalankan pipeline menggunakan pembuat tugas

Panduan memulai ini menunjukkan cara menjalankan tugas Dataflow menggunakan pembangun tugas Dataflow. Builder tugas adalah UI visual untuk mem-build dan menjalankan pipeline Dataflow di konsol Google Cloud, tanpa perlu menulis kode apa pun.

Dalam panduan memulai ini, Anda akan memuat contoh pipeline ke dalam pembuat tugas, menjalankan tugas, dan memverifikasi bahwa tugas tersebut membuat output.

Sebelum memulai

1. Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.

2. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

   Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

   Go to project selector

3. Make sure that billing is enabled for your Google Cloud project.

4. Enable the Dataflow, Compute Engine, Cloud Logging, Cloud Storage, Google Cloud Storage JSON, and Resource Manager APIs.

   Enable the APIs

5. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

   Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

   Go to project selector

6. Make sure that billing is enabled for your Google Cloud project.

7. Enable the Dataflow, Compute Engine, Cloud Logging, Cloud Storage, Google Cloud Storage JSON, and Resource Manager APIs.

   Enable the APIs

8. Membuat bucket Cloud Storage:
1. In the Google Cloud console, go to the Cloud Storage Buckets page.

   Go to Buckets page

2. Click Create bucket.
3. On the Create a bucket page, enter your bucket information. To go to the next step, click Continue.
   • For Name your bucket, enter a unique bucket name. Don't include sensitive information in the bucket name, because the bucket namespace is global and publicly visible.
   • For Choose where to store your data, do the following:
     • Select a Location type option.
     • Select a Location option.
   • For Choose a default storage class for your data, select the following: Standard.
   • For Choose how to control access to objects, select an Access control option.
   • For Advanced settings (optional), specify an encryption method, a retention policy, or bucket labels.
4. Click Create.

9. Untuk menyelesaikan langkah-langkah dalam panduan memulai ini, akun pengguna Anda harus memiliki peran Admin Dataflow dan peran Pengguna Akun Layanan. Akun layanan default Compute Engine harus memiliki peran Dataflow Worker. Untuk menambahkan peran yang diperlukan di konsol Google Cloud:

   1. Buka halaman IAM.
      Buka IAM
   2. Pilih project Anda.
   3. Di baris yang berisi akun pengguna Anda, klik Edit akun utama
   4. Klik Tambahkan peran lain, lalu di menu drop-down, pilih Dataflow Admin.
   5. Klik Tambahkan peran lainnya, lalu di menu drop-down, pilih Pengguna Akun Layanan.
   6. Klik Simpan.
   7. Pada baris yang berisi akun layanan default Compute Engine, klik Edit principal.
   8. Klik Tambahkan peran lain, lalu di menu drop-down, pilih Dataflow Worker.
   9. Klik Tambahkan peran lain, lalu di menu drop-down, pilih Storage Object Admin.

   10. Klik Simpan.

       Untuk mengetahui informasi selengkapnya tentang cara memberikan peran, lihat Memberikan peran IAM menggunakan konsol.

10. Secara default, setiap project baru dimulai dengan jaringan default. Jika jaringan default untuk project Anda dinonaktifkan atau dihapus, Anda harus memiliki jaringan di project yang akun penggunanya memiliki peran Compute Network User (roles/compute.networkUser).

Memuat contoh pipeline

Pada langkah ini, Anda akan memuat contoh pipeline yang menghitung kata dalam King Lear Shakespeare.

1. Buka halaman Jobs di konsol Google Cloud.

   Buka Tugas

2. Klik Create job from template.

3. Klik Pembuat tugas.

4. Klik Muat.

5. Klik Jumlah Kata. Builder tugas diisi dengan representasi grafik pipeline.

Untuk setiap langkah pipeline, pembuat tugas menampilkan kartu yang menentukan parameter konfigurasi untuk langkah tersebut. Misalnya, langkah pertama membaca file teks dari Cloud Storage. Lokasi data sumber diisi otomatis di kotak Text location.

Menetapkan lokasi output

Pada langkah ini, Anda menentukan bucket Cloud Storage tempat pipeline menulis output.

1. Temukan kartu yang berjudul Sink baru. Anda mungkin perlu men-scroll.

2. Di kotak Text location, klik Browse.

3. Pilih nama bucket Cloud Storage yang Anda buat di bagian Sebelum memulai.

4. Klik Lihat resource turunan.

5. Di kotak Nama File, masukkan words.

6. Klik Pilih.

Menjalankan tugas

Klik Run job. Builder tugas membuat tugas Dataflow, lalu membuka grafik tugas. Saat tugas dimulai, grafik tugas akan menampilkan representasi grafis pipeline, mirip dengan yang ditampilkan di pembuat tugas. Saat setiap langkah pipeline berjalan, status akan diperbarui di grafik tugas.

Panel Info tugas menampilkan status keseluruhan tugas. Jika tugas berhasil selesai, kolom Status tugas akan diperbarui menjadi Succeeded.

Memeriksa output tugas

Setelah tugas selesai, lakukan langkah-langkah berikut untuk melihat output dari pipeline:

1. Di konsol Google Cloud, buka halaman Bucket Cloud Storage.

   Buka Buckets

2. Dalam daftar bucket, klik nama bucket yang Anda buat di bagian Sebelum memulai.

3. Klik file bernama words-00000-of-00001.

4. Di halaman Object details, klik URL yang diautentikasi untuk melihat output pipeline.

Output-nya akan terlihat seperti berikut:

brother: 20
deeper: 1
wrinkles: 1
'alack: 1
territory: 1
dismiss'd: 1
[....]

Pembersihan

Agar akun Google Cloud Anda tidak dikenai biaya untuk resource yang digunakan di halaman ini, ikuti langkah-langkah berikut.

Menghapus project

Cara termudah untuk menghilangkan penagihan adalah dengan menghapus project Google Cloud yang Anda buat untuk panduan memulai.

Perhatian: Menghapus project memiliki efek berikut:

• Semua hal dalam project akan dihapus. Jika menggunakan project yang sudah ada untuk tugas dalam dokumen ini, saat Anda menghapusnya, pekerjaan lain yang telah Anda lakukan dalam project tersebut juga akan terhapus.
• Project ID kustom hilang. Saat membuat project ini, Anda mungkin telah membuat project ID kustom yang ingin digunakan di masa mendatang. Untuk mempertahankan URL yang menggunakan project ID, seperti URL appspot.com, hapus resource yang dipilih di dalam project, bukan menghapus seluruh project.

Jika Anda berencana mempelajari beberapa arsitektur, tutorial atau panduan memulai, dengan menggunakan kembali project dapat membantu Anda agar tidak melampaui batas kuota project.

1. In the Google Cloud console, go to the Manage resources page.

   Go to Manage resources

2. In the project list, select the project that you want to delete, and then click Delete.
3. In the dialog, type the project ID, and then click Shut down to delete the project.

Menghapus resource satu per satu

Jika Anda ingin mempertahankan project Google Cloud yang digunakan dalam panduan memulai ini, hapus bucket Cloud Storage:

1. In the Google Cloud console, go to the Cloud Storage Buckets page.

   Go to Buckets

2. Click the checkbox for the bucket that you want to delete.
3. To delete the bucket, click Delete, and then follow the instructions.

Langkah berikutnya

• Gunakan pembuat tugas untuk membuat pipeline.
• Baca tentang model pemrograman Apache Beam.