Alur kerja menggunakan Cloud Functions

Tujuan:

1. Buat template alur kerja Dataproc yang menjalankan tugas jumlah kata
2. Buat fungsi Cloud node.js untuk memicu alur kerja jumlah kata saat file ditambahkan ke Cloud Storage

Alur kerja adalah "latihan dan lupakan". Jika tidak ada pengecualian saat fungsi yang memicu alur kerja dikirim, Dataproc akan mengeksekusi alur kerja hingga selesai. Anda tidak perlu menunggu penyelesaian alur kerja dalam fungsi pemicu.

Catatan: Karena fungsi ini dipicu dengan menambahkan file baru ke bucket di Cloud Storage, dan karena biner jumlah kata membuat dan menghasilkan file baru ke Cloud Storage, tutorial ini menggunakan bucket input dan output terpisah.

Sebelum memulai

Jika Anda belum melakukannya, siapkan project Google Cloud dan dua (2) bucket Cloud Storage.

Menyiapkan project

1. Login ke akun Google Cloud Anda. Jika Anda baru menggunakan Google Cloud, buat akun untuk mengevaluasi performa produk kami dalam skenario dunia nyata. Pelanggan baru juga mendapatkan kredit gratis senilai $300 untuk menjalankan, menguji, dan men-deploy workload.

2. Di konsol Google Cloud, pada halaman pemilih project, pilih atau buat project Google Cloud.

   Catatan: Jika tidak berencana untuk menyimpan resource yang Anda buat dalam prosedur ini, buatlah project, bukan memilih project yang ada. Setelah menyelesaikan langkah ini, Anda dapat menghapus project, yang menghapus semua resource yang terkait dengan project ini.

   Buka pemilih project

3. Pastikan penagihan telah diaktifkan untuk project Google Cloud Anda.

4. Enable the Dataproc, Compute Engine, Cloud Storage, and Cloud Functions APIs.

   Enable the APIs

5. Menginstal Google Cloud CLI.

6. Untuk initialize gcloud CLI, jalankan perintah berikut:

   gcloud init

7. Di konsol Google Cloud, pada halaman pemilih project, pilih atau buat project Google Cloud.

   Catatan: Jika tidak berencana untuk menyimpan resource yang Anda buat dalam prosedur ini, buatlah project, bukan memilih project yang ada. Setelah menyelesaikan langkah ini, Anda dapat menghapus project, yang menghapus semua resource yang terkait dengan project ini.

   Buka pemilih project

8. Pastikan penagihan telah diaktifkan untuk project Google Cloud Anda.

9. Enable the Dataproc, Compute Engine, Cloud Storage, and Cloud Functions APIs.

   Enable the APIs

10. Menginstal Google Cloud CLI.

11. Untuk initialize gcloud CLI, jalankan perintah berikut:

    gcloud init

Membuat atau menggunakan dua (2) bucket Cloud Storage di project Anda

Anda akan memerlukan dua bucket Cloud Storage dalam project: satu untuk file input, dan satu lagi untuk output.

1. Di Konsol Google Cloud, buka halaman Bucket Cloud Storage.

   Buka halaman Bucket

2. Klik Buat bucket.
3. Di halaman Buat bucket, masukkan informasi bucket Anda. Untuk melanjutkan ke langkah berikutnya, klik Lanjutkan.
   • Untuk Beri nama bucket, masukkan nama yang memenuhi persyaratan penamaan bucket.
   • Untuk Pilih tempat untuk menyimpan data, lakukan tindakan berikut:
     • Pilih opsi Jenis lokasi.
     • Pilih opsi Lokasi.
   • Untuk Memilih kelas penyimpanan default untuk data Anda, pilih kelas penyimpanan.
   • Untuk Memilih cara mengontrol akses ke objek, pilih opsi Kontrol akses.
   • Untuk Setelan lanjutan (opsional), tentukan metode enkripsi, kebijakan retensi, atau label bucket.
4. Klik Buat.

Buat template alur kerja.

Salin dan jalankan perintah yang tercantum di bawah di jendela terminal lokal atau di Cloud Shell untuk membuat dan menentukan template alur kerja.

Catatan:

• Perintah tersebut menentukan region "us-central1". Anda dapat menentukan wilayah yang berbeda atau menghapus tanda --region jika sebelumnya telah menjalankan gcloud config set compute/region untuk menetapkan properti wilayah.
• Urutan "-- " (spasi tanda hubung) meneruskan argumen ke file jar. Perintah wordcount input_bucket output_dir akan menjalankan aplikasi jumlah kata jar pada file teks yang terdapat dalam input_bucket Cloud Storage, lalu menghasilkan file jumlah kata ke output_bucket. Anda akan membuat parameter argumen bucket input jumlah kata agar fungsi dapat menyediakan argumen ini.

1. Buat template alur kerja.

   gcloud dataproc workflow-templates create wordcount-template \
       --region=us-central1
   

2. Tambahkan tugas jumlah kata ke template alur kerja.
   1. Tentukan output-bucket-name sebelum menjalankan perintah (fungsi Anda akan menyediakan bucket input). Setelah Anda menyisipkan nama-bucket output, argumen bucket output akan terbaca sebagai berikut: gs://your-output-bucket/wordcount-output".
   2. ID langkah "count" diperlukan, dan mengidentifikasi tugas hasoop yang ditambahkan.

   gcloud dataproc workflow-templates add-job hadoop \
       --workflow-template=wordcount-template \
       --step-id=count \
       --jar=file:///usr/lib/hadoop-mapreduce/hadoop-mapreduce-examples.jar \
       --region=us-central1 \
       -- wordcount gs://input-bucket gs://output-bucket-name/wordcount-output
   

3. Gunakan cluster node tunggal terkelola untuk menjalankan alur kerja. Dataproc akan membuat cluster, menjalankan alur kerja di dalamnya, lalu menghapus cluster saat alur kerja selesai.

   gcloud dataproc workflow-templates set-managed-cluster wordcount-template \
       --cluster-name=wordcount \
       --single-node \
       --region=us-central1
   

4. Klik nama wordcount-template di halaman Workflows Dataproc di konsol Google Cloud untuk membuka halaman Workflow template details. Konfirmasi atribut template jumlah kata.

   

Buat parameter template alur kerja.

Lakukan parameterisasi variabel bucket input untuk diteruskan ke template alur kerja.

1. Ekspor template alur kerja ke file teks wordcount.yaml untuk parameterisasi.

   gcloud dataproc workflow-templates export wordcount-template \
       --destination=wordcount.yaml \
       --region=us-central1
   

2. Dengan menggunakan editor teks, buka wordcount.yaml, lalu tambahkan blok parameters ke akhir file YAML agar INPUT_BUCKET_URI Cloud Storage dapat diteruskan sebagai args[1] ke biner jumlah kata saat alur kerja dipicu.

   Contoh file YAML yang diekspor ditampilkan di bawah ini. Anda dapat menggunakan salah satu dari dua pendekatan untuk memperbarui {i>template<i}:

   1. Salin, lalu tempel seluruh file untuk mengganti wordcount.yaml yang diekspor setelah mengganti your-output_bucket dengan nama bucket output Anda, ATAU
   2. Salin, lalu tempel bagian parameters saja ke akhir file wordcount.yaml yang diekspor.
   .

   jobs:
   - hadoopJob:
       args:
       - wordcount
       - gs://input-bucket
       - gs://your-output-bucket/wordcount-output
       mainJarFileUri: file:///usr/lib/hadoop-mapreduce/hadoop-mapreduce-examples.jar
     stepId: count
   placement:
     managedCluster:
       clusterName: wordcount
       config:
         softwareConfig:
           properties:
             dataproc:dataproc.allow.zero.workers: 'true'
   parameters:
   - name: INPUT_BUCKET_URI
     description: wordcount input bucket URI
     fields:
     - jobs['count'].hadoopJob.args[1]
   

3. Impor file teks wordcount.yaml berparameter. Ketik 'Y' saat diminta untuk menimpa template.

   gcloud dataproc workflow-templates import  wordcount-template \
       --source=wordcount.yaml \
       --region=us-central1
   

Membuat fungsi Cloud

1. Buka halaman Cloud Functions di Konsol Google Cloud, lalu klik CREATE FUNCTION.

2. Di halaman Buat fungsi, masukkan atau pilih informasi berikut:

   1. Nama: jumlah kata
   2. Memory allocated: Tetap gunakan pilihan default.
   3. Pemicu:
      • Cloud Storage
      • Jenis Peristiwa: Selesaikan/Buat
      • Bucket: Pilih bucket input Anda (lihat Membuat bucket Cloud Storage di project). Saat file ditambahkan ke bucket ini, fungsi tersebut akan memicu alur kerja. Alur kerja akan menjalankan aplikasi wordcount, yang akan memproses semua file teks di bucket.

   4. Kode sumber:

      • Editor inline
      • Runtime: Node.js 8
      • Tab INDEX.JS: Ganti cuplikan kode default dengan kode berikut, lalu edit baris const projectId untuk menyediakan -your-project-id- (tanpa tanda "-") di awal atau akhir.

      const dataproc = require('@google-cloud/dataproc').v1;
      
      exports.startWorkflow = (data) => {
       const projectId = '-your-project-id-'
       const region = 'us-central1'
       const workflowTemplate = 'wordcount-template'
      
      const client = new dataproc.WorkflowTemplateServiceClient({
         apiEndpoint: `${region}-dataproc.googleapis.com`,
      });
      
      const file = data;
      console.log("Event: ", file);
      
      const inputBucketUri = `gs://${file.bucket}/${file.name}`;
      
      const request = {
        name: client.projectRegionWorkflowTemplatePath(projectId, region, workflowTemplate),
        parameters: {"INPUT_BUCKET_URI": inputBucketUri}
      };
      
      client.instantiateWorkflowTemplate(request)
        .then(responses => {
          console.log("Launched Dataproc Workflow:", responses[1]);
        })
        .catch(err => {
          console.error(err);
        });
      };
      

      • Tab PACKAGE.JSON: Mengganti cuplikan kode default dengan kode berikut.

      {
        "name": "dataproc-workflow",
        "version": "1.0.0",
        "dependencies":{ "@google-cloud/dataproc": ">=1.0.0"}
      }
      

      • Fungsi untuk dieksekusi: Masukkan: "startWorkflow".

   5. Klik CREATE.

Menguji fungsi

1. Salin file publik rose.txt ke bucket Anda untuk memicu fungsi. Masukkan your-input-bucket-name (bucket yang digunakan untuk memicu fungsi Anda) dalam perintah.

   gsutil cp gs://pub/shakespeare/rose.txt gs://your-input-bucket-name
   

2. Tunggu 30 detik, lalu jalankan perintah berikut untuk memastikan bahwa fungsi berhasil diselesaikan.

   gcloud functions logs read wordcount
   

   ...
   Function execution took 1348 ms, finished with status: 'ok'
   

3. Untuk melihat log fungsi dari halaman daftar Functions di Konsol Google Cloud, klik nama fungsi wordcount, lalu klik VIEW LOGS di halaman Detail fungsi.

   

4. Anda dapat melihat folder wordcount-output di bucket output dari halaman Storage browser di Google Cloud Console.

   

   Catatan: Tugas jumlah kata akan gagal jika folder wordcount-output ada. Sebelum menjalankan kembali alur kerja dengan memicu kembali fungsi, hapus folder wordcount-output di bucket output Anda terlebih dahulu. .

5. Setelah alur kerja selesai, detail tugas akan tetap tersimpan di Google Cloud Console. Klik tugas count... yang tercantum di halaman Tugas Dataproc untuk melihat detail tugas alur kerja.

   

Pembersihan

Alur kerja dalam tutorial ini menghapus cluster terkelolanya saat alur kerja selesai. Untuk menghindari biaya berulang, Anda dapat menghapus resource lain yang terkait dengan tutorial ini.

Menghapus project

Perhatian: Menghapus project memiliki efek berikut:

• Semua hal dalam project akan dihapus. Jika menggunakan project yang sudah ada untuk tugas dalam dokumen ini, saat Anda menghapusnya, pekerjaan lain yang telah Anda lakukan dalam project tersebut juga akan terhapus.
• Project ID kustom hilang. Saat membuat project ini, Anda mungkin telah membuat project ID kustom yang ingin digunakan di masa mendatang. Untuk mempertahankan URL yang menggunakan project ID, seperti URL appspot.com, hapus resource yang dipilih di dalam project, bukan menghapus seluruh project.

Jika Anda berencana mempelajari berbagai arsitektur, tutorial, atau panduan memulai, menggunakan kembali project dapat membantu agar Anda tidak melampaui batas kuota project.

1. Di konsol Google Cloud, buka halaman Manage resource.

   Buka Manage resource

2. Pada daftar project, pilih project yang ingin Anda hapus, lalu klik Delete.
3. Pada dialog, ketik project ID, lalu klik Shut down untuk menghapus project.

Menghapus bucket Cloud Storage

1. Di konsol Google Cloud, buka halaman Buckets Cloud Storage.

   Buka Buckets

2. Klik kotak centang untuk bucket yang ingin Anda dihapus.
3. Untuk menghapus bucket, klik Hapus, lalu ikuti petunjuk.

Menghapus template alur kerja Anda

gcloud dataproc workflow-templates delete wordcount-template \
    --region=us-central1

Menghapus Cloud function Anda

Buka halaman Cloud Functions di Konsol Google Cloud, pilih kotak di sebelah kiri fungsi wordcount, lalu klik HAPUS.

Langkah selanjutnya

• Lihat Ringkasan Template Alur Kerja Dataproc
• Lihat Solusi penjadwalan alur kerja