Alur kerja menggunakan fungsi Cloud Run

Sebelum memulai

Jika Anda belum melakukannya, siapkan project Google Cloud dan dua (2) bucket Cloud Storage.

Menyiapkan project

  1. Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.

  2. Di konsol Google Cloud, pada halaman pemilih project, pilih atau buat project Google Cloud.

    Buka pemilih project

  3. Make sure that billing is enabled for your Google Cloud project.

  4. Aktifkan API Dataproc, Compute Engine, Cloud Storage, and Cloud Run functions .

    Mengaktifkan API

  5. Install the Google Cloud CLI.

  6. To initialize the gcloud CLI, run the following command: 

    gcloud init

  7. Di konsol Google Cloud, pada halaman pemilih project, pilih atau buat project Google Cloud.

    Buka pemilih project

  8. Make sure that billing is enabled for your Google Cloud project.

  9. Aktifkan API Dataproc, Compute Engine, Cloud Storage, and Cloud Run functions .

    Mengaktifkan API

  10. Install the Google Cloud CLI.

  11. To initialize the gcloud CLI, run the following command: 

    gcloud init

Membuat atau menggunakan dua (2) bucket Cloud Storage di project Anda

Anda memerlukan dua bucket Cloud Storage dalam project: satu untuk file input, dan satu untuk output.

  1. Di Konsol Google Cloud, buka halaman Bucket Cloud Storage.

    Buka halaman Bucket

  2. Klik Buat bucket.
  3. Di halaman Buat bucket, masukkan informasi bucket Anda. Untuk melanjutkan ke langkah berikutnya, klik Lanjutkan.
    • Untuk Beri nama bucket, masukkan nama yang memenuhi persyaratan penamaan bucket.
    • Untuk Pilih tempat untuk menyimpan data, lakukan tindakan berikut:
      • Pilih opsi Jenis lokasi.
      • Pilih opsi Lokasi.
    • Untuk Memilih kelas penyimpanan default untuk data Anda, pilih kelas penyimpanan.
    • Untuk Memilih cara mengontrol akses ke objek, pilih opsi Kontrol akses.
    • Untuk Setelan lanjutan (opsional), tentukan metode enkripsi, kebijakan retensi, atau label bucket.
  4. Klik Buat.

Buat template alur kerja.

Salin dan jalankan perintah yang tercantum di bawah ini di jendela terminal lokal atau di Cloud Shell untuk membuat dan menentukan template alur kerja.

Catatan:

  • Perintah tersebut menentukan region "us-central1". Anda dapat menentukan region yang berbeda atau menghapus tanda --region jika sebelumnya telah menjalankan gcloud config set compute/region untuk menetapkan properti region.
  • Urutan "-- " (tanda hubung spasi hubung) meneruskan argumen ke file jar. Perintah wordcount input_bucket output_dir akan menjalankan aplikasi penghitungan kata jar pada file teks yang terdapat di input_bucket Cloud Storage, lalu menghasilkan file penghitungan kata ke output_bucket. Anda akan memparametrisasi argumen bucket input wordcount untuk memungkinkan fungsi Anda menyediakan argumen ini.

  1. Buat template alur kerja.

    gcloud dataproc workflow-templates create wordcount-template \
    --region=us-central1

  2. Tambahkan tugas penghitungan kata ke template alur kerja.
    1. Tentukan output-bucket-name sebelum menjalankan perintah (fungsi Anda akan menyediakan bucket input). Setelah Anda menyisipkan output-bucket-name, argumen bucket output akan dibaca sebagai berikut: gs://your-output-bucket/wordcount-output".
    2. ID langkah "count" diperlukan, dan mengidentifikasi tugas hadoop yang ditambahkan. 

    gcloud dataproc workflow-templates add-job hadoop \
    --workflow-template=wordcount-template \
    --step-id=count \
    --jar=file:///usr/lib/hadoop-mapreduce/hadoop-mapreduce-examples.jar \
    --region=us-central1 \
    -- wordcount gs://input-bucket gs://output-bucket-name/wordcount-output

  3. Gunakan cluster single-node terkelola untuk menjalankan alur kerja. Dataproc akan membuat cluster, menjalankan alur kerja di dalamnya, lalu menghapus cluster saat alur kerja selesai.

    gcloud dataproc workflow-templates set-managed-cluster wordcount-template \
    --cluster-name=wordcount \
    --single-node \
    --region=us-central1

  4. Klik nama wordcount-template di halaman Workflows Dataproc di konsol Google Cloud untuk membuka halaman Workflow template details. Konfirmasi atribut wordcount-template.

Buat parameter template alur kerja.

Buat parameter variabel bucket input untuk diteruskan ke template alur kerja.

  1. Ekspor template alur kerja ke file teks wordcount.yaml untuk parameterisasi. 
    gcloud dataproc workflow-templates export wordcount-template \
    --destination=wordcount.yaml \
    --region=us-central1
  2. Dengan menggunakan editor teks, buka wordcount.yaml, lalu tambahkan blok parameters ke akhir file YAML sehingga INPUT_BUCKET_URI Cloud Storage dapat diteruskan sebagai args[1] ke biner wordcount saat alur kerja dipicu.

    Contoh file YAML yang diekspor ditampilkan di bawah. Anda dapat menggunakan salah satu dari dua pendekatan untuk memperbarui template:

    1. Salin, lalu tempel seluruh file untuk mengganti wordcount.yaml yang diekspor setelah mengganti your-output_bucket dengan nama bucket output Anda, ATAU
    2. Salin, lalu tempelkan bagian parameters saja ke akhir file wordcount.yaml yang diekspor.
    . 
    jobs:
- hadoopJob:
    args:
    - wordcount
    - gs://input-bucket
    - gs://your-output-bucket/wordcount-output
    mainJarFileUri: file:///usr/lib/hadoop-mapreduce/hadoop-mapreduce-examples.jar
  stepId: count
placement:
  managedCluster:
    clusterName: wordcount
    config:
      softwareConfig:
        properties:
          dataproc:dataproc.allow.zero.workers: 'true'
parameters:
- name: INPUT_BUCKET_URI
  description: wordcount input bucket URI
  fields:
  - jobs['count'].hadoopJob.args[1]
  3. Impor file teks wordcount.yaml berparameter. Ketik 'Y'es saat diminta untuk menimpa template. 
    gcloud dataproc workflow-templates import  wordcount-template \
    --source=wordcount.yaml \
    --region=us-central1

Membuat Cloud Function

  1. Buka halaman fungsi Cloud Run di konsol Google Cloud, lalu klik CREATE FUNCTION.

  2. Di halaman Create function, masukkan atau pilih informasi berikut:

    1. Nama: wordcount
    2. Memori yang dialokasikan: Pertahankan pilihan default.
    3. Pemicu:
      • Cloud Storage
      • Jenis Peristiwa: Selesaikan/Buat
      • Bucket: Pilih bucket input Anda (lihat Membuat bucket Cloud Storage di project Anda). Saat file ditambahkan ke bucket ini, fungsi akan memicu alur kerja. Alur kerja akan menjalankan aplikasi penghitungan kata, yang akan memproses semua file teks dalam bucket.

    4. Kode sumber:

      • Editor inline
      • Runtime: Node.js 8
      • Tab INDEX.JS: Ganti cuplikan kode default dengan kode berikut, lalu edit baris const projectId untuk menyediakan -your-project-id- (tanpa "-" di awal atau di akhir).
      const dataproc = require('@google-cloud/dataproc').v1;

exports.startWorkflow = (data) => {
 const projectId = '-your-project-id-'
 const region = 'us-central1'
 const workflowTemplate = 'wordcount-template'

const client = new dataproc.WorkflowTemplateServiceClient({
   apiEndpoint: `${region}-dataproc.googleapis.com`,
});

const file = data;
console.log("Event: ", file);

const inputBucketUri = `gs://${file.bucket}/${file.name}`;

const request = {
  name: client.projectRegionWorkflowTemplatePath(projectId, region, workflowTemplate),
  parameters: {"INPUT_BUCKET_URI": inputBucketUri}
};

client.instantiateWorkflowTemplate(request)
  .then(responses => {
    console.log("Launched Dataproc Workflow:", responses[1]);
  })
  .catch(err => {
    console.error(err);
  });
};
      • Tab PACKAGE.JSON: Ganti cuplikan kode default dengan kode berikut.
      {
  "name": "dataproc-workflow",
  "version": "1.0.0",
  "dependencies":{ "@google-cloud/dataproc": ">=1.0.0"}
}
      • Fungsi yang akan dieksekusi: Sisipkan: "startWorkflow".

    5. Klik BUAT.

Menguji fungsi

  1. Salin file publik rose.txt ke bucket Anda untuk memicu fungsi. Sisipkan your-input-bucket-name (bucket yang digunakan untuk memicu fungsi Anda) dalam perintah. 

    gcloud storage cp gs://pub/shakespeare/rose.txt gs://your-input-bucket-name

  2. Tunggu 30 detik, lalu jalankan perintah berikut untuk memverifikasi bahwa fungsi berhasil selesai. 

    gcloud functions logs read wordcount

    ...
Function execution took 1348 ms, finished with status: 'ok'

  3. Untuk melihat log fungsi dari halaman daftar Functions di konsol Google Cloud, klik nama fungsi wordcount, lalu klik LIHAT LOG di halaman Detail fungsi.

  4. Anda dapat melihat folder wordcount-output di bucket output dari halaman Storage browser di konsol Google Cloud.

  5. Setelah alur kerja selesai, detail tugas akan tetap ada di konsol Google Cloud. Klik tugas count... yang tercantum di halaman Tugas Dataproc untuk melihat detail tugas alur kerja.

Pembersihan

Alur kerja dalam tutorial ini akan menghapus cluster terkelolanya saat alur kerja selesai. Untuk menghindari biaya berulang, Anda dapat menghapus resource lain yang terkait dengan tutorial ini.

Menghapus project

  1. Di konsol Google Cloud, buka halaman Manage resource.

    Buka Manage resource

  2. Pada daftar project, pilih project yang ingin Anda hapus, lalu klik Delete.
  3. Pada dialog, ketik project ID, lalu klik Shut down untuk menghapus project.

Menghapus bucket Cloud Storage

  1. Di konsol Google Cloud, buka halaman Buckets Cloud Storage.

    Buka Buckets

  2. Klik kotak centang untuk bucket yang ingin Anda dihapus.
  3. Untuk menghapus bucket, klik Hapus, lalu ikuti petunjuk.

Menghapus template alur kerja

gcloud dataproc workflow-templates delete wordcount-template \
    --region=us-central1

Menghapus Cloud Function

Buka halaman fungsi Cloud Run di konsol Google Cloud, pilih kotak di sebelah kiri fungsi wordcount, lalu klik HAPUS.

Langkah selanjutnya