Alur kerja menggunakan fungsi Cloud Run

Sebelum memulai

Jika Anda belum melakukannya, siapkan project Google Cloud dan dua (2) bucket Cloud Storage.

Menyiapkan project

  1. Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.

  2. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Go to project selector

  3. Make sure that billing is enabled for your Google Cloud project.

  4. Enable the Dataproc, Compute Engine, Cloud Storage, and Cloud Run functions APIs.

    Enable the APIs

  5. Install the Google Cloud CLI.

  6. To initialize the gcloud CLI, run the following command: 

    gcloud init

  7. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Go to project selector

  8. Make sure that billing is enabled for your Google Cloud project.

  9. Enable the Dataproc, Compute Engine, Cloud Storage, and Cloud Run functions APIs.

    Enable the APIs

  10. Install the Google Cloud CLI.

  11. To initialize the gcloud CLI, run the following command: 

    gcloud init

Membuat atau menggunakan dua (2) bucket Cloud Storage di project Anda

Anda memerlukan dua bucket Cloud Storage dalam project: satu untuk file input, dan satu untuk output.

  1. In the Google Cloud console, go to the Cloud Storage Buckets page.

    Go to Buckets page

  2. Click Create bucket.
  3. On the Create a bucket page, enter your bucket information. To go to the next step, click Continue.
    • For Name your bucket, enter a name that meets the bucket naming requirements.
    • For Choose where to store your data, do the following:
      • Select a Location type option.
      • Select a Location option.
    • For Choose a default storage class for your data, select a storage class.
    • For Choose how to control access to objects, select an Access control option.
    • For Advanced settings (optional), specify an encryption method, a retention policy, or bucket labels.
  4. Click Create.

Buat template alur kerja.

Salin dan jalankan perintah yang tercantum di bawah ini di jendela terminal lokal atau di Cloud Shell untuk membuat dan menentukan template alur kerja.

Catatan:

  • Perintah tersebut menentukan region "us-central1". Anda dapat menentukan region yang berbeda atau menghapus tanda --region jika sebelumnya telah menjalankan gcloud config set compute/region untuk menetapkan properti region.
  • Urutan "-- " (tanda hubung spasi hubung) meneruskan argumen ke file jar. Perintah wordcount input_bucket output_dir akan menjalankan aplikasi penghitungan kata jar pada file teks yang terdapat di input_bucket Cloud Storage, lalu menghasilkan file penghitungan kata ke output_bucket. Anda akan memparametrisasi argumen bucket input jumlah kata untuk memungkinkan fungsi Anda menyediakan argumen ini.

  1. Buat template alur kerja.

    gcloud dataproc workflow-templates create wordcount-template \
    --region=us-central1

  2. Tambahkan tugas penghitungan kata ke template alur kerja.
    1. Tentukan output-bucket-name sebelum menjalankan perintah (fungsi Anda akan menyediakan bucket input). Setelah Anda menyisipkan output-bucket-name, argumen bucket output akan dibaca sebagai berikut: gs://your-output-bucket/wordcount-output".
    2. ID langkah "count" diperlukan, dan mengidentifikasi tugas hadoop yang ditambahkan. 

    gcloud dataproc workflow-templates add-job hadoop \
    --workflow-template=wordcount-template \
    --step-id=count \
    --jar=file:///usr/lib/hadoop-mapreduce/hadoop-mapreduce-examples.jar \
    --region=us-central1 \
    -- wordcount gs://input-bucket gs://output-bucket-name/wordcount-output

  3. Gunakan cluster single-node terkelola untuk menjalankan alur kerja. Dataproc akan membuat cluster, menjalankan alur kerja di dalamnya, lalu menghapus cluster saat alur kerja selesai.

    gcloud dataproc workflow-templates set-managed-cluster wordcount-template \
    --cluster-name=wordcount \
    --single-node \
    --region=us-central1

  4. Klik nama wordcount-template di halaman Workflows Dataproc di konsol Google Cloud untuk membuka halaman Workflow template details. Konfirmasi atribut wordcount-template.

Buat parameter template alur kerja.

Buat parameter variabel bucket input untuk diteruskan ke template alur kerja.

  1. Ekspor template alur kerja ke file teks wordcount.yaml untuk parameterisasi. 
    gcloud dataproc workflow-templates export wordcount-template \
    --destination=wordcount.yaml \
    --region=us-central1
  2. Dengan menggunakan editor teks, buka wordcount.yaml, lalu tambahkan blok parameters ke akhir file YAML sehingga INPUT_BUCKET_URI Cloud Storage dapat diteruskan sebagai args[1] ke biner wordcount saat alur kerja dipicu.

    Contoh file YAML yang diekspor ditampilkan di bawah. Anda dapat menggunakan salah satu dari dua pendekatan untuk memperbarui template:

    1. Salin, lalu tempel seluruh file untuk mengganti wordcount.yaml yang diekspor setelah mengganti your-output_bucket dengan nama bucket output Anda, ATAU
    2. Salin, lalu tempelkan bagian parameters saja ke akhir file wordcount.yaml yang diekspor.
    . 
    jobs:
- hadoopJob:
    args:
    - wordcount
    - gs://input-bucket
    - gs://your-output-bucket/wordcount-output
    mainJarFileUri: file:///usr/lib/hadoop-mapreduce/hadoop-mapreduce-examples.jar
  stepId: count
placement:
  managedCluster:
    clusterName: wordcount
    config:
      softwareConfig:
        properties:
          dataproc:dataproc.allow.zero.workers: 'true'
parameters:
- name: INPUT_BUCKET_URI
  description: wordcount input bucket URI
  fields:
  - jobs['count'].hadoopJob.args[1]
  3. Impor file teks wordcount.yaml berparameter. Ketik 'Y'es saat diminta untuk menimpa template. 
    gcloud dataproc workflow-templates import  wordcount-template \
    --source=wordcount.yaml \
    --region=us-central1

Membuat Cloud Function

  1. Buka halaman fungsi Cloud Run di konsol Google Cloud, lalu klik CREATE FUNCTION.

  2. Di halaman Create function, masukkan atau pilih informasi berikut:

    1. Nama: wordcount
    2. Memori yang dialokasikan: Pertahankan pilihan default.
    3. Pemicu:
      • Cloud Storage
      • Jenis Peristiwa: Selesaikan/Buat
      • Bucket: Pilih bucket input Anda (lihat Membuat bucket Cloud Storage di project Anda). Saat file ditambahkan ke bucket ini, fungsi akan memicu alur kerja. Alur kerja akan menjalankan aplikasi penghitungan kata, yang akan memproses semua file teks dalam bucket.

    4. Kode sumber:

      • Editor inline
      • Runtime: Node.js 8
      • Tab INDEX.JS: Ganti cuplikan kode default dengan kode berikut, lalu edit baris const projectId untuk menyediakan -your-project-id- (tanpa "-" di awal atau di akhir).
      const dataproc = require('@google-cloud/dataproc').v1;

exports.startWorkflow = (data) => {
 const projectId = '-your-project-id-'
 const region = 'us-central1'
 const workflowTemplate = 'wordcount-template'

const client = new dataproc.WorkflowTemplateServiceClient({
   apiEndpoint: `${region}-dataproc.googleapis.com`,
});

const file = data;
console.log("Event: ", file);

const inputBucketUri = `gs://${file.bucket}/${file.name}`;

const request = {
  name: client.projectRegionWorkflowTemplatePath(projectId, region, workflowTemplate),
  parameters: {"INPUT_BUCKET_URI": inputBucketUri}
};

client.instantiateWorkflowTemplate(request)
  .then(responses => {
    console.log("Launched Dataproc Workflow:", responses[1]);
  })
  .catch(err => {
    console.error(err);
  });
};
      • Tab PACKAGE.JSON: Ganti cuplikan kode default dengan kode berikut.
      {
  "name": "dataproc-workflow",
  "version": "1.0.0",
  "dependencies":{ "@google-cloud/dataproc": ">=1.0.0"}
}
      • Fungsi yang akan dieksekusi: Sisipkan: "startWorkflow".

    5. Klik BUAT.

Menguji fungsi

  1. Salin file publik rose.txt ke bucket Anda untuk memicu fungsi. Sisipkan your-input-bucket-name (bucket yang digunakan untuk memicu fungsi Anda) dalam perintah. 

    gcloud storage cp gs://pub/shakespeare/rose.txt gs://your-input-bucket-name

  2. Tunggu 30 detik, lalu jalankan perintah berikut untuk memverifikasi bahwa fungsi berhasil selesai. 

    gcloud functions logs read wordcount

    ...
Function execution took 1348 ms, finished with status: 'ok'

  3. Untuk melihat log fungsi dari halaman daftar Functions di konsol Google Cloud, klik nama fungsi wordcount, lalu klik LIHAT LOG di halaman Detail fungsi.

  4. Anda dapat melihat folder wordcount-output di bucket output dari halaman Storage browser di konsol Google Cloud.

  5. Setelah alur kerja selesai, detail tugas akan tetap ada di konsol Google Cloud. Klik tugas count... yang tercantum di halaman Tugas Dataproc untuk melihat detail tugas alur kerja.

Pembersihan

Alur kerja dalam tutorial ini akan menghapus cluster terkelolanya saat alur kerja selesai. Untuk menghindari biaya berulang, Anda dapat menghapus resource lain yang terkait dengan tutorial ini.

Menghapus project

  1. In the Google Cloud console, go to the Manage resources page.

    Go to Manage resources

  2. In the project list, select the project that you want to delete, and then click Delete.
  3. In the dialog, type the project ID, and then click Shut down to delete the project.

Menghapus bucket Cloud Storage

  1. In the Google Cloud console, go to the Cloud Storage Buckets page.

    Go to Buckets

  2. Click the checkbox for the bucket that you want to delete.
  3. To delete the bucket, click Delete, and then follow the instructions.

Menghapus template alur kerja

gcloud dataproc workflow-templates delete wordcount-template \
    --region=us-central1

Menghapus Cloud Function

Buka halaman fungsi Cloud Run di konsol Google Cloud, pilih kotak di sebelah kiri fungsi wordcount, lalu klik HAPUS.

Langkah selanjutnya