Sebelum memulai
Jika Anda belum melakukannya, siapkan project Google Cloud dan dua (2) bucket Cloud Storage.
Menyiapkan project
- Login ke akun Google Cloud Anda. Jika Anda baru menggunakan Google Cloud, buat akun untuk mengevaluasi performa produk kami dalam skenario dunia nyata. Pelanggan baru juga mendapatkan kredit gratis senilai $300 untuk menjalankan, menguji, dan men-deploy workload.
-
Di konsol Google Cloud, pada halaman pemilih project, pilih atau buat project Google Cloud.
-
Pastikan penagihan telah diaktifkan untuk project Google Cloud Anda.
-
Enable the Dataproc, Compute Engine, Cloud Storage, and Cloud Functions APIs.
- Menginstal Google Cloud CLI.
-
Untuk initialize gcloud CLI, jalankan perintah berikut:
gcloud init
-
Di konsol Google Cloud, pada halaman pemilih project, pilih atau buat project Google Cloud.
-
Pastikan penagihan telah diaktifkan untuk project Google Cloud Anda.
-
Enable the Dataproc, Compute Engine, Cloud Storage, and Cloud Functions APIs.
- Menginstal Google Cloud CLI.
-
Untuk initialize gcloud CLI, jalankan perintah berikut:
gcloud init
Membuat atau menggunakan dua (2) bucket Cloud Storage di project Anda
Anda akan memerlukan dua bucket Cloud Storage dalam project: satu untuk file input, dan satu lagi untuk output.
- Di Konsol Google Cloud, buka halaman Bucket Cloud Storage.
- Klik Buat bucket.
- Di halaman Buat bucket, masukkan informasi bucket Anda. Untuk melanjutkan ke
langkah berikutnya, klik Lanjutkan.
- Untuk Beri nama bucket, masukkan nama yang memenuhi persyaratan penamaan bucket.
-
Untuk Pilih tempat untuk menyimpan data, lakukan tindakan berikut:
- Pilih opsi Jenis lokasi.
- Pilih opsi Lokasi.
- Untuk Memilih kelas penyimpanan default untuk data Anda, pilih kelas penyimpanan.
- Untuk Memilih cara mengontrol akses ke objek, pilih opsi Kontrol akses.
- Untuk Setelan lanjutan (opsional), tentukan metode enkripsi, kebijakan retensi, atau label bucket.
- Klik Buat.
Buat template alur kerja.
Salin dan jalankan perintah yang tercantum di bawah di jendela terminal lokal atau di Cloud Shell untuk membuat dan menentukan template alur kerja.
Catatan:
- Perintah tersebut menentukan region "us-central1". Anda dapat menentukan wilayah yang berbeda atau menghapus tanda
--region
jika sebelumnya telah menjalankangcloud config set compute/region
untuk menetapkan properti wilayah. - Urutan "-- " (spasi tanda hubung) meneruskan argumen ke file jar.
Perintah
wordcount input_bucket output_dir
akan menjalankan aplikasi jumlah kata jar pada file teks yang terdapat dalaminput_bucket
Cloud Storage, lalu menghasilkan file jumlah kata keoutput_bucket
. Anda akan membuat parameter argumen bucket input jumlah kata agar fungsi dapat menyediakan argumen ini.
- Buat template alur kerja.
gcloud dataproc workflow-templates create wordcount-template \ --region=us-central1
- Tambahkan tugas jumlah kata ke template alur kerja.
-
Tentukan output-bucket-name sebelum menjalankan perintah (fungsi Anda akan menyediakan bucket input).
Setelah Anda menyisipkan nama-bucket output, argumen bucket output akan terbaca sebagai berikut:
gs://your-output-bucket/wordcount-output"
. - ID langkah "count" diperlukan, dan mengidentifikasi tugas hasoop yang ditambahkan.
gcloud dataproc workflow-templates add-job hadoop \ --workflow-template=wordcount-template \ --step-id=count \ --jar=file:///usr/lib/hadoop-mapreduce/hadoop-mapreduce-examples.jar \ --region=us-central1 \ -- wordcount gs://input-bucket gs://output-bucket-name/wordcount-output
-
Tentukan output-bucket-name sebelum menjalankan perintah (fungsi Anda akan menyediakan bucket input).
Setelah Anda menyisipkan nama-bucket output, argumen bucket output akan terbaca sebagai berikut:
- Gunakan cluster
node tunggal
terkelola untuk menjalankan alur kerja. Dataproc akan membuat cluster, menjalankan alur kerja di dalamnya, lalu menghapus cluster saat alur kerja selesai.
gcloud dataproc workflow-templates set-managed-cluster wordcount-template \ --cluster-name=wordcount \ --single-node \ --region=us-central1
- Klik nama
wordcount-template
di halaman Workflows Dataproc di konsol Google Cloud untuk membuka halaman Workflow template details. Konfirmasi atribut template jumlah kata.
Buat parameter template alur kerja.
Lakukan parameterisasi variabel bucket input untuk diteruskan ke template alur kerja.
- Ekspor template alur kerja ke file teks
wordcount.yaml
untuk parameterisasi.gcloud dataproc workflow-templates export wordcount-template \ --destination=wordcount.yaml \ --region=us-central1
- Dengan menggunakan editor teks, buka
wordcount.yaml
, lalu tambahkan blokparameters
ke akhir file YAML agar INPUT_BUCKET_URI Cloud Storage dapat diteruskan sebagaiargs[1]
ke biner jumlah kata saat alur kerja dipicu.Contoh file YAML yang diekspor ditampilkan di bawah ini. Anda dapat menggunakan salah satu dari dua pendekatan untuk memperbarui {i>template<i}:
- Salin, lalu tempel seluruh file untuk mengganti
wordcount.yaml
yang diekspor setelah mengganti your-output_bucket dengan nama bucket output Anda, ATAU - Salin, lalu tempel bagian
parameters
saja ke akhir filewordcount.yaml
yang diekspor.
jobs: - hadoopJob: args: - wordcount - gs://input-bucket - gs://your-output-bucket/wordcount-output mainJarFileUri: file:///usr/lib/hadoop-mapreduce/hadoop-mapreduce-examples.jar stepId: count placement: managedCluster: clusterName: wordcount config: softwareConfig: properties: dataproc:dataproc.allow.zero.workers: 'true' parameters: - name: INPUT_BUCKET_URI description: wordcount input bucket URI fields: - jobs['count'].hadoopJob.args[1]
- Salin, lalu tempel seluruh file untuk mengganti
- Impor file teks
wordcount.yaml
berparameter. Ketik 'Y' saat diminta untuk menimpa template.gcloud dataproc workflow-templates import wordcount-template \ --source=wordcount.yaml \ --region=us-central1
Membuat fungsi Cloud
Buka halaman Cloud Functions di Konsol Google Cloud, lalu klik CREATE FUNCTION.
Di halaman Buat fungsi, masukkan atau pilih informasi berikut:
- Nama: jumlah kata
- Memory allocated: Tetap gunakan pilihan default.
- Pemicu:
- Cloud Storage
- Jenis Peristiwa: Selesaikan/Buat
- Bucket: Pilih bucket input Anda (lihat Membuat bucket Cloud Storage di project). Saat file ditambahkan ke bucket ini, fungsi tersebut akan memicu alur kerja. Alur kerja akan menjalankan aplikasi wordcount, yang akan memproses semua file teks di bucket.
Kode sumber:
- Editor inline
- Runtime: Node.js 8
- Tab
INDEX.JS
: Ganti cuplikan kode default dengan kode berikut, lalu edit barisconst projectId
untuk menyediakan -your-project-id- (tanpa tanda "-") di awal atau akhir.
const dataproc = require('@google-cloud/dataproc').v1; exports.startWorkflow = (data) => { const projectId = '-your-project-id-' const region = 'us-central1' const workflowTemplate = 'wordcount-template' const client = new dataproc.WorkflowTemplateServiceClient({ apiEndpoint: `${region}-dataproc.googleapis.com`, }); const file = data; console.log("Event: ", file); const inputBucketUri = `gs://${file.bucket}/${file.name}`; const request = { name: client.projectRegionWorkflowTemplatePath(projectId, region, workflowTemplate), parameters: {"INPUT_BUCKET_URI": inputBucketUri} }; client.instantiateWorkflowTemplate(request) .then(responses => { console.log("Launched Dataproc Workflow:", responses[1]); }) .catch(err => { console.error(err); }); };
- Tab
PACKAGE.JSON
: Mengganti cuplikan kode default dengan kode berikut.
{ "name": "dataproc-workflow", "version": "1.0.0", "dependencies":{ "@google-cloud/dataproc": ">=1.0.0"} }
- Fungsi untuk dieksekusi: Masukkan: "startWorkflow".
Klik CREATE.
Menguji fungsi
Salin file publik
rose.txt
ke bucket Anda untuk memicu fungsi. Masukkan your-input-bucket-name (bucket yang digunakan untuk memicu fungsi Anda) dalam perintah.gsutil cp gs://pub/shakespeare/rose.txt gs://your-input-bucket-name
Tunggu 30 detik, lalu jalankan perintah berikut untuk memastikan bahwa fungsi berhasil diselesaikan.
gcloud functions logs read wordcount
... Function execution took 1348 ms, finished with status: 'ok'
Untuk melihat log fungsi dari halaman daftar Functions di Konsol Google Cloud, klik nama fungsi
wordcount
, lalu klik VIEW LOGS di halaman Detail fungsi.Anda dapat melihat folder
wordcount-output
di bucket output dari halaman Storage browser di Google Cloud Console.Setelah alur kerja selesai, detail tugas akan tetap tersimpan di Google Cloud Console. Klik tugas
count...
yang tercantum di halaman Tugas Dataproc untuk melihat detail tugas alur kerja.
Pembersihan
Alur kerja dalam tutorial ini menghapus cluster terkelolanya saat alur kerja selesai. Untuk menghindari biaya berulang, Anda dapat menghapus resource lain yang terkait dengan tutorial ini.
Menghapus project
- Di konsol Google Cloud, buka halaman Manage resource.
- Pada daftar project, pilih project yang ingin Anda hapus, lalu klik Delete.
- Pada dialog, ketik project ID, lalu klik Shut down untuk menghapus project.
Menghapus bucket Cloud Storage
- Di konsol Google Cloud, buka halaman Buckets Cloud Storage.
- Klik kotak centang untuk bucket yang ingin Anda dihapus.
- Untuk menghapus bucket, klik Hapus, lalu ikuti petunjuk.
Menghapus template alur kerja Anda
gcloud dataproc workflow-templates delete wordcount-template \ --region=us-central1
Menghapus Cloud function Anda
Buka halaman Cloud Functions di Konsol Google Cloud, pilih kotak di sebelah kiri fungsi wordcount
, lalu klik HAPUS.
Langkah selanjutnya