Membuat pipeline data

Membuat pipeline data

Panduan memulai ini menunjukkan cara melakukan hal berikut:

1. Buat instance Cloud Data Fusion.
2. Deploy pipeline contoh yang disediakan dengan instance Cloud Data Fusion Anda. Pipeline ini melakukan hal berikut:
   1. Membaca file JSON yang berisi data buku terlaris NYT dari Cloud Storage.
   2. Menjalankan transformasi pada file untuk mengurai dan membersihkan data.
   3. Memuat buku dengan rating tertinggi yang ditambahkan dalam seminggu terakhir dan harganya kurang dari $25 ke BigQuery.

Sebelum memulai

Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

Enable the Cloud Data Fusion API.

Enable the API

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

Enable the Cloud Data Fusion API.

Enable the API

Membuat instance Cloud Data Fusion

1. Klik Create an instance.

   Buka Instances

2. Masukkan Nama instance.
3. Masukkan Deskripsi untuk instance Anda.
4. Masukkan Region tempat instance akan dibuat.
5. Pilih Versi Cloud Data Fusion yang akan digunakan.
6. Pilih Edisi Cloud Data Fusion.
7. Untuk Cloud Data Fusion versi 6.2.3 dan yang lebih baru, di kolom Authorization, pilih Dataproc service account yang akan digunakan untuk menjalankan pipeline Cloud Data Fusion di Dataproc. Nilai default, akun Compute Engine, sudah dipilih sebelumnya.
8. Klik Buat. Proses pembuatan instance memerlukan waktu hingga 30 menit. Saat Cloud Data Fusion membuat instance Anda, roda progres akan ditampilkan di samping nama instance di halaman Instances. Setelah selesai, ikon akan berubah menjadi tanda centang hijau dan menunjukkan bahwa Anda dapat mulai menggunakan instance.

Membuka antarmuka web Cloud Data Fusion

Saat menggunakan Cloud Data Fusion, Anda menggunakan konsol Google Cloud dan antarmuka web Cloud Data Fusion yang terpisah.

• Di konsol Google Cloud , Anda dapat melakukan hal berikut:

  • Buat project Google Cloud konsol
  • Membuat dan menghapus instance Cloud Data Fusion
  • Melihat detail instance Cloud Data Fusion

• Di antarmuka web Cloud Data Fusion, Anda dapat menggunakan berbagai halaman, seperti Studio atau Wrangler, untuk menggunakan fungsi Cloud Data Fusion.

Untuk membuka antarmuka Cloud Data Fusion, ikuti langkah-langkah berikut:

1. Di konsol Google Cloud , buka halaman Instances.

   Buka Instances

2. Di kolom Actions instance, klik link View Instance.
3. Di antarmuka web Cloud Data Fusion, gunakan panel navigasi kiri untuk membuka halaman yang Anda butuhkan.

Men-deploy pipeline contoh

Pipeline contoh tersedia melalui Hub Cloud Data Fusion, yang memungkinkan Anda membagikan pipeline, plugin, dan solusi Cloud Data Fusion yang dapat digunakan kembali.

1. Di antarmuka web Cloud Data Fusion, klik Hub.
2. Di panel kiri, klik Pipelines.
3. Klik pipeline Cloud Data Fusion Quickstart.
4. Klik Buat.
5. Di panel konfigurasi Cloud Data Fusion Quickstart, klik Finish.

6. Klik Sesuaikan Pipeline.

   Representasi visual pipeline Anda akan muncul di halaman Studio, yang merupakan antarmuka grafis untuk mengembangkan pipeline integrasi data. Plugin pipeline yang tersedia tercantum di sebelah kiri, dan pipeline Anda ditampilkan di area kanvas utama. Anda dapat menjelajahi pipeline dengan menahan pointer di atas setiap node pipeline dan mengklik Properti. Menu properti untuk setiap node memungkinkan Anda melihat objek dan operasi yang terkait dengan node.

7. Di menu kanan atas, klik Deploy. Langkah ini mengirimkan pipeline ke Cloud Data Fusion. Anda akan menjalankan pipeline di bagian berikutnya dalam panduan memulai ini.

Melihat pipeline Anda

Pipeline yang di-deploy akan muncul di tampilan detail pipeline, tempat Anda dapat melakukan hal berikut:

• Lihat struktur dan konfigurasi pipeline.
• Jalankan pipeline secara manual atau siapkan jadwal atau pemicu.
• Lihat ringkasan eksekusi historis pipeline, termasuk waktu eksekusi, log, dan metrik.

Menjalankan pipeline

Di tampilan detail pipeline, klik Run untuk menjalankan pipeline.

Saat menjalankan pipeline, Cloud Data Fusion akan melakukan hal berikut:

1. Menyediakan cluster Dataproc efemeral
2. Menjalankan pipeline di cluster menggunakan Apache Spark
3. Menghapus cluster

Catatan: Saat pipeline bertransisi ke status Berjalan, Anda dapat memantau pembuatan dan penghapusan cluster Dataproc. Cluster ini hanya ada selama durasi pipeline.

Melihat hasil

Setelah beberapa menit, pipeline akan selesai. Status pipeline berubah menjadi Berhasil dan jumlah data yang diproses oleh setiap node ditampilkan.

1. Buka antarmuka web BigQuery.

2. Untuk melihat contoh hasil, buka set data DataFusionQuickstart di project Anda, klik tabel top_rated_inexpensive, lalu jalankan kueri sederhana. Contoh:

   SELECT * FROM PROJECT_ID.GCPQuickStart.top_rated_inexpensive LIMIT 10
   

   Ganti PROJECT_ID dengan project ID Anda.

Pembersihan

Agar akun Google Cloud Anda tidak dikenai biaya untuk resource yang digunakan pada halaman ini, ikuti langkah-langkah berikut.

1. Hapus set data BigQuery yang ditulis oleh pipeline Anda dalam panduan memulai ini.

2. Hapus instance Cloud Data Fusion.

   Catatan: Menghapus instance tidak akan menghapus data Anda di project.

3. Opsional: Hapus project.

Perhatian: Menghapus project memiliki efek berikut:
• Semua hal dalam project akan dihapus. Jika menggunakan project yang sudah ada untuk tugas dalam dokumen ini, saat Anda menghapusnya, pekerjaan lain yang telah Anda lakukan dalam project tersebut juga akan terhapus.
• Project ID kustom hilang. Saat membuat project ini, Anda mungkin telah membuat project ID kustom yang ingin digunakan di masa mendatang. Untuk mempertahankan URL yang menggunakan project ID, seperti URL appspot.com, hapus resource yang dipilih di dalam project, bukan menghapus seluruh project.
1. In the Google Cloud console, go to the Manage resources page.

   Go to Manage resources

2. In the project list, select the project that you want to delete, and then click Delete.
3. In the dialog, type the project ID, and then click Shut down to delete the project.

Langkah berikutnya

• Menyelesaikan tutorial Cloud Data Fusion
• Pelajari konsep Cloud Data Fusion