Membuat pipeline data

Panduan memulai ini menunjukkan cara melakukan hal-hal berikut:

  1. Membuat instance Cloud Data Fusion.
  2. Deploy contoh pipeline yang disediakan dengan instance Cloud Data Fusion Anda. Pipeline melakukan hal berikut:
    1. Membaca file JSON yang berisi data terlaris NYT dari Cloud Storage.
    2. Menjalankan transformasi pada file untuk mengurai dan membersihkan data.
    3. Memuat buku dengan rating teratas yang ditambahkan pada minggu lalu dengan harga kurang dari $25 di BigQuery.

Sebelum memulai

  1. Login ke akun Google Cloud Anda. Jika Anda baru menggunakan Google Cloud, buat akun untuk mengevaluasi performa produk kami dalam skenario dunia nyata. Pelanggan baru juga mendapatkan kredit gratis senilai $300 untuk menjalankan, menguji, dan men-deploy workload.

  2. Di konsol Google Cloud, pada halaman pemilih project, pilih atau buat project Google Cloud.

    Buka pemilih project

  3. Enable the Cloud Data Fusion API.

    Enable the API

    4.

  4. Di konsol Google Cloud, pada halaman pemilih project, pilih atau buat project Google Cloud.

    Buka pemilih project

  5. Enable the Cloud Data Fusion API.

    Enable the API

    6.

Membuat instance Cloud Data Fusion

  1. Klik Create an instance.

    Buka Instance

  2. Masukkan Nama instance.
  3. Masukkan Deskripsi untuk instance Anda.
  4. Masukkan Region untuk membuat instance.
  5. Pilih Versi Cloud Data Fusion yang akan digunakan.
  6. Pilih Edisi Cloud Data Fusion.
  7. Untuk Cloud Data Fusion versi 6.2.3 dan yang lebih baru, di kolom Authorization, pilih akun layanan Dataproc yang akan digunakan untuk menjalankan pipeline Cloud Data Fusion di Dataproc. Nilai default, akun Compute Engine, sudah dipilih sebelumnya.
  8. Klik Create. Perlu waktu hingga 30 menit untuk menyelesaikan proses pembuatan instance. Saat Cloud Data Fusion membuat instance Anda, roda progres akan ditampilkan di samping nama instance pada halaman Instance. Setelah selesai, instance akan berubah menjadi tanda centang hijau dan menunjukkan bahwa Anda dapat mulai menggunakan instance tersebut.

Saat menggunakan Cloud Data Fusion, Anda menggunakan Konsol Google Cloud dan antarmuka web Cloud Data Fusion yang terpisah.

  • Di konsol Google Cloud, Anda dapat melakukan hal berikut:

    • Membuat project konsol Google Cloud
    • Membuat dan menghapus instance Cloud Data Fusion
    • Melihat detail instance Cloud Data Fusion

  • Dalam antarmuka web Cloud Data Fusion, Anda dapat menggunakan berbagai halaman, seperti Studio atau Wrangler, untuk menggunakan fungsi Cloud Data Fusion.

Untuk membuka antarmuka Cloud Data Fusion, ikuti langkah-langkah berikut:

  1. Di konsol Google Cloud, buka halaman Instances.

    Buka Instance

  2. Di kolom Tindakan instance, klik link Lihat Instance.
  3. Di antarmuka web Cloud Data Fusion, gunakan panel navigasi sebelah kiri untuk membuka halaman yang Anda butuhkan.

Men-deploy contoh pipeline

Contoh pipeline tersedia melalui Hub Cloud Data Fusion, yang memungkinkan Anda berbagi pipeline, plugin, dan solusi Cloud Data Fusion yang dapat digunakan kembali.

  1. Pada antarmuka web Cloud Data Fusion, klik Hub.
  2. Di panel kiri, klik Pipelines.
  3. Klik pipeline Panduan Memulai Cloud Data Fusion.
  4. Klik Create.
  5. Di panel konfigurasi Panduan Memulai Cloud Data Fusion, klik Selesai.

  6. Klik Customize Pipeline.

    Representasi visual pipeline Anda ditampilkan di halaman Studio, yang merupakan antarmuka grafis untuk mengembangkan pipeline integrasi data. Plugin pipeline yang tersedia tercantum di sebelah kiri, dan pipeline Anda ditampilkan di area kanvas utama. Anda dapat mempelajari pipeline dengan mengarahkan kursor ke setiap node pipeline dan mengklik Properties. Menu properti untuk setiap node memungkinkan Anda melihat objek dan operasi yang terkait dengan node.

  7. Di menu kanan atas, klik Deploy. Langkah ini akan mengirimkan pipeline ke Cloud Data Fusion. Anda akan menjalankan pipeline di bagian berikutnya dalam panduan memulai ini.

Men-deploy pipeline

Melihat pipeline Anda

Pipeline yang di-deploy akan muncul di tampilan detail pipeline, tempat Anda dapat melakukan hal berikut:

  • Melihat struktur dan konfigurasi pipeline.
  • Jalankan pipeline secara manual atau siapkan jadwal atau pemicu.
  • Melihat ringkasan histori operasi pipeline, termasuk waktu eksekusi, log, dan metrik.

Menyalin akun layanan

Menjalankan pipeline Anda

Di tampilan detail pipeline, klik Jalankan untuk menjalankan pipeline Anda.

Menjalankan pipeline

Saat menjalankan pipeline, Cloud Data Fusion melakukan hal berikut:

  1. Menyediakan cluster Dataproc efemeral
  2. Menjalankan pipeline pada cluster menggunakan Apache Spark
  3. Menghapus cluster

Melihat hasil

Setelah beberapa menit, pipeline selesai. Status pipeline akan berubah menjadi Succeeded dan jumlah data yang diproses oleh setiap node akan ditampilkan.

Operasi pipeline selesai

  1. Buka antarmuka web BigQuery.

  2. Untuk melihat contoh hasil, buka set data DataFusionQuickstart di project Anda, klik tabel top_rated_inexpensive, lalu jalankan kueri sederhana. Contoh:

    SELECT * FROM PROJECT_ID.GCPQuickStart.top_rated_inexpensive LIMIT 10

    Ganti PROJECT_ID dengan project ID Anda.

Lihat hasil

Pembersihan

Agar akun Google Cloud Anda tidak dikenakan biaya untuk resource yang digunakan pada halaman ini, ikuti langkah-langkah berikut.

  1. Hapus set data BigQuery yang ditulis oleh pipeline Anda di panduan memulai ini.

  2. Hapus instance Cloud Data Fusion.

  3. Opsional: Hapus project.

  1. Di konsol Google Cloud, buka halaman Manage resource.

    Buka Manage resource

  2. Pada daftar project, pilih project yang ingin Anda hapus, lalu klik Delete.
  3. Pada dialog, ketik project ID, lalu klik Shut down untuk menghapus project.

Langkah selanjutnya