Membuat pipeline

Dokumen ini menjelaskan cara membuat pipeline di BigQuery. Pipeline didukung oleh Dataform.

Sebelum memulai

Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

Verify that billing is enabled for your Google Cloud project.

Enable the BigQuery, Dataform, and Vertex AI APIs.

Enable the APIs

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

Verify that billing is enabled for your Google Cloud project.

Enable the BigQuery, Dataform, and Vertex AI APIs.

Enable the APIs

Peran yang diperlukan untuk pipeline

Untuk mendapatkan izin yang Anda perlukan untuk membuat pipeline, minta administrator Anda untuk memberi Anda peran IAM berikut di project:

• Untuk membuat pipeline: Pembuat Kode (roles/dataform.codeCreator)
• Untuk mengedit dan menjalankan pipeline: Editor Dataform (roles/dataform.editor)

Untuk mengetahui informasi selengkapnya tentang cara memberikan peran, lihat Mengelola akses ke project, folder, dan organisasi.

Anda mungkin juga bisa mendapatkan izin yang diperlukan melalui peran khusus atau peran bawaan lainnya.

Untuk mengetahui informasi selengkapnya tentang IAM Dataform, lihat Mengontrol akses dengan IAM.

Catatan: Saat Anda membuat pipeline, BigQuery akan memberi Anda peran Admin Dataform (roles/dataform.admin) khusus untuk pipeline tersebut. Tindakan ini memberi Anda akses pemilik untuk mengelola dan mengeditnya. Siapa pun yang diberi peran Admin Dataform di tingkat Google Cloud project akan memiliki akses pemilik ke semua pipeline dalam project tersebut.

Peran yang diperlukan untuk opsi notebook

Untuk mendapatkan izin yang diperlukan guna memilih template runtime di opsi notebook, minta administrator untuk memberi Anda peran IAM Notebook Runtime User (roles/aiplatform.notebookRuntimeUser) di project. Untuk mengetahui informasi selengkapnya tentang cara memberikan peran, lihat Mengelola akses ke project, folder, dan organisasi.

Anda mungkin juga bisa mendapatkan izin yang diperlukan melalui peran khusus atau peran bawaan lainnya.

Jika tidak memiliki peran ini, Anda dapat memilih spesifikasi runtime notebook default.

Menetapkan region default untuk aset kode

Jika ini adalah pertama kalinya Anda membuat aset kode, Anda harus menetapkan region default untuk aset kode. Anda tidak dapat mengubah region untuk aset kode setelah dibuat.

Catatan: Jika Anda membuat pipeline dan memilih region default yang berbeda dengan yang telah digunakan untuk aset kode, misalnya memilih us-west1 saat Anda menggunakan us-central1, maka pipeline tersebut dan semua aset kode yang Anda buat setelahnya akan menggunakan region baru tersebut secara default. Aset kode yang ada akan terus menggunakan region yang ditetapkan saat aset tersebut dibuat.

Semua aset kode di BigQuery Studio menggunakan region default yang sama. Untuk menetapkan region default untuk aset kode, ikuti langkah-langkah berikut:

1. Buka halaman BigQuery.

   Buka BigQuery

2. Di panel Explorer, temukan project yang aset kodenya telah Anda aktifkan.

3. Klik View actions di samping project, lalu klik Change my default code region.

4. Untuk Region, pilih region yang ingin Anda gunakan untuk aset kode.

5. Klik Pilih.

Untuk mengetahui daftar region tempat BigQuery Studio tersedia, lihat Lokasi BigQuery Studio.

Membuat pipeline

Untuk membuat pipeline, ikuti langkah-langkah berikut:

1. Buka halaman BigQuery.

   Buka BigQuery

2. Di panel tab panel editor, klik panah di samping tanda +, lalu klik Pipeline.

3. Opsional: Untuk mengganti nama pipeline, klik nama pipeline, lalu ketik nama baru.

4. Klik Mulai, lalu buka tab Setelan.

5. Di bagian Authentication, pilih untuk mengizinkan pipeline dengan kredensial pengguna Akun Google Anda atau akun layanan.

   • Untuk menggunakan kredensial pengguna Akun Google Anda (Pratinjau), pilih Jalankan dengan kredensial pengguna saya.
   • Untuk menggunakan akun layanan, pilih Jalankan dengan akun layanan yang dipilih, lalu pilih akun layanan.

6. Di bagian Location, pilih region pemrosesan untuk pipeline.

   1. Untuk memilih region tertentu, pilih Region, lalu pilih region di menu Region.
   2. Untuk memilih multi-region, pilih Multi-region, lalu pilih multi-region di menu Multi-region.

   Wilayah pemrosesan pipeline tidak harus cocok dengan wilayah penyimpanan default Anda untuk aset kode.

Opsi notebook

1. Jika Anda berencana menambahkan notebook ke pipeline, lakukan hal berikut di bagian Opsi notebook:

   1. Di kolom template runtime, terima runtime notebook default, atau telusuri dan pilih runtime yang ada.

      • Untuk melihat spesifikasi runtime default, klik panah di sampingnya.
      • Untuk membuat runtime baru, lihat Membuat template runtime.
      Catatan: Template runtime notebook harus berada di region yang sama dengan pipeline yang menentukannya.

   2. Di kolom Cloud Storage bucket, klik Browse lalu pilih atau buat bucket Cloud Storage untuk menyimpan output notebook di pipeline Anda.

   3. Ikuti Menambahkan akun utama ke kebijakan tingkat bucket untuk menambahkan akun layanan Dataform kustom Anda sebagai akun utama ke bucket Cloud Storage yang akan Anda gunakan untuk menyimpan output dari jalur pipeline terjadwal, dan berikan peran Storage Admin (roles/storage.admin) ke akun utama ini.

      Akun layanan Dataform kustom yang dipilih harus diberi peran IAM Storage Admin di bucket yang dipilih.

Menambahkan tugas pipeline

Untuk menambahkan tugas ke pipeline, ikuti langkah-langkah berikut:

1. Di konsol Google Cloud , buka halaman BigQuery.

   Buka BigQuery

2. Di panel Explorer, luaskan project Anda dan folder Pipelines, lalu pilih pipeline.

3. Untuk menambahkan aset kode, seperti kueri SQL, notebook, atau penyiapan data, lakukan hal berikut:

   Kueri SQL

   1. Klik Add task, lalu pilih Query. Anda dapat membuat kueri baru atau mengimpor kueri yang sudah ada.

   2. Opsional: Di panel Query task details, di menu Run after, pilih tugas yang akan mendahului kueri Anda.

      Kueri Anda akan bergantung pada tugas sebelumnya.

   Membuat kueri baru

   1. Klik menu panah di samping Edit Query, lalu pilih In context atau In new tab.

   2. Telusuri kueri yang ada.

   3. Pilih nama kueri, lalu tekan Enter.

   4. Klik Simpan.

   5. Opsional: Untuk mengganti nama kueri, klik nama kueri di panel pipeline, klik Edit Kueri, klik nama kueri yang ada di bagian atas layar, lalu ketik nama baru.

   Mengimpor kueri yang ada

   1. Klik menu panah di samping Edit Kueri, lalu klik Impor salinan.

   2. Telusuri kueri yang ada untuk diimpor atau pilih kueri yang ada dari panel penelusuran. Saat Anda mengimpor kueri, kueri asli tidak berubah karena file sumber kueri disalin ke dalam pipeline.

   3. Klik Edit untuk membuka kueri yang diimpor.

   4. Klik Simpan.

   Notebook

   1. Klik Tambahkan tugas, lalu pilih Notebook. Anda dapat membuat notebook baru atau mengimpor notebook yang sudah ada. Untuk mengubah setelan template runtime notebook, lihat Opsi notebook.

   2. Opsional: Di panel Detail tugas notebook, di menu Jalankan setelah, pilih tugas yang akan mendahului notebook Anda.

      Notebook Anda akan bergantung pada tugas sebelumnya.

   Membuat notebook baru

   1. Klik menu panah di samping Edit Notebook, lalu pilih Dalam konteks atau Di tab baru.

   2. Telusuri notebook yang ada.

   3. Pilih nama notebook, lalu tekan Enter.

   4. Klik Simpan.

   5. Opsional: Untuk mengganti nama notebook, klik nama notebook di panel pipeline, klik Edit Notebook, klik nama notebook yang ada di bagian atas layar, lalu ketik nama baru.

   Mengimpor notebook yang ada

   1. Klik menu panah di samping Edit Notebook, lalu klik Impor salinan.

   2. Telusuri notebook yang ada untuk diimpor atau pilih notebook yang ada dari panel penelusuran. Saat Anda mengimpor notebook, notebook asli tidak berubah karena file sumber notebook disalin ke dalam pipeline.

   3. Untuk membuka notebook yang diimpor, klik Edit.

   4. Klik Simpan.

   Persiapan data

   1. Klik Tambahkan tugas, lalu pilih Penyiapan data. Anda dapat membuat penyiapan data baru atau mengimpor penyiapan data yang sudah ada.

   2. Opsional: Di panel Detail tugas penyiapan data, di menu Jalankan setelah, pilih tugas yang akan mendahului penyiapan data Anda.

      Persiapan data Anda akan bergantung pada tugas sebelumnya.

   Membuat persiapan data baru

   1. Klik menu panah di samping Edit Penyiapan data, lalu pilih Dalam konteks atau Di tab baru.

   2. Telusuri persiapan data yang ada.

   3. Pilih nama penyiapan data, lalu tekan enter.

   4. Klik Simpan.

   5. Opsional: Untuk mengganti nama penyiapan data, klik nama penyiapan data di panel pipeline, klik Edit Penyiapan data, klik nama di bagian atas layar, lalu masukkan nama baru.

   Mengimpor persiapan data yang ada

   1. Klik menu drop-down panah di samping Edit Penyiapan data, lalu klik Impor salinan.

   2. Telusuri persiapan data yang ada untuk diimpor atau pilih persiapan data yang ada dari panel penelusuran. Saat Anda mengimpor penyiapan data, penyiapan data asli tidak akan berubah karena file sumber penyiapan data disalin ke dalam pipeline.

   3. Untuk membuka penyiapan data yang diimpor, klik Edit.

   4. Klik Simpan.

Mengedit tugas pipeline

Untuk mengedit tugas pipeline, ikuti langkah-langkah berikut:

1. Di konsol Google Cloud , buka halaman BigQuery.

   Buka BigQuery

2. Di panel Explorer, luaskan project Anda dan folder Pipelines, lalu pilih pipeline.

3. Klik tugas yang dipilih.

4. Untuk mengubah tugas sebelumnya, di menu Run after, pilih tugas yang akan mendahului kueri atau notebook Anda.

5. Untuk mengedit konten tugas yang dipilih, klik Edit.

6. Di tab baru yang terbuka, edit konten tugas, lalu simpan perubahan pada tugas.

Menghapus tugas pipeline

Untuk menghapus tugas dari pipeline, ikuti langkah-langkah berikut:

1. Di konsol Google Cloud , buka halaman BigQuery.

   Buka BigQuery

2. Di panel Explorer, luaskan project Anda dan folder Pipelines, lalu pilih pipeline.

3. Klik tugas yang dipilih.

4. Di panel Detail tugas, klik ikon HapusHapus.

Membagikan pipeline

Catatan: Anda dapat membagikan pipeline, tetapi tidak dengan tugas dalam pipeline.

Untuk membagikan pipeline, ikuti langkah-langkah berikut:

1. Di konsol Google Cloud , buka halaman BigQuery.

   Buka BigQuery

2. Di panel Explorer, luaskan project Anda dan folder Pipelines, lalu pilih pipeline.

3. Klik Bagikan, lalu pilih Kelola izin.

4. Klik Tambahkan pengguna/grup.

5. Di kolom Akun utama baru, masukkan nama setidaknya satu pengguna atau grup.

6. Untuk Tetapkan Peran, pilih peran.

7. Klik Simpan.

Membagikan link ke pipeline

1. Di konsol Google Cloud , buka halaman BigQuery.

   Buka BigQuery

2. Di panel Explorer, luaskan project Anda dan folder Pipelines, lalu pilih pipeline.

3. Klik Bagikan, lalu pilih Bagikan link. URL untuk pipeline disalin ke papan klip komputer Anda.

Menjalankan pipeline

Untuk menjalankan versi pipeline saat ini secara manual, ikuti langkah-langkah berikut:

1. Di konsol Google Cloud , buka halaman BigQuery.

   Buka BigQuery

2. Di panel Explorer, luaskan project Anda dan folder Pipelines, lalu pilih pipeline.

3. Klik Run. Jika Anda memilih Jalankan dengan kredensial pengguna saya untuk autentikasi, Anda harus memberi otorisasi ke Akun Google Anda (Pratinjau).

4. Opsional: Untuk memeriksa proses, lihat proses manual sebelumnya.

Memberi otorisasi pada Akun Google Anda

Pratinjau

Produk atau fitur ini tunduk pada "Persyaratan Penawaran Pra-GA" di bagian Persyaratan Layanan Umum dari Persyaratan Khusus Layanan. Produk dan fitur pra-GA tersedia "sebagaimana adanya" dan mungkin memiliki dukungan terbatas. Untuk mengetahui informasi selengkapnya, lihat deskripsi tahap peluncuran.

Catatan: Untuk meminta dukungan atau memberikan masukan terkait fitur ini, hubungi [e-mail].

Untuk mengautentikasi resource dengan kredensial pengguna Akun Google Anda, Anda harus memberikan izin secara manual agar pipeline BigQuery mendapatkan token akses untuk Akun Google Anda dan mengakses data sumber atas nama Anda. Anda dapat memberikan persetujuan manual dengan antarmuka dialog OAuth.

Anda hanya perlu memberikan izin ke pipeline BigQuery satu kali.

Untuk mencabut izin yang Anda berikan, ikuti langkah-langkah berikut:

1. Buka halaman Akun Google Anda.
2. Klik BigQuery Pipelines.
3. Klik Hapus akses.
Peringatan: Mencabut izin akses akan mencegah proses pipeline di masa mendatang yang dimiliki Akun Google ini di semua region.

Jika pipeline Anda berisi notebook, Anda juga harus memberikan izin secara manual agar Colab Enterprise mendapatkan token akses untuk Akun Google Anda dan mengakses data sumber atas nama Anda. Anda hanya perlu memberikan izin satu kali. Anda dapat mencabut izin ini di halaman Akun Google.

Langkah berikutnya

• Pelajari lebih lanjut pipeline BigQuery.
• Pelajari cara mengelola pipeline.
• Pelajari cara menjadwalkan pipeline.