Membuat repositori Dataform

Dokumen ini menunjukkan cara membuat repositori, menetapkan dan mengedit akun layanan repositori, serta menghapus repositori di Dataform.

Saat membuat repositori Dataform, Anda perlu menetapkan setelan repositori berikut:

ID Repositori
ID unik repositori. ID hanya dapat berisi angka, huruf, tanda hubung, dan garis bawah.
Region

Region dataform untuk menyimpan repositori dan kontennya.

Region penyimpanan ini dapat berbeda dengan region pemrosesan tempat Dataform memproses kode Anda dan menyimpan output eksekusi. Secara default, region pemrosesan ditetapkan ke region set data BigQuery default Anda. Anda dapat mengedit region pemrosesan dalam file dataform.json setelah membuat repositori. Untuk mengetahui informasi selengkapnya, lihat Mengonfigurasi setelan Formulir data.

Akun layanan

Akun layanan yang terkait dengan repositori. Anda dapat memilih akun layanan Formulir data default, akun layanan yang terkait dengan project Google Cloud, atau memasukkan akun layanan yang berbeda secara manual. Secara default, Dataform menggunakan akun layanan yang berasal dari nomor project Anda dalam format berikut:

service-YOUR_PROJECT_NUMBER@gcp-sa-dataform.iam.gserviceaccount.com

Formulir data menggunakan akun layanan default untuk semua operasi repositori. Anda dapat menggunakan akun layanan yang berbeda untuk menjalankan alur kerja di repositori, tetapi akun layanan default masih digunakan untuk semua operasi repositori lainnya.

Enkripsi

Metode enkripsi untuk repositori. Anda dapat menggunakan enkripsi default atau menerapkan kunci enkripsi Cloud KMS yang dikelola pelanggan. Untuk informasi selengkapnya tentang penggunaan kunci enkripsi yang dikelola pelanggan (Customer-Managed Encryption Key/CMEK) di Dataform, lihat Menggunakan kunci enkripsi yang dikelola pelanggan.

Setelah membuat repositori, Anda dapat menghubungkan ke GitHub atau GitLab.

Sebelum memulai

  1. Login ke akun Google Cloud Anda. Jika Anda baru menggunakan Google Cloud, buat akun untuk mengevaluasi performa produk kami dalam skenario dunia nyata. Pelanggan baru juga mendapatkan kredit gratis senilai $300 untuk menjalankan, menguji, dan men-deploy workload.
  2. Di konsol Google Cloud, pada halaman pemilih project, pilih atau buat project Google Cloud.

    Buka pemilih project

  3. Pastikan penagihan telah diaktifkan untuk project Google Cloud Anda.

  4. Aktifkan API BigQuery and Dataform.

    Mengaktifkan API

  5. Di konsol Google Cloud, pada halaman pemilih project, pilih atau buat project Google Cloud.

    Buka pemilih project

  6. Pastikan penagihan telah diaktifkan untuk project Google Cloud Anda.

  7. Aktifkan API BigQuery and Dataform.

    Mengaktifkan API

  8. Agar dapat menggunakan enkripsi CMEK untuk repositori, aktifkan enkripsi CMEK repositori Dataform.

Peran yang diperlukan

Untuk mendapatkan izin yang Anda perlukan untuk membuat dan menghapus repositori, minta administrator untuk memberi Anda peran IAM Admin Dataform (roles/dataform.admin) di repositori. Untuk mengetahui informasi selengkapnya tentang cara memberikan peran, lihat Mengelola akses.

Anda mungkin juga bisa mendapatkan izin yang diperlukan melalui peran khusus atau peran bawaan lainnya.

Untuk menggunakan akun layanan selain akun layanan Dataform default, berikan akses ke akun layanan kustom.

Membuat repositori

Untuk membuat repositori Dataform, ikuti langkah-langkah berikut:

  1. Di konsol Google Cloud, buka halaman Dataform.

    Buka Dataform

  2. Klik Buat repositori.

  3. Di halaman Create repository, di kolom Repository ID, masukkan ID unik.

    ID hanya dapat berisi angka, huruf, tanda hubung, dan garis bawah.

  4. Di menu drop-down Region, pilih region Dataform untuk menyimpan repositori dan kontennya. Pilih Region Dataform yang terdekat dengan lokasi Anda.

    Untuk daftar region Dataform yang tersedia, lihat Lokasi. Region repositori tidak harus sama dengan lokasi set data BigQuery Anda.

    Dalam file dataform.json, Anda dapat menetapkan region pemrosesan tempat Dataform memproses kode dan menyimpan output eksekusi. Region pemrosesan harus cocok dengan lokasi set data BigQuery Anda, tetapi tidak perlu cocok dengan region repositori. Untuk mengetahui informasi selengkapnya, lihat Mengonfigurasi setelan Dataform.

  5. Di drop-down Service account, pilih akun layanan untuk repositori.

    Di menu drop-down, Anda dapat memilih akun layanan Dataform default atau akun layanan apa pun yang terkait dengan project Google Cloud yang dapat Anda akses. Perlu diingat bahwa akun layanan kustom hanya digunakan untuk eksekusi alur kerja. Semua operasi repositori lainnya masih dilakukan oleh akun layanan Dataform default.

    1. Opsional: Untuk memilih akun layanan yang tidak ditampilkan di menu drop-down, klik Masukkan secara manual, lalu masukkan ID akun layanan.
  6. Di bagian Enkripsi, pilih metode enkripsi untuk repositori.

    1. Untuk menggunakan enkripsi default, pilih opsi kunci enkripsi yang dikelola Google.
    2. Untuk menggunakan CMEK, pilih opsi Kunci enkripsi yang dikelola pelanggan (CMEK).

      1. Di menu drop-down Select a customer-managed key, pilih kunci CMEK untuk repositori.

    Untuk mengetahui informasi selengkapnya, lihat Batasan CMEK Dataform.

  7. Klik Buat, lalu klik Selesai.

Mengedit akun layanan

Anda dapat mengaitkan akun layanan kustom dengan repositori Dataform untuk eksekusi alur kerja. Semua operasi repositori lainnya masih dilakukan oleh akun layanan Dataform default.

Agar dapat mengedit akun layanan untuk repositori Dataform, ikuti langkah-langkah berikut:

  1. Di konsol Google Cloud, buka halaman Dataform.

    Buka Dataform

  2. Pilih repositori, lalu klik Settings.

  3. Di kolom Service account, klik Edit Service account.

  4. Di drop-down Service account, pilih akun layanan untuk repositori.

    Di menu drop-down, Anda dapat memilih akun layanan Dataform default atau akun layanan apa pun yang terkait dengan project Google Cloud yang dapat Anda akses.

    1. Opsional: Untuk memilih akun layanan yang tidak ditampilkan di menu drop-down, klik Masukkan secara manual, lalu masukkan ID akun layanan.
  5. Klik Save.

Menghapus repositori

Untuk menghapus repositori dan semua kontennya, ikuti langkah-langkah berikut:

  1. Di konsol Google Cloud, buka halaman Dataform.

    Buka Dataform

  2. Pada repositori yang ingin Anda hapus, klik menu More , lalu pilih Delete.

  3. Di jendela Delete repository, masukkan nama repositori untuk mengonfirmasi penghapusan.

  4. Klik Delete.

Langkah selanjutnya