Membuat repositori Dataform

Dokumen ini menunjukkan cara membuat repositori, menetapkan dan mengedit akun layanan repositori, serta menghapus repositori di Dataform.

Saat membuat repositori Dataform, Anda perlu menetapkan setelan repositori berikut:

ID Repositori

ID unik repositori. ID hanya dapat berisi angka, huruf, tanda hubung, dan garis bawah.

Region

Region dataform untuk menyimpan repositori dan kontennya.

Region penyimpanan ini dapat berbeda dengan region pemrosesan tempat Dataform memproses kode Anda dan menyimpan output eksekusi. Secara default, region pemrosesan ditetapkan ke region set data BigQuery default Anda. Anda dapat mengedit region pemrosesan dalam file dataform.json setelah membuat repositori. Untuk mengetahui informasi selengkapnya, lihat Mengonfigurasi setelan Formulir data.

Akun layanan

Akun layanan yang terkait dengan repositori. Anda dapat memilih akun layanan Formulir data default, akun layanan yang terkait dengan project Google Cloud, atau memasukkan akun layanan yang berbeda secara manual. Secara default, Dataform menggunakan akun layanan yang berasal dari nomor project Anda dalam format berikut:

[e-mail]

Formulir data menggunakan akun layanan default untuk semua operasi repositori. Anda dapat menggunakan akun layanan yang berbeda untuk menjalankan alur kerja di repositori, tetapi akun layanan default masih digunakan untuk semua operasi repositori lainnya.

Enkripsi

Metode enkripsi untuk repositori. Anda dapat menggunakan enkripsi default atau menerapkan kunci enkripsi Cloud KMS yang dikelola pelanggan. Untuk informasi selengkapnya tentang penggunaan kunci enkripsi yang dikelola pelanggan (Customer-Managed Encryption Key/CMEK) di Dataform, lihat Menggunakan kunci enkripsi yang dikelola pelanggan.

Setelah membuat repositori, Anda dapat menghubungkan ke GitHub atau GitLab.

Penting: Untuk membuat repositori Dataform yang terhubung ke repositori Git jarak jauh yang tidak diizinkan dalam kebijakan dataform.restrictGitRemotes, pertama-tama tambahkan repositori Git jarak jauh ke daftar allowedValues dalam kebijakan, lalu buat repositori Dataform baru dan hubungkan ke repositori jarak jauh. Untuk mengetahui informasi selengkapnya, lihat Membatasi repositori jarak jauh.

Sebelum memulai

1. Login ke akun Google Cloud Anda. Jika Anda baru menggunakan Google Cloud, buat akun untuk mengevaluasi performa produk kami dalam skenario dunia nyata. Pelanggan baru juga mendapatkan kredit gratis senilai $300 untuk menjalankan, menguji, dan men-deploy workload.

2. Di konsol Google Cloud, pada halaman pemilih project, pilih atau buat project Google Cloud.

   Catatan: Jika tidak berencana untuk menyimpan resource yang Anda buat dalam prosedur ini, buatlah project, bukan memilih project yang ada. Setelah menyelesaikan langkah ini, Anda dapat menghapus project, yang menghapus semua resource yang terkait dengan project ini.

   Buka pemilih project

3. Pastikan penagihan telah diaktifkan untuk project Google Cloud Anda.

4. Aktifkan API BigQuery and Dataform.

   Mengaktifkan API

5. Di konsol Google Cloud, pada halaman pemilih project, pilih atau buat project Google Cloud.

   Catatan: Jika tidak berencana untuk menyimpan resource yang Anda buat dalam prosedur ini, buatlah project, bukan memilih project yang ada. Setelah menyelesaikan langkah ini, Anda dapat menghapus project, yang menghapus semua resource yang terkait dengan project ini.

   Buka pemilih project

6. Pastikan penagihan telah diaktifkan untuk project Google Cloud Anda.

7. Aktifkan API BigQuery and Dataform.

   Mengaktifkan API

8. Agar dapat menggunakan enkripsi CMEK untuk repositori, aktifkan enkripsi CMEK repositori Dataform.

Penting: Sebelum membuat repositori Dataform yang ingin Anda hubungkan ke repositori Git jarak jauh, periksa apakah organisasi atau project Anda membatasi repositori Git jarak jauh dengan Kebijakan Organisasi dataform.restrictGitRemotes. Jika kebijakan ini diterapkan, pastikan bahwa repositori jarak jauh diizinkan sebelum Anda membuat repositori Dataform dan menghubungkannya ke repositori jarak jauh. Untuk mengetahui informasi selengkapnya, lihat Membatasi repositori jarak jauh

Peran yang diperlukan

Untuk mendapatkan izin yang Anda perlukan untuk membuat dan menghapus repositori, minta administrator untuk memberi Anda peran IAM Admin Dataform (roles/dataform.admin) di repositori. Untuk mengetahui informasi selengkapnya tentang cara memberikan peran, lihat Mengelola akses.

Anda mungkin juga bisa mendapatkan izin yang diperlukan melalui peran khusus atau peran bawaan lainnya.

Untuk menggunakan akun layanan selain akun layanan Dataform default, berikan akses ke akun layanan kustom.

Catatan: Akun layanan kustom yang terkait dengan repositori Dataform hanya digunakan untuk menjalankan alur kerja repositori tersebut. Semua operasi repositori lainnya masih dilakukan oleh akun layanan Dataform default.

Membuat repositori

Untuk membuat repositori Dataform, ikuti langkah-langkah berikut:

1. Di konsol Google Cloud, buka halaman Dataform.

   Buka Dataform

2. Klik Buat repositori.

3. Di halaman Create repository, di kolom Repository ID, masukkan ID unik.

   ID hanya dapat berisi angka, huruf, tanda hubung, dan garis bawah.

4. Di menu drop-down Region, pilih region Dataform untuk menyimpan repositori dan kontennya. Pilih Region Dataform yang terdekat dengan lokasi Anda.

   Untuk daftar region Dataform yang tersedia, lihat Lokasi. Region repositori tidak harus sama dengan lokasi set data BigQuery Anda.

   Dalam file dataform.json, Anda dapat menetapkan region pemrosesan tempat Dataform memproses kode dan menyimpan output eksekusi. Region pemrosesan harus cocok dengan lokasi set data BigQuery Anda, tetapi tidak perlu cocok dengan region repositori. Untuk mengetahui informasi selengkapnya, lihat Mengonfigurasi setelan Dataform.

5. Di drop-down Service account, pilih akun layanan untuk repositori.

   Di menu drop-down, Anda dapat memilih akun layanan Dataform default atau akun layanan apa pun yang terkait dengan project Google Cloud yang dapat Anda akses. Perlu diingat bahwa akun layanan kustom hanya digunakan untuk eksekusi alur kerja. Semua operasi repositori lainnya masih dilakukan oleh akun layanan Dataform default.

   1. Opsional: Untuk memilih akun layanan yang tidak ditampilkan di menu drop-down, klik Masukkan secara manual, lalu masukkan ID akun layanan.

6. Di bagian Enkripsi, pilih metode enkripsi untuk repositori.

   1. Untuk menggunakan enkripsi default, pilih opsi kunci enkripsi yang dikelola Google.

   2. Untuk menggunakan CMEK, pilih opsi Kunci enkripsi yang dikelola pelanggan (CMEK).

      1. Di menu drop-down Select a customer-managed key, pilih kunci CMEK untuk repositori.
   Catatan: Anda tidak dapat mengubah mekanisme enkripsi repositori Dataform setelah repositori dibuat.

   Untuk mengetahui informasi selengkapnya, lihat Batasan CMEK Dataform.

7. Klik Buat, lalu klik Selesai.

Mengedit akun layanan

Anda dapat mengaitkan akun layanan kustom dengan repositori Dataform untuk eksekusi alur kerja. Semua operasi repositori lainnya masih dilakukan oleh akun layanan Dataform default.

Agar dapat mengedit akun layanan untuk repositori Dataform, ikuti langkah-langkah berikut:

1. Di konsol Google Cloud, buka halaman Dataform.

   Buka Dataform

2. Pilih repositori, lalu klik Settings.

3. Di kolom Service account, klik Edit Service account.

4. Di drop-down Service account, pilih akun layanan untuk repositori.

   Di menu drop-down, Anda dapat memilih akun layanan Dataform default atau akun layanan apa pun yang terkait dengan project Google Cloud yang dapat Anda akses.

   1. Opsional: Untuk memilih akun layanan yang tidak ditampilkan di menu drop-down, klik Masukkan secara manual, lalu masukkan ID akun layanan.

5. Klik Save.

Menghapus repositori

Untuk menghapus repositori dan semua kontennya, ikuti langkah-langkah berikut:

1. Di konsol Google Cloud, buka halaman Dataform.

   Buka Dataform

2. Pada repositori yang ingin Anda hapus, klik menu More , lalu pilih Delete.

3. Di jendela Delete repository, masukkan nama repositori untuk mengonfirmasi penghapusan.

4. Klik Delete.

Langkah selanjutnya

• Untuk mempelajari cara mengonfigurasi setelan Pemrosesan Formulir data, lihat Mengonfigurasi setelan Formulir data.

• Untuk mempelajari cara menautkan repositori Dataform ke penyedia Git pihak ketiga, lihat Menghubungkan ke repositori Git pihak ketiga.

• Untuk mempelajari penggunaan CMEK dalam Dataform, lihat Menggunakan kunci enkripsi yang dikelola pelanggan.

• Untuk mempelajari cara membuat ruang kerja pengembangan, lihat Membuat ruang kerja.