Membuat repositori Dataform

Dokumen ini menunjukkan cara membuat repositori, menetapkan dan mengedit akun layanan repositori, serta menghapus repositori di Dataform.

Saat membuat repositori Dataform, Anda perlu menetapkan setelan repositori berikut:

ID Repositori

ID unik repositori. ID hanya boleh berisi angka, huruf, tanda hubung, dan garis bawah.

Wilayah

Region Dataform untuk menyimpan repositori dan kontennya.

Region penyimpanan ini dapat berbeda dengan region pemrosesan tempat Dataform memproses kode Anda dan menyimpan output eksekusi. Secara default, region pemrosesan ditetapkan ke region set data BigQuery default Anda. Anda dapat mengedit region pemrosesan di file setelan alur kerja setelah membuat repositori. Untuk informasi selengkapnya, lihat Mengonfigurasi setelan Dataform.

Akun layanan

Akun layanan yang terkait dengan repositori. Anda dapat memilih akun layanan Dataform default, akun layanan yang terkait dengan project Google Cloud, atau memasukkan akun layanan lain secara manual. Secara default, Dataform menggunakan akun layanan yang berasal dari nomor project Anda dalam format berikut:

[e-mail]

Dataform menggunakan akun layanan default untuk semua operasi repositori. Anda dapat menggunakan akun layanan lain untuk menjalankan alur kerja di repositori, tetapi akun layanan default masih digunakan untuk semua operasi repositori lainnya.

Enkripsi

Metode enkripsi untuk repositori. Anda dapat menggunakan enkripsi default, kunci enkripsi Cloud KMS unik yang dikelola pelanggan, atau kunci CMEK Dataform default. Untuk informasi selengkapnya tentang cara menggunakan kunci enkripsi yang dikelola pelanggan (CMEK) di Dataform, lihat Menggunakan kunci enkripsi yang dikelola pelanggan.

Setelah membuat repositori, Anda dapat menghubungkannya ke GitHub atau GitLab.

Penting: Untuk membuat repositori Dataform yang terhubung ke repositori Git jarak jauh yang tidak diizinkan dalam kebijakan dataform.restrictGitRemotes, tambahkan repositori Git jarak jauh ke daftar allowedValues dalam kebijakan terlebih dahulu, lalu buat repositori Dataform baru dan hubungkan ke repositori jarak jauh. Untuk mengetahui informasi selengkapnya, lihat Membatasi repositori jarak jauh.

Sebelum memulai

1. Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.

2. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

   Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

   Go to project selector

3. Make sure that billing is enabled for your Google Cloud project.

4. Enable the BigQuery and Dataform APIs.

   Enable the APIs

5. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

   Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

   Go to project selector

6. Make sure that billing is enabled for your Google Cloud project.

7. Enable the BigQuery and Dataform APIs.

   Enable the APIs

8. Untuk menggunakan enkripsi CMEK untuk repositori, aktifkan enkripsi CMEK repositori Dataform.

Penting: Sebelum membuat repositori Dataform yang ingin Anda hubungkan ke repositori Git jarak jauh, periksa apakah organisasi atau project Anda membatasi repositori Git jarak jauh dengan Kebijakan Organisasi dataform.restrictGitRemotes. Jika kebijakan diterapkan, pastikan repositori jarak jauh diizinkan sebelum Anda membuat repositori Dataform dan menghubungkannya ke repositori jarak jauh. Untuk informasi selengkapnya, lihat Membatasi repositori jarak jauh

Peran yang diperlukan

Untuk mendapatkan izin yang diperlukan guna membuat dan menghapus repositori, minta administrator untuk memberi Anda peran IAM Dataform Admin (roles/dataform.admin) di repositori. Untuk mengetahui informasi selengkapnya tentang cara memberikan peran, lihat Mengelola akses ke project, folder, dan organisasi.

Anda mungkin juga bisa mendapatkan izin yang diperlukan melalui peran khusus atau peran bawaan lainnya.

Untuk menggunakan akun layanan selain akun layanan Dataform default, berikan akses ke akun layanan kustom.

Catatan: Akun layanan kustom yang terkait dengan repositori Dataform hanya digunakan untuk menjalankan alur kerja repositori tersebut. Semua operasi repositori lainnya masih dilakukan oleh akun layanan Dataform default.

Setelah Anda membuat repositori Dataform, Dataform akan otomatis memberi Anda peran Admin Dataform di repositori tersebut.

Membuat repositori

Untuk membuat repositori Dataform, ikuti langkah-langkah berikut:

1. Di konsol Google Cloud, buka halaman Dataform.

   Buka Dataform

2. Klik Buat repositori.

3. Di halaman Create repository, di kolom Repository ID, masukkan ID unik.

   ID hanya boleh berisi angka, huruf, tanda hubung, dan garis bawah.

4. Di menu drop-down Region, pilih region Dataform untuk menyimpan repositori dan kontennya. Pilih region Dataform yang paling dekat dengan lokasi Anda.

   Untuk mengetahui daftar region Dataform yang tersedia, lihat Lokasi. Region repositori tidak harus cocok dengan lokasi set data BigQuery Anda.

   Dalam file workflow_settings.yaml, Anda dapat menetapkan region pemrosesan tempat Dataform memproses kode dan menyimpan output eksekusi. Region pemrosesan harus cocok dengan lokasi set data BigQuery, tetapi tidak perlu cocok dengan region repositori. Untuk informasi selengkapnya, lihat Mengonfigurasi setelan Dataform.

5. Di menu drop-down Service account, pilih akun layanan untuk repositori.

   Di menu drop-down, Anda dapat memilih akun layanan Dataform default atau akun layanan apa pun yang terkait dengan project Google Cloud yang Anda miliki aksesnya. Perhatikan bahwa akun layanan kustom hanya digunakan untuk eksekusi alur kerja. Semua operasi repositori lainnya masih dilakukan oleh akun layanan Dataform default.

   1. Opsional: Untuk memilih akun layanan yang tidak ditampilkan di drop-down, klik Masukkan secara manual, lalu masukkan ID akun layanan.

6. Konfigurasikan mekanisme enkripsi yang dipilih untuk repositori:

   Perhatian: Anda tidak dapat mengubah mekanisme enkripsi repositori Dataform setelah repositori dibuat. Untuk mengetahui informasi selengkapnya, lihat Pembatasan CMEK Dataform

   Kunci CMEK default

   Dataform menampilkan kotak centang Gunakan kunci KMS default dan memilihnya secara default.

   • Untuk mengenkripsi repositori dengan kunci CMEK Dataform default, biarkan kotak centang Gunakan kunci KMS default dicentang.

   Perhatian: Jika Anda memilih kotak centang Use the default KMS key, tetapi tidak ada kunci CMEK Dataform default yang ditetapkan untuk project Anda, Dataform akan menerapkan enkripsi dalam penyimpanan ke repositori. Gunakan kunci enkripsi yang dikelola pelanggan.

   Kunci CMEK unik

   Untuk mengenkripsi repositori dengan kunci CMEK unik, lakukan hal berikut:

   1. Jika kotak centang Gunakan kunci KMS default dipilih secara default, batalkan pilihan kotak centang tersebut.
   2. Di bagian Enkripsi, pilih opsi Kunci enkripsi yang dikelola pelanggan (CMEK).
   3. Di drop-down Select a customer-managed key, pilih kunci CMEK yang unik.

   Enkripsi dalam penyimpanan

   • Untuk menggunakan enkripsi default, di bagian Encryption, pilih opsi Google managed encryption key.

   Perhatian: Jika kunci CMEK Dataform default ditetapkan untuk wilayah repositori, Anda harus menggunakan enkripsi CMEK. Jangan pilih opsi Kunci enkripsi yang dikelola Google. Untuk mengetahui informasi selengkapnya, lihat Pembatasan CMEK Dataform.

7. Klik Buat, lalu klik Selesai.

Mengedit akun layanan

Anda dapat mengaitkan akun layanan kustom dengan repositori Dataform untuk eksekusi alur kerja. Semua operasi repositori lainnya masih dilakukan oleh akun layanan Dataform default.

Untuk mengedit akun layanan repositori Dataform, ikuti langkah-langkah berikut:

1. Di konsol Google Cloud, buka halaman Dataform.

   Buka Dataform

2. Pilih repositori, lalu klik Setelan.

3. Di kolom Service account, klik Edit Service account.

4. Di menu drop-down Service account, pilih akun layanan untuk repositori.

   Di menu drop-down, Anda dapat memilih akun layanan Dataform default atau akun layanan apa pun yang terkait dengan project Google Cloud yang Anda miliki aksesnya.

   1. Opsional: Untuk memilih akun layanan yang tidak ditampilkan di drop-down, klik Masukkan secara manual, lalu masukkan ID akun layanan.

5. Klik Simpan.

Menghapus repositori

Untuk menghapus repositori dan semua kontennya, ikuti langkah-langkah berikut:

1. Di konsol Google Cloud, buka halaman Dataform.

   Buka Dataform

2. Di repositori yang ingin Anda hapus, klik menu More, lalu pilih Delete.

3. Di jendela Delete repository, masukkan nama repositori untuk mengonfirmasi penghapusan.

4. Klik Hapus.

Langkah selanjutnya

• Untuk mempelajari cara mengonfigurasi setelan pemrosesan Dataform, lihat Mengonfigurasi setelan Dataform.

• Untuk mempelajari cara menautkan repositori Dataform ke penyedia Git pihak ketiga, lihat Menghubungkan ke repositori Git pihak ketiga.

• Untuk mempelajari cara menggunakan CMEK di Dataform, lihat Menggunakan kunci enkripsi yang dikelola pelanggan.

• Untuk mempelajari cara membuat ruang kerja pengembangan, lihat Membuat ruang kerja.