Membuat lingkungan pengembangan

Panduan memulai ini akan memandu Anda melakukan langkah-langkah untuk membuat lingkungan pengembangan individual di Dataform, sehingga setiap developer dapat bekerja di lingkungan pengembangannya sendiri:

Sebelum memulai

  1. Login ke akun Google Cloud Anda. Jika Anda baru menggunakan Google Cloud, buat akun untuk mengevaluasi performa produk kami dalam skenario dunia nyata. Pelanggan baru juga mendapatkan kredit gratis senilai $300 untuk menjalankan, menguji, dan men-deploy workload.

  2. Di konsol Google Cloud, pada halaman pemilih project, pilih atau buat project Google Cloud.

    Buka pemilih project

  3. Pastikan penagihan telah diaktifkan untuk project Google Cloud Anda.

  4. Enable the BigQuery and Dataform APIs.

    Enable the APIs

    5.

  5. Di konsol Google Cloud, pada halaman pemilih project, pilih atau buat project Google Cloud.

    Buka pemilih project

  6. Pastikan penagihan telah diaktifkan untuk project Google Cloud Anda.

  7. Enable the BigQuery and Dataform APIs.

    Enable the APIs

    8.

Peran yang diperlukan

Untuk mendapatkan izin yang Anda perlukan untuk melakukan semua tugas dalam tutorial ini, minta administrator Anda untuk memberi Anda peran IAM berikut:

Untuk mengetahui informasi selengkapnya tentang pemberian peran, lihat Mengelola akses.

Anda mungkin juga bisa mendapatkan izin yang diperlukan melalui peran khusus atau peran bawaan lainnya.

Membuat repositori Dataform

  1. Di konsol Google Cloud, buka halaman Dataform.

    Buka Dataform

  2. Klik Create repository.

  3. Di halaman Create repository, lakukan hal berikut:

    1. Di kolom Repository ID, masukkan quickstart-dev.

    2. Dalam daftar Region, pilih europe-west4.

    3. Klik Create.

  4. Klik Done.

Memberikan akses Dataform ke BigQuery

Untuk menjalankan alur kerja di BigQuery, akun layanan Dataform harus memiliki peran yang diperlukan berikut ini:

  • BigQuery Data Editor pada project tempat Dataform memerlukan akses baca dan tulis. File tersebut biasanya mencakup project yang menghosting repositori Dataform Anda.
  • BigQuery Data Viewer pada project tempat Dataform memerlukan akses hanya baca.
  • BigQuery Job User di project yang menghosting repositori Dataform Anda.

Untuk memberikan peran ini, ikuti langkah-langkah berikut:

  1. Di konsol Google Cloud, buka halaman IAM.

    Buka halaman IAM

  2. Klik Tambahkan.

  3. Di kolom New principals, masukkan ID akun layanan Dataform Anda.

  4. Di menu drop-down Select a role, pilih peran BigQuery Job User.

  5. Klik Add another role, lalu di menu drop-down Select a role, pilih peran BigQuery Data Editor.

  6. Klik Add another role, lalu di menu drop-down Select a role, pilih peran BigQuery Data Viewer.

  7. Klik Simpan.

Mengonfigurasi penggantian kompilasi ruang kerja

Untuk membuat lingkungan pengembangan terisolasi dengan penggantian kompilasi ruang kerja Dataform, ikuti langkah-langkah berikut:

  1. Di konsol Google Cloud, buka halaman Dataform.

    Buka Dataform

  2. Klik quickstart-dev.

  3. Klik Setelan, lalu klik Edit.

  4. Di panel Penggantian kompilasi Workspace, di kolom Akhiran skema, masukkan ${workspaceName}.

    Saat Anda memicu eksekusi di ruang kerja, Dataform akan menambahkan nama ruang kerja sebagai akhiran ke skema default yang ditetapkan di dataform.json. Panduan memulai ini menggunakan setelan Dataform default dengan skema default dataform.

  5. Klik Simpan.

Dataform menerapkan penggantian kompilasi ruang kerja ke semua ruang kerja di repositori Anda.

Dengan konfigurasi ini, saat Anda menjalankan alur kerja SQL secara manual di ruang kerja, Dataform akan mengeksekusinya dengan penggantian kompilasi ruang kerja. Akibatnya, Dataform mengeksekusi alur kerja SQL dalam skema dataform_workspaceName di BigQuery, mengubah ruang kerja menjadi lingkungan pengembangan yang terisolasi.

Misalnya, saat Anda memicu eksekusi secara manual di ruang kerja sasha, Dataform akan menjalankan alur kerja SQL Anda dalam skema dataform_sasha di BigQuery.

Untuk menjalankan alur kerja SQL tanpa penggantian kompilasi ruang kerja, tetapi mempertahankan penggantian kompilasi ruang kerja untuk lingkungan pengembangan, Anda dapat membuat konfigurasi rilis untuk mengonfigurasi lingkungan eksekusi lainnya, misalnya staging dan production.

Pembersihan

Agar akun Google Cloud Anda tidak dikenakan biaya untuk resource yang digunakan pada halaman ini, ikuti langkah-langkah berikut.

Menghapus set data yang dibuat di BigQuery

Agar tidak menimbulkan biaya untuk aset BigQuery, hapus set data dengan nama yang diawali dengan dataform, misalnya dataform-sasha.

  1. Di konsol Google Cloud, buka halaman BigQuery.

    Buka BigQuery

  2. Di panel Explorer, luaskan project Anda dan pilih set data.

  3. Klik menu Tindakan, lalu pilih Hapus.

  4. Pada dialog Delete dataset, masukkan delete ke dalam kolom, lalu klik Delete.

Menghapus repositori Dataform

Pembuatan repositori Dataform tidak dikenai biaya. Namun, jika Anda ingin menghapus repositori dan semua kontennya, ikuti langkah-langkah berikut:

  1. Di konsol Google Cloud, buka halaman Dataform.

    Buka Dataform

  2. Dengan quickstart-dev, klik menu Lainnya di , lalu pilih Hapus.

    1. Di jendela Delete repository, masukkan nama repositori untuk mengonfirmasi penghapusan.

  3. Untuk mengonfirmasi, klik Delete.

Langkah selanjutnya