Panduan memulai: Membuat danau

Panduan memulai: Membuat danau

Halaman ini menunjukkan cara memulai Dataplex di Konsol Google Cloud, dengan memandu Anda membuat lake, menambahkan zona, dan menambahkan aset.

Sebelum memulai

Catatan: Untuk kasus penggunaan Dataplex, jangan membuat atau menggunakan lake dengan ID goog-dataproc-default-lake. ID goog-dataproc-default-lake berfungsi sebagai lake default yang khusus ditujukan untuk ruang kerja Dataproc. Penggunaan nama danau yang dicadangkan tidak didukung untuk Jelajah Dataplex.

1. Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.

2. Di konsol Google Cloud, pada halaman pemilih project, pilih atau buat project Google Cloud.

   Catatan: Jika tidak berencana untuk menyimpan resource yang Anda buat dalam prosedur ini, buatlah project, bukan memilih project yang ada. Setelah menyelesaikan langkah ini, Anda dapat menghapus project, yang menghapus semua resource yang terkait dengan project ini.

   Buka pemilih project

3. Make sure that billing is enabled for your Google Cloud project.

4. Aktifkan API Dataplex, Dataproc, Dataproc Metastore, Data Catalog, BigQuery, dan Cloud Storage .

   Mengaktifkan API

5. Make sure that you have the following role or roles on the project: roles/dataplex.admin, roles/dataplex.editor

   Check for the roles

   1. In the Google Cloud console, go to the IAM page.

      Go to IAM
   2. Select the project.

   3. In the Principal column, find all rows that identify you or a group that you're included in. To learn which groups you're included in, contact your administrator.

   4. For all rows that specify or include you, check the Role colunn to see whether the list of roles includes the required roles.

   Grant the roles

   1. In the Google Cloud console, go to the IAM page.

      Buka IAM
   2. Pilih project.
   3. Klik Berikan akses.

   4. Di kolom New principals, masukkan ID pengguna Anda. Ini biasanya adalah alamat email untuk Akun Google.

   5. Di daftar Pilih peran, pilih peran.
   6. Untuk memberikan peran tambahan, klik Tambahkan peran lain, lalu tambahkan setiap peran tambahan.
   7. Klik Simpan.

   8. Di konsol Google Cloud, pada halaman pemilih project, pilih atau buat project Google Cloud.

      Catatan: Jika tidak berencana untuk menyimpan resource yang Anda buat dalam prosedur ini, buatlah project, bukan memilih project yang ada. Setelah menyelesaikan langkah ini, Anda dapat menghapus project, yang menghapus semua resource yang terkait dengan project ini.

      Buka pemilih project

   9. Make sure that billing is enabled for your Google Cloud project.

   10. Aktifkan API Dataplex, Dataproc, Dataproc Metastore, Data Catalog, BigQuery, dan Cloud Storage .

       Mengaktifkan API

   11. Make sure that you have the following role or roles on the project: roles/dataplex.admin, roles/dataplex.editor

       Check for the roles

       1. In the Google Cloud console, go to the IAM page.

          Go to IAM
       2. Select the project.

       3. In the Principal column, find all rows that identify you or a group that you're included in. To learn which groups you're included in, contact your administrator.

       4. For all rows that specify or include you, check the Role colunn to see whether the list of roles includes the required roles.

       Grant the roles

       1. In the Google Cloud console, go to the IAM page.

          Buka IAM
       2. Pilih project.
       3. Klik Berikan akses.

       4. Di kolom New principals, masukkan ID pengguna Anda. Ini biasanya adalah alamat email untuk Akun Google.

       5. Di daftar Pilih peran, pilih peran.
       6. Untuk memberikan peran tambahan, klik Tambahkan peran lain, lalu tambahkan setiap peran tambahan.
       7. Klik Simpan.
       Buat bucket Cloud Storage:
       1. Di Konsol Google Cloud, buka halaman Bucket Cloud Storage.

          Buka halaman Bucket

       2. Klik Buat bucket.
       3. Di halaman Buat bucket, masukkan informasi bucket Anda. Untuk melanjutkan ke langkah berikutnya, klik Lanjutkan.
          • Untuk Beri nama bucket Anda, masukkan nama bucket yang unik. Jangan sertakan informasi sensitif pada nama bucket, karena namespace bucket bersifat global dan dapat dilihat publik.
          • Untuk Pilih tempat untuk menyimpan data, lakukan tindakan berikut:
            • Pilih opsi Jenis lokasi.
            • Pilih opsi Lokasi.
          • Untuk Memilih kelas penyimpanan default untuk data Anda, pilih opsi berikut: Standar.
          • Untuk Memilih cara mengontrol akses ke objek, pilih opsi Kontrol akses.
          • Untuk Setelan lanjutan (opsional), tentukan metode enkripsi, kebijakan retensi, atau label bucket.
       4. Klik Buat.

Membuat danau

Langkah-langkah berikut menunjukkan cara membuat danau menggunakan konsol Google Cloud.

1. Buka Dataplex di konsol Google Cloud.

   Buka Dataplex

2. Buka tampilan Manage.

3. Klik Create.

4. Masukkan Nama tampilan.

5. ID danau dibuat otomatis untuk Anda.

6. Tentukan Wilayah untuk membuat danau.

   Untuk lake yang dibuat di region tertentu (misalnya, us-central1), data satu region (us-central1) dan data multi-region (us multi-region) dapat ditambahkan, bergantung pada setelan zona.

7. Klik Create.

Menambahkan zona ke danau

Setelah membuat danau, Anda dapat menambahkan zona ke danau tersebut. Zona adalah pengelompokan logis dari data tidak terstruktur dan terstruktur.

1. Di tampilan Kelola, klik nama danau yang ingin Anda tambahi zona.

2. Klik Add zone.

3. Masukkan Nama tampilan untuk zona Anda.

   Catatan: ID zona dibuat secara otomatis untuk Anda. Jika perlu, Anda dapat memberikan ID Anda sendiri.

4. Klik drop-down Jenis. Pilih Zona Mentah atau Zona Terseleksi. Pelajari jenis zona lebih lanjut.

5. Di bagian Lokasi data, pilih Regional atau Multi-regional. Pilihan Anda tidak dapat diubah nanti. Data satu region dan multi-region tidak dapat digabungkan di zona yang sama.

   Catatan: Penemuan diaktifkan secara default. Klik untuk meluaskan Setelan penemuan dan lihat bahwa Aktifkan penemuan metadata dipilih. Pelajari Discovery lebih lanjut.

6. Klik Create.

Mungkin perlu waktu beberapa menit untuk membuat zona.

Lampirkan aset

Data dapat disimpan di bucket Cloud Storage atau set data BigQuery, dan dapat dilampirkan sebagai aset ke zona data dalam dataplex lake.

Ikuti langkah-langkah berikut untuk melampirkan bucket Cloud Storage yang Anda buat sebelumnya sebagai aset.

1. Di tampilan Manage, klik nama lake tempat Anda ingin menambahkan bucket Cloud Storage.

2. Pada tab Zona, klik zona yang akan ditambahi aset.

3. Pada tab Assets, klik Add Assets.

4. Klik Tambahkan aset.

5. Di bagian Type, pilih Storage bucket.

6. Di bagian Nama tampilan, masukkan nama untuk aset.

   Catatan: ID aset otomatis dibuat untuk Anda. Jika perlu, Anda dapat memberikan ID Anda sendiri.

7. Di kolom Bucket, klik Browse. Jika Anda memiliki bucket Cloud Storage, cari lalu klik Select. Jika tidak memiliki bucket Cloud Storage, Anda dapat membuatnya dengan mengklik tombol .

   1. Masukkan nama unik untuk bucket. Klik Lanjutkan.

   2. Pilih Jenis lokasi. Klik Continue.

   3. Pilih kelas penyimpanan default untuk data Anda. Klik Lanjutkan.

   4. Pilih level kontrol akses. Klik Lanjutkan.

   5. Pilih opsi perlindungan data atau Tidak ada. Klik Continue.

   6. Klik Create.

   7. Klik Select.

8. Klik Done.

9. Klik Lanjutkan.

10. Di bagian Setelan penemuan, pilih Warisi untuk mewarisi setelan Discovery dari tingkat zona.

11. Klik Lanjutkan.

12. Di bagian Tambahkan aset, klik Kirim.

Tunggu hingga pembuatan Aset selesai.

Catatan: Untuk menggunakan danau, lihat bagian Langkah berikutnya.

Pembersihan

Agar akun Google Cloud Anda tidak dikenakan biaya untuk resource yang digunakan pada halaman ini, ikuti langkah-langkah berikut.

Perhatian: Menghapus project memiliki efek berikut:

• Semua hal dalam project akan dihapus. Jika menggunakan project yang sudah ada untuk tugas dalam dokumen ini, saat Anda menghapusnya, pekerjaan lain yang telah Anda lakukan dalam project tersebut juga akan terhapus.
• Project ID kustom hilang. Saat membuat project ini, Anda mungkin telah membuat project ID kustom yang ingin digunakan di masa mendatang. Untuk mempertahankan URL yang menggunakan project ID, seperti URL appspot.com, hapus resource yang dipilih di dalam project, bukan menghapus seluruh project.

Jika Anda berencana mempelajari berbagai arsitektur, tutorial, atau panduan memulai, menggunakan kembali project dapat membantu agar Anda tidak melampaui batas kuota project.

1. Di konsol Google Cloud, buka halaman Manage resource.

   Buka Manage resource

2. Jika project yang ingin Anda hapus tertaut ke organisasi, buka daftar Organization di kolom Name.
3. Pada daftar project, pilih project yang ingin Anda hapus, lalu klik Delete.
4. Pada dialog, ketik project ID, lalu klik Shut down untuk menghapus project.

Atau, Anda dapat menghapus resource yang digunakan dalam tutorial ini. Lake tidak dapat dihapus kecuali jika semua resource zona data di bawahnya telah dihapus. Demikian pula, zona data tidak dapat dihapus kecuali jika semua resource aset di bawahnya telah dihapus:

Lepaskan bucket penyimpanan

Langkah-langkah berikut menunjukkan cara melepaskan aset Dataplex yang Anda buat.

1. Buka Dataplex di konsol Google Cloud.

   Buka Dataplex

2. Di tampilan Kelola, klik nama danau yang Anda buat.

3. Di tab Zones, klik nama zona yang Anda buat.

4. Di tab Assets, pilih aset yang akan dilepas dengan mencentang kotak di sebelah kiri nama bucket.

5. Klik Hapus Aset.

6. Klik Hapus untuk mengonfirmasi detasemen.

Menghapus zona

Langkah-langkah berikut menunjukkan cara menghapus zona Dataplex yang Anda buat.

1. Buka Dataplex di konsol Google Cloud.

   Buka Dataplex

2. Di tampilan Kelola, klik danau yang Anda buat.

3. Pada tab Zones, pilih zona yang akan dihapus dengan mencentang kotak di sebelah kiri nama zona data.

4. Klik Delete Zone.

5. Klik Delete untuk mengonfirmasi penghapusan.

Menghapus danau

Langkah-langkah berikut menunjukkan cara menghapus dataplex lake yang Anda buat.

1. Buka Dataplex di konsol Google Cloud.

   Buka Dataplex

2. Di tampilan Kelola, klik danau yang Anda buat.

3. Di bagian atas halaman, klik Hapus.

4. Konfirmasi penghapusan dengan mengetik "delete" di kotak teks.

5. Klik Hapus Data Danau untuk mengonfirmasi penghapusan.

Langkah selanjutnya

Setelah membuat danau, zona, dan aset, Anda dapat:

• Atur data Anda ke dalam data lake dan zona.
• Amankan danau Anda.
• Lihat metadata yang ditemukan menggunakan konsol Google Cloud.
• Lihat metadata yang ditemukan menggunakan API.