Membuat danau

Panduan ini menunjukkan cara membuat Dataplex lake menggunakan Google Cloud Console, gcloud CLI, atau metode API lakes.create.

Anda dapat membuat lake di salah satu region yang mendukung Dataplex.

Sebelum memulai

Catatan: Untuk kasus penggunaan Dataplex, jangan membuat atau menggunakan lake dengan ID goog-dataproc-default-lake. ID goog-dataproc-default-lake berfungsi sebagai lake default yang khusus ditujukan untuk ruang kerja Dataproc. Penggunaan nama danau yang dicadangkan tidak didukung untuk Jelajah Dataplex.

1. Login ke akun Google Cloud Anda. Jika Anda baru menggunakan Google Cloud, buat akun untuk mengevaluasi performa produk kami dalam skenario dunia nyata. Pelanggan baru juga mendapatkan kredit gratis senilai $300 untuk menjalankan, menguji, dan men-deploy workload.

2. Di konsol Google Cloud, pada halaman pemilih project, pilih atau buat project Google Cloud.

   Catatan: Jika tidak berencana untuk menyimpan resource yang Anda buat dalam prosedur ini, buatlah project, bukan memilih project yang ada. Setelah menyelesaikan langkah ini, Anda dapat menghapus project, yang menghapus semua resource yang terkait dengan project ini.

   Buka pemilih project

3. Pastikan penagihan telah diaktifkan untuk project Google Cloud Anda.

4. Enable the Dataplex, Dataproc, Dataproc Metastore, Data Catalog, BigQuery, dan Cloud Storage. APIs.

   Enable the APIs

5. Di konsol Google Cloud, pada halaman pemilih project, pilih atau buat project Google Cloud.

   Catatan: Jika tidak berencana untuk menyimpan resource yang Anda buat dalam prosedur ini, buatlah project, bukan memilih project yang ada. Setelah menyelesaikan langkah ini, Anda dapat menghapus project, yang menghapus semua resource yang terkait dengan project ini.

   Buka pemilih project

6. Pastikan penagihan telah diaktifkan untuk project Google Cloud Anda.

7. Enable the Dataplex, Dataproc, Dataproc Metastore, Data Catalog, BigQuery, dan Cloud Storage. APIs.

   Enable the APIs

Kontrol akses

1. Pastikan Anda memiliki peran standar roles/dataplex.admin atau roles/dataplex.editor yang diberikan kepada Anda sehingga Anda dapat membuat dan mengelola lake Anda. Ikuti langkah-langkah dalam dokumentasi IAM untuk memberikan peran.

2. Untuk melampirkan bucket Cloud Storage dari project lain ke lake Anda, berikan peran administrator di bucket tersebut kepada akun layanan Dataplex berikut dengan menjalankan perintah berikut:

   gcloud alpha dataplex lakes authorize \
   --project PROJECT_ID_OF_LAKE \
   --storage-bucket-resource BUCKET_NAME
   

Membuat metastore

Anda dapat mengakses metadata Dataplex menggunakan Hive Metastore di kueri Spark dengan mengaitkan instance layanan Dataproc Metastore dengan Dataplex lake Anda. Anda harus memiliki Dataproc Metastore berkemampuan gRPC (versi 3.1.2 atau yang lebih tinggi) yang terkait dengan Dataplex lake.

1. Buat layanan Dataproc Metastore.

2. Konfigurasikan instance layanan Dataproc Metastore untuk menampilkan endpoint gRPC (bukan endpoint Thrift Metastore default). Jalankan permintaan API update berikut:

   curl -X PATCH \
   -H "Authorization: Bearer $(gcloud auth print-access-token)" \
   -H "Content-Type: application/json" \
   "https://metastore.googleapis.com/v1beta/projects/PROJECT_ID/locations/LOCATION/services/SERVICE_ID?updateMask=hiveMetastoreConfig.endpointProtocol" \
   -d '{"hiveMetastoreConfig": {"endpointProtocol": "GRPC"}}'
   

   Catatan: Langkah ini mungkin memerlukan waktu beberapa menit.

3. Lihat endpoint gRPC. Jalankan perintah berikut:

   gcloud metastore services describe SERVICE_ID \
     --project PROJECT_ID \
     --location LOCATION \
     --format "value(endpointUri)"
   

Membuat Dataplex lake

Langkah-langkah berikut menunjukkan cara membuat dataplex lake.

Konsol

1. Buka Dataplex di konsol Google Cloud.

   Buka Dataplex

2. Buka tampilan Manage.

3. Klik Create .

4. Masukkan Nama tampilan.

5. ID danau dibuat otomatis untuk Anda. Jika mau, Anda dapat memberikan ID Anda sendiri. Lihat Konvensi penamaan resource.

6. Opsional: Masukkan Deskripsi..

7. Tentukan Wilayah untuk membuat danau.

   Untuk lake yang dibuat di region tertentu (misalnya, us-central1), data satu region (us-central1) dan data multi-region (us multi-region) dapat ditambahkan, bergantung pada setelan zona.

8. Opsional: Tambahkan label ke danau Anda.

9. Opsional: Di bagian Metastore, klik drop-down Layanan Metastore, lalu pilih layanan yang Anda buat di bagian Sebelum memulai.

10. Klik Create.

gcloud

Gunakan perintah gcloud preview dataplex lake create berikut untuk membuat danau:

gcloud alpha dataplex lakes create LAKE \
 --location=LOCATION \
 --labels=k1=v1,k2=v2,k3=v3 \
 --metastore-service=METASTORE_SERVICE

Ganti kode berikut:

• LAKE: Nama danau baru.
• LOCATION: Mengacu pada region Google Cloud.
• k1=v1,k2=v2,k3=v3: Label yang digunakan (jika ada).
• METASTORE_SERVICE: Layanan Dataproc Metastore, jika sudah dibuat.

REST

Ikuti petunjuk API untuk membuat lake menggunakan APIs Explorer.

Catatan: Mungkin perlu waktu beberapa menit untuk membuat danau.

Apa langkah selanjutnya?

• Pelajari cara mengatur data Anda ke dalam beberapa danau dan zona.
  • Tambahkan zona ke danau Anda.
  • Lampirkan aset ke zona Anda.
• Pelajari cara mengamankan danau Anda.
• Pelajari cara mengelola danau.