Mengelola entri dan menyerap sumber kustom

Dokumen ini menjelaskan cara membuat dan mengelola jenis entri, grup entri, dan entri kustom untuk mengaktifkan integrasi sumber data kustom ke dalam Dataplex.

Entri mewakili resource yang metadata-nya Anda ambil. Grup entri adalah penampung untuk satu atau beberapa entri, yang digunakan untuk mengelola kontrol akses dan lokasi regional. Jenis entri menentukan metadata yang diperlukan untuk entri. Jenis entri membawa struktur dan aturan ke dalam resource entri yang mengalir bebas dan ditentukan secara longgar, sehingga entri dapat diperluas.

Untuk mengintegrasikan sumber data kustom ke Dataplex, Anda membuat entri kustom menggunakan jenis entri kustom yang berada dalam grup entri kustom. Membuat entri kustom melibatkan langkah-langkah tingkat tinggi berikut:

1. Buat grup entri.
2. Buat jenis entri.
3. Buat entri kustom untuk jenis entri dalam grup entri.

Entri

Entri mewakili aset data yang metadatanya Anda ambil. Setiap entri adalah instance dari jenis entri. Setiap operasi pada aspek untuk entri harus mematuhi aspek yang diperlukan dari jenis entrinya. Misalnya, saat membuat entri, Anda harus memberikan nilai untuk semua jenis aspek yang ditentukan oleh jenis entri. Anda tidak dapat menghapus aspek tersebut untuk entri yang ditandai sebagai required dalam jenis entri.

Kategori entri

• Entri sistem: Dataplex membuat entri untuk resource Google Cloud, seperti set data atau tabel BigQuery. Entri yang dibuat Dataplex disebut entri sistem. Dataplex secara otomatis membuat entri sistem selalu diperbarui melalui sinkronisasi metadata berkelanjutan dari sistem Google Cloud yang didukung.

  Anda tidak dapat mengubah metadata yang diisi secara otomatis (disebut aspek yang diperlukan) untuk entri sistem. Anda hanya dapat menambahkan dan mengubah metadata tambahan untuk entri sistem menggunakan aspek opsional. Untuk mengetahui informasi selengkapnya, lihat Kategori aspek.

• Entri kustom: entri yang dapat Anda buat dan kelola untuk resource kustom disebut entri kustom. Resource kustom adalah resource di layanan non-Google yang dihosting di Google Cloud atau secara eksternal (misalnya, di lokal).

Grup entri

Grup entri adalah penampung untuk satu atau beberapa entri. Anda dapat menggunakan grup entri untuk mengelola kontrol akses dan lokasi regional untuk entri. Setiap grup entri milik project.

Kategori grup entri

• Grup entri sistem: untuk resource Google Cloud, Dataplex otomatis membuat grup entri untuk setiap sistem di setiap project dan lokasi tempat resource berada. Misalnya, @bigquery adalah grup entri sistem untuk BigQuery.

• Grup entri kustom: Grup entri yang Anda buat untuk resource kustom.

Jenis entri

Jenis entri menentukan metadata yang diperlukan untuk entri jenis ini, menggunakan kumpulan jenis aspek yang diperlukan.

Anda hanya dapat menentukan jenis aspek yang diperlukan pada entri, dan bukan pada kolom entri. Saat membuat entri dari jenis entri tertentu, Anda harus memberikan nilai untuk semua jenis aspek yang diperlukan yang ditentukan oleh jenis entri.

Jenis aspek yang diperlukan dan dirujuk dalam jenis entri harus berasal dari project yang sama dengan jenis entri.

Kategori jenis entri

• Jenis entri kustom: Jenis entri yang Anda buat dan kelola. Anda dapat menggunakan jenis entri ini untuk membuat entri kustom.

• Jenis entri sistem: Dataplex menyediakan jenis entri ini secara default. Jenis entri sistem dikategorikan lebih lanjut menjadi dapat digunakan kembali dan dibatasi.

  Tabel berikut menjelaskan kategori jenis entri sistem, dan daftar jenis entri yang disediakan Dataplex untuk setiap kategori:

  Kategori jenis entri sistem	Deskripsi	Jenis entri yang disediakan Dataplex
  Jenis entri sistem yang dapat digunakan kembali	Anda dapat menggunakan jenis entri ini untuk membuat entri kustom.	generic
  Jenis entri sistem yang dibatasi	Ini dicadangkan untuk penggunaan sistem, seperti membuat entri untuk resource Google Cloud. Anda tidak dapat menggunakan jenis entri ini untuk membuat entri, tetapi Anda dapat mengedit entri jenis entri ini untuk menambahkan aspek opsional.	bigquery-connection bigquery-dataset bigquery-model bigquery-routine bigquery-table bigquery-view cloudsql-database cloudsql-instance cloudsql-schema cloudsql-table cloudsql-view sql-access storage storage-bucket storage-folder

Catatan: Entri jenis entrygroup mewakili grup entri dan dibuat secara otomatis saat grup entri dibuat. Anda dapat menelusuri entri dari jenis ini. Tidak seperti entri reguler, Anda tidak dapat menghapus entri ini. Sebagai gantinya, Anda harus menghapus grup entri.

Anda dapat membuat jenis entri kustom di lokasi regional tertentu atau sebagai resource global. Jenis entri sistem selalu bersifat global. Lokasi jenis entri memengaruhi cakupan penerapannya. Untuk informasi selengkapnya, lihat Batasan project dan lokasi.

Sebelum memulai

Sebelum mengelola entri dan menyerap sumber data kustom, pastikan Anda telah menyelesaikan tugas yang dijelaskan di bagian ini.

Peran yang diperlukan

Untuk mendapatkan izin yang diperlukan guna membuat dan mengelola entri, minta administrator untuk memberi Anda peran IAM berikut pada resource:

• Kumpulan lengkap izin pada entri, grup entri, dan jenis entri: Dataplex Catalog Admin (roles/dataplex.catalogAdmin)
• Membuat dan mengelola semua resource Dataplex Catalog, termasuk entri, grup entri, dan jenis entri: Dataplex Catalog Editor (roles/dataplex.catalogEditor)
• Akses penuh ke operasi terkait entri: Pemilik Entri Dataplex (roles/dataplex.entryOwner)
• Melihat entri, grup entri, dan jenis entri, serta kebijakan IAM yang terkait dengannya: Dataplex Catalog Viewer (roles/dataplex.catalogViewer)
• Gunakan jenis aspek untuk membuat aspek dari jenis tersebut, saat membuat entri kustom: Pengguna Jenis Aspek Dataplex (roles/dataplex.aspectTypeUser)
• Membuat dan mengelola grup entri: Pemilik Grup Entri Dataplex (roles/dataplex.entryGroupOwner)
• Membuat dan mengelola jenis entri: Pemilik Jenis Entri Dataplex (roles/dataplex.entryTypeOwner)
• Gunakan jenis entri untuk membuat dan mengubah entri dari jenis tersebut: Dataplex Entry Type User (roles/dataplex.entryTypeUser)

Untuk mengetahui informasi selengkapnya tentang cara memberikan peran, lihat Mengelola akses ke project, folder, dan organisasi.

Anda mungkin juga bisa mendapatkan izin yang diperlukan melalui peran khusus atau peran bawaan lainnya.

Catatan: Saat menggunakan jenis entri untuk membuat dan mengubah entri dari jenis tersebut, jika jenis entri dan entri berada di project yang berbeda, Anda harus memberikan peran IAM Pengguna Jenis Entri Dataplex (roles/dataplex.entryTypeUser) di project tempat jenis entri berada.

Untuk mengetahui informasi selengkapnya, lihat Peran IAM Dataplex.

Mengaktifkan API

Aktifkan Dataplex API di project Dataplex Anda.

Mengaktifkan API

Membuat grup entri

Konsol

1. Di konsol Google Cloud, buka halaman Katalog Dataplex.

   Buka Katalog

2. Klik tab Grup entri > Kustom.

3. Klik Create.

4. Di jendela Create entry group, masukkan hal berikut:

   1. Opsional: Di kolom Nama tampilan, masukkan nama tampilan untuk grup entri Anda.
   2. Entry group ID: Masukkan ID unik untuk grup entri Anda.
   3. Opsional: Di kolom Description, masukkan deskripsi untuk grup entri Anda.
   4. Lokasi: Pilih lokasi. Anda tidak dapat mengubah lokasi setelah membuat grup entri.

5. Opsional: Di bagian Labels, tambahkan label arbitrer sebagai key-value pair ke resource Anda:

   1. Klik Tambahkan label.
   2. Di kolom Key, masukkan kunci.
   3. Di kolom Value, masukkan nilai untuk kunci.
   4. Untuk menambahkan label lainnya, klik Tambahkan label, lalu ulangi langkah-langkahnya.

6. Klik Simpan.

gcloud

Untuk membuat grup entri, gunakan perintah gcloud dataplex entry-groups create.

REST

Untuk membuat grup entri, gunakan metode entryGroups.Create.

Membuat jenis entri

Untuk menyerap sumber baru, Anda harus membuat jenis entri.

Konsol

1. Di konsol Google Cloud, buka halaman Katalog Dataplex.

   Buka Katalog

2. Klik tab Jenis entri > Kustom.

3. Klik Create.

4. Di jendela Create entry type, masukkan hal berikut:

   1. Opsional: Di kolom Nama tampilan, masukkan nama tampilan untuk jenis entri Anda.
   2. ID jenis entri: Masukkan ID unik untuk jenis entri Anda. Anda tidak dapat mengubahnya setelah membuat jenis entri.
   3. Opsional: Di kolom Description, masukkan deskripsi untuk jenis entri Anda.
   4. Opsional: Di kolom System, masukkan sistem sumber.
   5. Opsional: Di kolom Platform, masukkan platform tempat entri jenis ini berada. Contoh, Google Cloud.
   6. Di kolom Location, pilih lokasi. Anda tidak dapat mengubah lokasi setelah membuat jenis entri.

5. Opsional: Di bagian Type aliases, tentukan jenis data untuk jenis entri Anda. Jenis data dapat digunakan untuk membuat kueri entri.

   1. Klik Tambahkan alias jenis.
   2. Di kolom Type alias, pilih jenis data. Anda dapat menambahkan beberapa alias jenis.

6. Di bagian Jenis aspek yang diperlukan, pilih jenis aspek yang wajib untuk jenis entri ini. Setiap entri yang dibuat berdasarkan jenis ini akan memiliki jenis aspek yang diperlukan ini.

   1. Klik Pilih jenis aspek.
   2. Di jendela Pilih jenis aspek, pilih jenis aspek.
   3. Klik Pilih.

   Anda tidak dapat menghapus aspek yang diperlukan dari entri.

7. Opsional: Di bagian Labels, tambahkan label arbitrer sebagai key-value pair ke resource Anda:

   1. Klik Tambahkan label.
   2. Di kolom Key, masukkan kunci.
   3. Di kolom Value, masukkan nilai untuk kunci.
   4. Untuk menambahkan label lainnya, klik Tambahkan label, lalu ulangi langkah-langkahnya.

8. Klik Simpan.

gcloud

Untuk membuat jenis entri, gunakan perintah gcloud dataplex entry-types create.

REST

Untuk membuat jenis entri, gunakan metode entryTypes.create.

Membuat entri kustom

Sebelum membuat entri kustom, pastikan Anda telah membuat grup entri dan jenis entri.

Konsol

Membuat entri kustom tidak didukung di konsol Google Cloud. Sebagai gantinya, gunakan Google Cloud CLI atau API.

gcloud

Untuk membuat entri kustom, gunakan perintah gcloud dataplex entries create.

REST

Untuk membuat entri kustom, gunakan metode entries.create.

Setelah membuat entri kustom, Anda dapat menambahkan aspek ke entri tersebut. Untuk mengetahui informasi selengkapnya, lihat Menambahkan aspek ke entri.

Mengelola grup entri

Bagian ini menjelaskan cara melihat daftar grup entri yang tersedia, melihat detail, memperbarui, dan menghapus grup entri.

Catatan: Grup entri yang diambil dari Data Catalog memiliki akhiran (Data Catalog). Anda tidak dapat mengedit atau menghapus grup entri ini, tetapi Anda dapat mengelola izinnya.

Melihat daftar grup entri yang tersedia

Konsol

1. Di konsol Google Cloud, buka halaman Katalog Dataplex.

   Buka Katalog

2. Klik tab Grup entri.

   Anda dapat mengakses daftar grup entri kustom dan sistem. Untuk informasi selengkapnya, lihat bagian kategori grup entri dalam dokumen ini.

   Di tab Kustom, grup entri dengan akhiran (Data Catalog) adalah grup entri yang diambil dari Data Catalog.

3. Untuk melihat daftar grup entri di semua project, klik tab Custom, lalu klik tombol Show from all projects ke posisi aktif.

   Catatan: Jika tombol Tampilkan dari semua project aktif, Anda tidak dapat mengedit atau menghapus grup entri secara langsung. Sebagai gantinya, Anda harus mengklik grup entri untuk membuka halaman detail grup entri, lalu mengedit atau menghapusnya.

gcloud

Untuk melihat daftar grup entri yang tersedia, gunakan perintah gcloud dataplex entry-groups list.

REST

Untuk melihat daftar grup entri yang tersedia, gunakan metode entryGroups.list.

Melihat detail grup entri

Konsol

1. Di konsol Google Cloud, buka halaman Katalog Dataplex.

   Buka Katalog

2. Klik tab Grup entri.

3. Klik grup entri yang detailnya ingin Anda lihat.

   Halaman detail grup entri akan terbuka. Anda dapat mengakses informasi seperti nama tampilan, ID grup entri, deskripsi, project ID, lokasi, label, tanggal pembuatan, dan tanggal terakhir diubah dari grup entri yang dipilih.

4. Jika grup entri diambil dari Data Catalog, yang ditunjukkan dengan akhiran (Data Catalog), Anda dapat melihat detailnya di antarmuka Data Catalog dan Katalog Dataplex. Untuk melakukannya, di halaman detail grup entri, pilih Data Catalog atau Dataplex Catalog.

5. Untuk melihat daftar 10 entri terkait yang dibuat baru-baru ini, klik tab Contoh entri.

gcloud

Untuk mengambil detail grup entri, gunakan perintah gcloud dataplex entry-groups describe.

REST

Untuk mengambil detail grup entri, gunakan metode entryGroups.get.

Memperbarui grup entri

Konsol

1. Di konsol Google Cloud, buka halaman Katalog Dataplex.

   Buka Katalog

2. Klik tab Grup entri > Kustom.

3. Klik grup entri yang ingin diperbarui.

4. Di halaman Entry group details, klik Edit.

5. Edit nama tampilan, deskripsi, dan label, sesuai kebutuhan.

6. Klik Simpan.

gcloud

Untuk memperbarui grup entri, gunakan perintah gcloud dataplex entry-groups update.

REST

Untuk memperbarui grup entri, gunakan metode entryGroups.patch.

Menghapus grup entri

Konsol

1. Di konsol Google Cloud, buka halaman Katalog Dataplex.

   Buka Katalog

2. Klik tab Grup entri > Kustom.

3. Klik grup entri yang ingin dihapus.

4. Di halaman Detail grup entri, klik Hapus. Konfirmasi saat diminta.

gcloud

Untuk menghapus grup entri, gunakan perintah gcloud dataplex entry-groups delete.

REST

Untuk menghapus grup entri, gunakan metode entryGroups.delete.

Mengelola jenis entri

Bagian ini menjelaskan cara melihat daftar grup entri yang tersedia, melihat detail, memperbarui, dan menghapus jenis entri.

Melihat daftar jenis entri yang tersedia

Konsol

1. Di konsol Google Cloud, buka halaman Katalog Dataplex.

   Buka Katalog

2. Klik tab Jenis entri.

   Anda dapat mengakses daftar jenis entri kustom dan sistem. Untuk informasi selengkapnya, lihat bagian kategori jenis entri dalam dokumen ini.

3. Untuk melihat daftar jenis entri di semua project, klik tab Custom, lalu klik tombol Show from all projects ke posisi aktif.

   Catatan: Jika tombol Tampilkan dari semua project aktif, Anda tidak dapat mengedit atau menghapus jenis entri secara langsung. Sebagai gantinya, Anda harus mengklik jenis entri untuk membuka halaman detail jenis entri, lalu mengedit atau menghapusnya.

gcloud

Untuk melihat daftar jenis entri yang tersedia, gunakan perintah gcloud dataplex entry-types list.

REST

Untuk melihat daftar jenis entri yang tersedia, gunakan metode entryTypes.list.

Melihat detail jenis entri

Konsol

1. Di konsol Google Cloud, buka halaman Katalog Dataplex.

   Buka Katalog

2. Klik tab Jenis entri > Kustom.

3. Klik jenis entri yang ingin Anda lihat detailnya.

   Halaman detail jenis entri akan terbuka. Anda dapat mengakses informasi seperti nama tampilan, ID jenis entri, deskripsi, project ID, lokasi, platform, sistem, alias jenis, label, tanggal pembuatan, dan tanggal terakhir diubah jenis entri yang dipilih.

4. Untuk melihat daftar 10 entri terkait yang dibuat baru-baru ini, klik tab Contoh entri.

gcloud

Untuk mengambil detail jenis entri, gunakan perintah gcloud dataplex entry-types describe.

REST

Untuk mengambil detail jenis entri, gunakan metode entryTypes.get.

Memperbarui jenis entri

Konsol

1. Di konsol Google Cloud, buka halaman Katalog Dataplex.

   Buka Katalog

2. Klik tab Jenis entri > Kustom.

3. Klik jenis entri yang ingin Anda perbarui.

4. Di halaman Detail jenis entri, klik Edit.

5. Edit nama tampilan, deskripsi, sistem, platform, alias jenis, dan label, sesuai kebutuhan.

6. Klik Simpan.

gcloud

Untuk memperbarui jenis entri, gunakan perintah gcloud dataplex entry-types update.

REST

Untuk memperbarui jenis entri, gunakan metode entryTypes.patch.

Menghapus jenis entri

Konsol

1. Di konsol Google Cloud, buka halaman Katalog Dataplex.

   Buka Katalog

2. Klik tab Jenis entri > Kustom.

3. Klik jenis entri yang ingin dihapus.

4. Di halaman Detail jenis entri, klik Hapus. Konfirmasi saat diminta.

gcloud

Untuk menghapus jenis entri, gunakan perintah gcloud dataplex entry-types delete.

REST

Untuk menghapus jenis entri, gunakan metode entryTypes.delete.

Langkah selanjutnya

• Pelajari cara menelusuri aset data di Katalog Dataplex.
• Pelajari cara mengelola aspek dan memperkaya metadata.
• Pelajari cara mengimpor metadata ke Dataplex.
• Pelajari Dataplex Catalog lebih lanjut.