Mengelola entri dan menyerap sumber kustom

Dokumen ini menjelaskan cara membuat dan mengelola jenis entri, grup entri, dan entri kustom untuk memungkinkan integrasi sumber data kustom ke dalam Dataplex.

Entri mewakili resource yang metadatanya Anda tangkap. Grup entri adalah penampung untuk satu atau beberapa entri, yang digunakan untuk mengelola kontrol akses dan lokasi regional. Jenis entri menentukan metadata yang diperlukan untuk entri. Jenis entri menghadirkan struktur dan aturan menjadi resource entri yang mengalir bebas dan didefinisikan secara longgar, sehingga entri dapat diperluas.

Untuk mengintegrasikan sumber data kustom ke Dataplex, Anda perlu membuat entri kustom menggunakan jenis entri kustom yang berada dalam grup entri kustom. Membuat entri kustom melibatkan langkah-langkah tingkat tinggi berikut:

1. Buat grup entri.
2. Membuat jenis entri.
3. Buat entri kustom untuk jenis entri dalam grup entri.

Entri

Entri mewakili aset data yang metadatanya Anda ambil. Setiap entri adalah instance dari jenis entri. Setiap operasi pada aspek untuk entri harus mematuhi aspek yang diperlukan dari jenis entrinya. Misalnya, saat membuat entri, Anda harus memberikan nilai untuk semua jenis aspek yang ditentukan oleh jenis entri. Anda tidak dapat menghapus aspek tersebut untuk entri yang ditandai sebagai required dalam jenis entri.

Kategori entri

• Entri sistem: Dataplex membuat entri untuk resource Google Cloud, seperti set data atau tabel BigQuery. Entri yang dibuat Dataplex disebut entri sistem. Dataplex secara otomatis terus memperbarui entri sistem melalui sinkronisasi metadata berkelanjutan dari sistem Google Cloud yang didukung.

  Anda tidak dapat mengubah metadata yang diisi secara otomatis (disebut aspek wajib) untuk entri sistem. Anda hanya dapat menambahkan dan mengubah metadata tambahan untuk entri sistem menggunakan aspek opsional. Untuk mengetahui informasi selengkapnya, lihat Kategori aspek.

• Entri kustom: entri yang dapat dibuat dan dikelola untuk resource kustom disebut entri kustom. Resource kustom adalah resource dalam layanan non-Google yang dihosting di Google Cloud atau secara eksternal (misalnya, secara lokal).

Grup entri

Grup entri adalah container untuk satu atau beberapa entri. Anda dapat menggunakan grup entri untuk mengelola kontrol akses dan lokasi regional untuk entri. Setiap grup entri adalah milik sebuah project.

Kategori grup entri

• Grup entri sistem: untuk resource Google Cloud, Dataplex otomatis membuat grup entri untuk setiap sistem di setiap project dan lokasi tempat resource berada. Misalnya, @bigquery adalah grup entri sistem untuk BigQuery.

• Grup entri kustom: Grup entri yang Anda buat untuk resource kustom.

Jenis entri

Jenis entri menentukan metadata yang diperlukan untuk entri jenis ini, menggunakan sekumpulan jenis aspek yang diperlukan.

Anda dapat menentukan jenis aspek yang diperlukan hanya pada entri, bukan pada kolom entri. Saat membuat entri jenis entri tertentu, Anda harus memberikan nilai untuk semua jenis aspek wajib yang ditentukan oleh jenis entri.

Jenis aspek yang diperlukan yang direferensikan dalam jenis entri harus berasal dari project yang sama dengan jenis entri.

Kategori jenis entri

• Jenis entri kustom: Jenis entri yang Anda buat dan kelola. Anda dapat menggunakan jenis entri ini untuk membuat entri kustom.

• Jenis entri sistem: Dataplex menyediakan jenis entri ini secara default. Jenis entri sistem selanjutnya dikategorikan menjadi dapat digunakan kembali dan dibatasi.

  Tabel berikut menjelaskan kategori jenis entri sistem, dan daftar jenis entri yang disediakan Dataplex untuk setiap kategori:

  Kategori jenis entri sistem	Deskripsi	Jenis entri yang disediakan Dataplex
  Jenis entri sistem yang dapat digunakan kembali	Anda dapat menggunakan jenis entri ini untuk membuat entri kustom.	generic
  Jenis entri sistem yang dibatasi	Ini dicadangkan untuk penggunaan sistem, seperti membuat entri untuk resource Google Cloud. Anda tidak dapat menggunakan jenis entri ini untuk membuat entri, tetapi Anda dapat mengedit entri dari jenis entri ini untuk menambahkan aspek opsional.	bigquery-connection bigquery-dataset bigquery-model bigquery-routine bigquery-table bigquery-view cloudsql-database cloudsql-instance cloudsql-schema cloudsql-table cloudsql-view sql-access storage storage-bucket storage-folder

Catatan: Entri berjenis entrygroup mewakili grup entri dan dibuat secara otomatis saat grup entri dibuat. Anda dapat mencari entri jenis ini. Tidak seperti entri reguler, Anda tidak dapat menghapus entri ini. Sebagai gantinya, Anda harus menghapus grup entri.

Anda dapat membuat jenis entri kustom di lokasi regional tertentu atau sebagai resource global. Jenis entri sistem selalu bersifat global. Lokasi jenis entri memengaruhi cakupan penerapannya. Untuk mengetahui informasi selengkapnya, lihat Batasan project dan lokasi.

Sebelum memulai

Sebelum mengelola entri dan menyerap sumber data kustom, pastikan Anda telah menyelesaikan tugas yang dijelaskan di bagian ini.

Peran yang diperlukan

Untuk mendapatkan izin yang diperlukan untuk membuat dan mengelola entri, minta administrator untuk memberi Anda peran IAM berikut pada resource:

• Kumpulan lengkap izin pada entri, grup entri, dan jenis entri: Dataplex Catalog Admin (roles/dataplex.catalogAdmin)
• Membuat dan mengelola semua resource Dataplex Catalog termasuk entri, grup entri, dan jenis entri: Dataplex Catalog Editor (roles/dataplex.catalogEditor)
• Akses penuh ke operasi terkait entri: Dataplex Entry Owner (roles/dataplex.entryOwner)
• Melihat entri, grup entri, dan jenis entri, serta kebijakan IAM yang terkait: Dataplex Catalog Viewer (roles/dataplex.catalogViewer)
• Gunakan jenis aspek untuk membuat aspek dari jenis tersebut, saat membuat entri kustom: Dataplex Aspect Type User (roles/dataplex.aspectTypeUser)
• Buat dan kelola grup entri: Dataplex Entry Group Owner (roles/dataplex.entryGroupOwner)
• Buat dan kelola jenis entri: Dataplex Entry Type Owner (roles/dataplex.entryTypeOwner)
• Gunakan jenis entri untuk membuat dan mengubah entri dari jenis tersebut: Dataplex Entry Type User (roles/dataplex.entryTypeUser)

Untuk mengetahui informasi selengkapnya tentang pemberian peran, lihat Mengelola akses.

Anda mungkin juga bisa mendapatkan izin yang diperlukan melalui peran khusus atau peran bawaan lainnya.

Catatan: Saat menggunakan jenis entri untuk membuat dan mengubah entri dari jenis tersebut, jika jenis entri dan entri berada dalam project yang berbeda, Anda harus memberikan peran IAM Dataplex Entry Type User (roles/dataplex.entryTypeUser) pada project tempat jenis entri berada.

Untuk mengetahui informasi selengkapnya, lihat Peran IAM Dataplex.

Mengaktifkan API

Aktifkan Dataplex API di project Dataplex Anda.

Mengaktifkan API

Membuat grup entri

Konsol

1. Di konsol Google Cloud, buka halaman Catalog Dataplex.

   Buka Katalog

2. Klik tab Grup entri > Khusus.

3. Klik Create.

4. Di jendela Create entry group, masukkan informasi berikut:

   • Opsional: Di kolom Display name, masukkan nama tampilan untuk grup entri Anda.
   • ID grup entri: Masukkan ID unik untuk grup entri Anda.
   • Opsional: Di kolom Description, masukkan deskripsi untuk grup entri Anda.
   • Lokasi: Pilih lokasi. Anda tidak dapat mengubah lokasi setelah membuat grup entri.

5. Opsional: Di bagian Labels, tambahkan label arbitrer sebagai key-value pair ke resource:

   1. Klik Tambahkan label.
   2. Di kolom Kunci, masukkan kunci.
   3. Di kolom Nilai, masukkan nilai untuk kunci.
   4. Untuk menambahkan label lainnya, klik Tambahkan label dan ulangi langkah tersebut.

6. Klik Save.

REST

Untuk membuat grup entri, gunakan metode entryGroups.Create.

Membuat jenis entri

Untuk menyerap sumber baru, Anda harus membuat jenis entri.

Konsol

1. Di konsol Google Cloud, buka halaman Catalog Dataplex.

   Buka Katalog

2. Klik tab Jenis entri > Kustom.

3. Klik Create.

4. Di jendela Create entry type, masukkan informasi berikut:

   1. Opsional: Di kolom Nama tampilan, masukkan nama tampilan untuk jenis entri Anda.
   2. ID jenis entri: Masukkan ID unik untuk jenis entri Anda. Anda tidak dapat mengubahnya setelah membuat jenis entri.
   3. Opsional: Di kolom Description, masukkan deskripsi untuk jenis entri Anda.
   4. Opsional: Di kolom System, masukkan sistem sumber.
   5. Opsional: Di kolom Platform, masukkan platform tempat entri jenis ini berada. Contoh, Google Cloud.
   6. Di kolom Lokasi, pilih lokasi. Anda tidak dapat mengubah lokasi setelah membuat jenis entri.

5. Opsional: Di bagian Alias jenis, tentukan jenis data untuk jenis entri Anda. Tipe data dapat digunakan untuk membuat kueri entri.

   1. Klik Tambahkan alias jenis.
   2. Di kolom Alias jenis, pilih jenis data. Anda dapat menambahkan beberapa alias jenis.

6. Di bagian Jenis aspek yang diperlukan, pilih jenis aspek yang wajib ada untuk jenis entri ini. Setiap entri yang dibuat berdasarkan jenis ini akan memiliki jenis aspek yang diperlukan tersebut.

   1. Klik Pilih jenis aspek.
   2. Di jendela Pilih jenis aspek, pilih jenis aspek.
   3. Klik Select.

   Anda tidak dapat menghapus aspek yang diperlukan dari entri.

7. Opsional: Di bagian Labels, tambahkan label arbitrer sebagai key-value pair ke resource:

   1. Klik Tambahkan label.
   2. Di kolom Kunci, masukkan kunci.
   3. Di kolom Nilai, masukkan nilai untuk kunci.
   4. Untuk menambahkan label lainnya, klik Tambahkan label dan ulangi langkah tersebut.

8. Klik Save.

REST

Untuk membuat jenis entri, gunakan metode entryType.create.

Membuat entri kustom

Sebelum membuat entri kustom, pastikan Anda telah membuat grup entri dan jenis entri.

Konsol

Membuat entri kustom tidak didukung di Konsol Google Cloud. Sebagai gantinya, gunakan Google Cloud CLI atau API.

REST

Untuk membuat entri kustom, gunakan metode entries.create.

Setelah membuat entri kustom, Anda dapat menambahkan aspek ke entri. Untuk informasi selengkapnya, lihat Menambahkan aspek ke entri.

Mengelola grup entri

Bagian ini menjelaskan cara melihat daftar grup entri yang tersedia, melihat detail, memperbarui, dan menghapus grup entri.

Catatan: Grup entri yang diambil dari Data Catalog memiliki akhiran (Data Catalog). Anda tidak dapat mengedit atau menghapus grup entri ini, tetapi Anda dapat mengelola izinnya.

Melihat daftar grup entri yang tersedia

Konsol

1. Di konsol Google Cloud, buka halaman Catalog Dataplex.

   Buka Katalog

2. Klik tab Grup entri.

   Anda dapat mengakses daftar grup entri sistem dan kustom. Untuk mengetahui informasi selengkapnya, lihat bagian kategori grup entri dalam dokumen ini.

   Di tab Custom, grup entri dengan akhiran (Data Catalog) adalah grup entri yang dibawa dari Data Catalog.

3. Untuk melihat daftar grup entri di semua project, klik tab Custom, lalu klik tombol Show from all projects ke posisi aktif.

   Catatan: Jika tombol Tampilkan dari semua project aktif, Anda tidak dapat mengedit atau menghapus grup entri secara langsung. Sebagai gantinya, Anda harus mengklik grup entri untuk membuka halaman detail grup entri, lalu mengedit atau menghapusnya.

REST

Untuk melihat daftar grup entri yang tersedia, gunakan metode entryGroups.list.

Melihat detail grup entri

Konsol

1. Di konsol Google Cloud, buka halaman Catalog Dataplex.

   Buka Katalog

2. Klik tab Grup entri.

3. Klik grup entri yang ingin Anda lihat detailnya.

   Halaman detail grup entri akan terbuka. Anda dapat mengakses informasi seperti nama tampilan, ID grup entri, deskripsi, project ID, lokasi, label, tanggal pembuatan, dan tanggal terakhir diubah untuk grup entri yang dipilih.

4. Jika grup entri diambil dari Data Catalog, yang ditandai dengan akhiran (Data Catalog), Anda dapat melihat detailnya di antarmuka Data Catalog dan Dataplex Catalog. Untuk melakukannya, di halaman detail grup entri, pilih Data Catalog atau Dataplex Catalog.

5. Untuk melihat daftar 10 entri terkait yang dibuat baru-baru ini, klik tab Sample entries.

REST

Untuk mengambil detail grup entri, gunakan metode entryGroups.get.

Memperbarui grup entri

Konsol

1. Di konsol Google Cloud, buka halaman Catalog Dataplex.

   Buka Katalog

2. Klik tab Grup entri > Khusus.

3. Klik grup entri yang ingin diperbarui.

4. Di halaman Detail grup entri, klik Edit.

5. Edit nama tampilan, deskripsi, dan label sesuai kebutuhan.

6. Klik Save.

REST

Untuk memperbarui grup entri, gunakan metode entryGroups.patch.

Menghapus grup entri

Konsol

1. Di konsol Google Cloud, buka halaman Catalog Dataplex.

   Buka Katalog

2. Klik tab Grup entri > Khusus.

3. Klik grup entri yang ingin dihapus.

4. Di halaman Detail grup entri, klik Hapus. Konfirmasi saat diminta.

REST

Untuk menghapus grup entri, gunakan metode entryGroups.delete.

Mengelola jenis entri

Bagian ini menjelaskan cara melihat daftar grup entri yang tersedia, melihat detail, memperbarui, dan menghapus jenis entri.

Lihat daftar jenis entri yang tersedia

Konsol

1. Di konsol Google Cloud, buka halaman Catalog Dataplex.

   Buka Katalog

2. Klik tab Jenis entri.

   Anda dapat mengakses daftar jenis entri sistem dan kustom. Untuk mengetahui informasi selengkapnya, lihat bagian kategori jenis entri dalam dokumen ini.

3. Untuk melihat daftar jenis entri di semua project, klik tab Custom, lalu klik tombol Show from all projects ke posisi aktif.

   Catatan: Jika tombol Tampilkan dari semua project aktif, Anda tidak dapat mengedit atau menghapus jenis entri secara langsung. Sebagai gantinya, Anda harus mengklik jenis entri untuk membuka halaman detail jenis entri, lalu mengedit atau menghapusnya.

REST

Untuk melihat daftar jenis entri yang tersedia, gunakan metode entryTypes.list.

Melihat detail jenis entri

Konsol

1. Di konsol Google Cloud, buka halaman Catalog Dataplex.

   Buka Katalog

2. Klik tab Jenis entri > Khusus..

3. Klik jenis entri yang ingin Anda lihat detailnya.

   Halaman detail jenis entri akan terbuka. Anda dapat mengakses informasi seperti nama tampilan, ID jenis entri, deskripsi, project ID, lokasi, platform, sistem, alias jenis, label, tanggal pembuatan, dan tanggal terakhir diubah dari jenis entri yang dipilih.

4. Untuk melihat daftar 10 entri terkait yang dibuat baru-baru ini, klik tab Sample entries.

REST

Untuk mengambil detail jenis entri, gunakan metode entryTypes.get.

Memperbarui jenis entri

Konsol

1. Di konsol Google Cloud, buka halaman Catalog Dataplex.

   Buka Katalog

2. Klik tab Jenis entri > Kustom.

3. Klik jenis entri yang ingin Anda perbarui.

4. Di halaman Detail jenis entri, klik Edit.

5. Edit nama tampilan, deskripsi, sistem, platform, alias jenis, dan label sesuai kebutuhan.

6. Klik Save.

REST

Untuk memperbarui jenis entri, gunakan metode entryTypes.patch.

Menghapus jenis entri

Konsol

1. Di konsol Google Cloud, buka halaman Catalog Dataplex.

   Buka Katalog

2. Klik tab Jenis entri > Kustom.

3. Klik jenis entri yang ingin dihapus.

4. Di halaman Detail jenis entri, klik Hapus. Konfirmasi saat diminta.

REST

Untuk menghapus jenis entri, gunakan metode entryTypes.delete.

Langkah selanjutnya

• Pelajari cara menelusuri aset data di Dataplex Catalog.
• Pelajari cara mengelola aspek dan memperkaya metadata.
• Pelajari Dataplex Catalog lebih lanjut.