Mengelola entri dan menyerap sumber kustom

Dokumen ini menjelaskan cara membuat dan mengelola jenis entri, grup entri, dan entri kustom untuk memungkinkan integrasi sumber data kustom ke dalam Dataplex.

Entri mewakili resource yang metadatanya Anda tangkap. Grup entri adalah penampung untuk satu atau beberapa entri, yang digunakan untuk mengelola lokasi HTTP/HTTPS. Jenis entri menentukan metadata yang diperlukan untuk entri. Jenis entri membawa struktur dan aturan menjadi sumber daya entri yang mengalir bebas dan didefinisikan secara longgar, yang memungkinkan entri dapat diperluas.

Untuk mengintegrasikan sumber data kustom ke Dataplex, Anda harus membuat entri dengan menggunakan tipe entri khusus yang ada di bawah grup entri khusus. Membuat entri kustom melibatkan langkah-langkah tingkat tinggi berikut:

  1. Buat grup entri.
  2. Membuat jenis entri.
  3. Buat entri kustom untuk jenis entri dalam grup entri.

Entri

Entri mewakili aset data yang metadatanya Anda ambil. Setiap entri instance dari jenis entri. Setiap operasi pada aspek untuk entri perlu memenuhi aspek yang dibutuhkan dari jenis entrinya. Misalnya, saat Anda membuat entri, Anda harus memberikan nilai untuk semua tipe aspek yang ditentukan oleh jenis entri. Anda tidak dapat menghapus aspek-aspek tersebut untuk entri yang ditandai sebagai required dalam jenis entri.

Kategori entri

  • Entri sistem: Dataplex membuat entri untuk Google Cloud seperti set data atau tabel BigQuery. Entri yang Dataplex yang dibuat disebut entri sistem. Dataplex secara otomatis terus memperbarui entri sistem melalui metadata berkelanjutan sinkronisasi dari sistem Google Cloud yang didukung.

    Anda tidak dapat mengubah metadata yang diisi secara otomatis (dipanggil wajib aspek) untuk entri sistem. Anda hanya dapat menambahkan dan mengubah metadata tambahan entri sistem dengan menggunakan aspek opsional. Untuk informasi selengkapnya, lihat Kategori aspek.

  • Entri kustom: entri yang dapat Anda buat dan kelola resource kustom disebut entri kustom. Resource kustom adalah resource di layanan non-Google yang dihosting di Google Cloud atau secara eksternal (misalnya, secara lokal).

Grup entri

Grup entri adalah container untuk satu atau beberapa entri. Anda dapat menggunakan grup entri untuk mengelola kontrol akses dan lokasi regional untuk entri. Setiap entri suatu grup milik suatu project.

Kategori grup entri

  • Grup entri sistem: untuk resource Google Cloud, Dataplex secara otomatis membuat kelompok entri untuk setiap sistem di setiap proyek dan lokasi tempat resource berada. Misalnya, @bigquery adalah entri sistem grup untuk BigQuery.

  • Grup entri kustom: Grup entri yang Anda buat untuk resource kustom.

Jenis entri

Jenis entri menentukan metadata yang diperlukan untuk entri jenis ini, menggunakan kumpulan jenis aspek yang diperlukan.

Anda dapat menentukan jenis aspek yang diperlukan hanya pada entri, bukan pada kolom entri. Saat Anda membuat entri dari jenis entri tertentu, Anda harus memberikan nilai untuk semua jenis aspek wajib yang ditentukan oleh jenis entri.

Jenis aspek wajib yang dirujuk dalam jenis entri harus berasal dari project yang sama dengan jenis entri.

Kategori jenis entri

  • Jenis entri kustom: Jenis entri yang Anda buat dan kelola. Anda dapat menggunakan tipe entri ini untuk membuat entri kustom.

  • Jenis entri sistem: Dataplex menyediakan jenis entri ini secara {i>default<i}. Jenis entri sistem selanjutnya dikategorikan menjadi dapat digunakan kembali dan dibatasi.

    Tabel berikut menjelaskan kategori jenis entri sistem, dan daftar tipe entri yang disediakan Dataplex untuk setiap kategori:

    Kategori jenis entri sistem Deskripsi Jenis entri yang disediakan Dataplex
    Jenis entri sistem yang dapat digunakan kembali Anda dapat menggunakan jenis entri ini untuk membuat entri kustom.
    • generic
    Jenis entri sistem yang dibatasi Ini dicadangkan untuk penggunaan sistem, seperti membuat entri untuk akses terperinci ke resource Google Cloud tertentu.

    Anda tidak dapat menggunakan jenis entri ini untuk membuat entri, tetapi Anda dapat mengedit entri jenis entri ini untuk menambahkan aspek opsional.
    • bigquery-connection
    • bigquery-dataset
    • bigquery-model
    • bigquery-routine
    • bigquery-table
    • bigquery-view
    • cloudsql-database
    • cloudsql-instance
    • cloudsql-schema
    • cloudsql-table
    • cloudsql-view
    • sql-access
    • storage
    • storage-bucket
    • storage-folder

Anda dapat membuat jenis entri khusus di lokasi regional tertentu atau sebagai Google Cloud Platform. Jenis entri sistem selalu bersifat global. Lokasi jenis entri berdampak pada ruang lingkup penerapannya. Untuk informasi selengkapnya, lihat Batasan project dan lokasi.

Sebelum memulai

Sebelum mengelola entri dan menyerap sumber data kustom, pastikan Anda telah menyelesaikan tugas-tugas yang dijelaskan dalam bagian ini.

Peran yang diperlukan

Untuk mendapatkan izin yang Anda butuhkan untuk membuat dan mengelola entri, minta administrator untuk memberi Anda peran IAM berikut pada resource:

Untuk mengetahui informasi selengkapnya tentang cara memberikan peran, lihat Mengelola akses ke project, folder, dan organisasi.

Anda mungkin juga bisa mendapatkan izin yang diperlukan melalui peran khusus atau peran bawaan lainnya.

Untuk informasi selengkapnya, lihat Peran IAM Dataplex.

Mengaktifkan API

Aktifkan Dataplex API di project Dataplex Anda.

Mengaktifkan API

Membuat grup entri

Konsol

  1. Di konsol Google Cloud, buka halaman Catalog Dataplex.

    Buka Katalog

  2. Klik tab Grup entri &gt; Khusus.

  3. Klik Create.

  4. Di jendela Create entry group, masukkan informasi berikut:

    • Opsional: Di kolom Nama tampilan, masukkan nama tampilan untuk grup entri.
    • ID grup entri: Masukkan ID unik untuk grup entri Anda.
    • Opsional: Di kolom Deskripsi, masukkan deskripsi untuk grup entri.
    • Lokasi: Pilih lokasi. Anda tidak dapat mengubah lokasi setelah Anda membuat grup entri.

  5. Opsional: Di bagian Label, tambahkan label arbitrer sebagai nilai kunci ke resource Anda:

    1. Klik Tambahkan label.
    2. Di kolom Kunci, masukkan kunci.
    3. Di kolom Nilai, masukkan nilai untuk kunci.
    4. Untuk menambahkan label lainnya, klik Tambahkan label dan ulangi langkah tersebut.

  6. Klik Simpan.

REST

Untuk membuat grup entri, gunakan metode entryGroups.Create .

Membuat jenis entri

Untuk menyerap sumber baru, Anda harus membuat jenis entri.

Konsol

  1. Di konsol Google Cloud, buka halaman Catalog Dataplex.

    Buka Katalog

  2. Klik tab Jenis entri &gt; Kustom.

  3. Klik Create.

  4. Di jendela Create entry type, masukkan informasi berikut:

    1. Opsional: Di kolom Nama tampilan, masukkan nama tampilan untuk jenis entri.
    2. ID jenis entri: Masukkan ID unik untuk jenis entri Anda. Anda tidak bisa ubah ini setelah Anda membuat jenis entri.
    3. Opsional: Di kolom Deskripsi, masukkan deskripsi untuk jenis entri.
    4. Opsional: Di kolom System, masukkan sistem sumber.
    5. Opsional: Di kolom Platform, masukkan platform tempat masuk dari jenis ini. Contoh, Google Cloud.
    6. Di kolom Lokasi, pilih lokasi. Anda tidak dapat mengubah lokasi setelah Anda membuat jenis entri.

  5. Opsional: Di bagian Alias jenis, tentukan jenis data untuk jenis entri Anda. Tipe data dapat digunakan untuk membuat kueri entri.

    1. Klik Tambahkan alias jenis.
    2. Di kolom Alias jenis, pilih jenis data. Anda dapat menambahkan beberapa alias jenis.

  6. Di bagian Jenis aspek yang diperlukan, pilih jenis aspek yang bersifat wajib untuk jenis entri ini. Setiap entri yang dibuat berdasarkan jenis aspek yang diperlukan ini akan ditetapkan.

    1. Klik Pilih jenis aspek.
    2. Di jendela Pilih jenis aspek, pilih jenis aspek.
    3. Klik Pilih.

    Anda tidak dapat menghapus aspek yang diperlukan dari entri.

  7. Opsional: Di bagian Label, tambahkan label arbitrer sebagai nilai kunci ke resource Anda:

    1. Klik Tambahkan label.
    2. Di kolom Kunci, masukkan kunci.
    3. Di kolom Nilai, masukkan nilai untuk kunci.
    4. Untuk menambahkan label lainnya, klik Tambahkan label dan ulangi langkah tersebut.

  8. Klik Simpan.

REST

Untuk membuat jenis entri, gunakan metode entryType.create .

Membuat entri kustom

Sebelum membuat entri kustom, pastikan Anda memiliki membuat grup entri dan jenis entri.

Konsol

Membuat entri kustom tidak didukung di Konsol Google Cloud. Sebagai gantinya, gunakan Google Cloud CLI atau Compute Engine API.

REST

Untuk membuat entri kustom, gunakan metode entries.create .

Setelah membuat entri kustom, Anda dapat menambahkan aspek ke entri. Sebagai informasi selengkapnya, lihat Menambahkan aspek ke entri.

Mengelola grup entri

Bagian ini menjelaskan cara melihat daftar grup entri yang tersedia, melihat detail, memperbarui, dan menghapus grup entri.

Melihat daftar grup entri yang tersedia

Konsol

  1. Di konsol Google Cloud, buka halaman Catalog Dataplex.

    Buka Katalog

  2. Klik tab Grup entri.

    Anda dapat mengakses daftar grup entri sistem dan kustom. Untuk selengkapnya informasi tambahan, lihat kategori grup entri dari dokumen ini.

    Pada tab Kustom, grup entri dengan akhiran (Data Catalog) adalah grup entri yang dibawa dari Data Catalog.

  3. Untuk melihat daftar grup entri di semua project, klik Tab Kustom, lalu klik tombol Tampilkan dari semua project untuk posisi nyala.

REST

Untuk melihat daftar grup entri yang tersedia, gunakan entryGroups.list .

Melihat detail grup entri

Konsol

  1. Di konsol Google Cloud, buka halaman Catalog Dataplex.

    Buka Katalog

  2. Klik tab Grup entri.

  3. Klik grup entri yang ingin Anda lihat detailnya.

    Halaman detail grup entri akan terbuka. Anda dapat mengakses informasi seperti nama tampilan, ID grup entri, deskripsi, project ID, lokasi, label, pembuatan, dan tanggal perubahan terakhir dari grup entri yang dipilih.

  4. Jika grup entri dibawa dari Data Catalog, yang ditandai dengan akhiran (Data Catalog), Anda dapat melihat detailnya di Data Catalog dan Dataplex Catalog antarmuka. Untuk melakukannya, pada laman detail grup entri, pilih Data Catalog atau Dataplex Catalog.

  5. Untuk melihat daftar 10 entri terkait yang dibuat baru-baru ini, Klik tab Sample entries.

REST

Untuk mengambil detail grup entri, gunakan metode entryGroups.get .

Memperbarui grup entri

Konsol

  1. Di konsol Google Cloud, buka halaman Catalog Dataplex.

    Buka Katalog

  2. Klik tab Grup entri &gt; Khusus.

  3. Klik grup entri yang ingin diperbarui.

  4. Di halaman Detail grup entri, klik Edit.

  5. Edit nama tampilan, deskripsi, dan label sesuai kebutuhan.

  6. Klik Simpan.

REST

Untuk memperbarui grup entri, gunakan entryGroups.patch .

Menghapus grup entri

Konsol

  1. Di konsol Google Cloud, buka halaman Catalog Dataplex.

    Buka Katalog

  2. Klik tab Grup entri &gt; Khusus.

  3. Klik grup entri yang ingin dihapus.

  4. Di halaman Detail grup entri, klik Hapus. Konfirmasi kapan diminta.

REST

Untuk menghapus grup entri, gunakan metode entryGroups.delete .

Kelola jenis entri

Bagian ini menjelaskan cara melihat daftar grup entri yang tersedia, melihat detail, memperbarui, dan menghapus jenis entri.

Lihat daftar jenis entri yang tersedia

Konsol

  1. Di konsol Google Cloud, buka halaman Catalog Dataplex.

    Buka Katalog

  2. Klik tab Jenis entri.

    Anda dapat mengakses daftar jenis entri sistem dan kustom. Untuk selengkapnya informasi tambahan, lihat kategori jenis entri dari dokumen ini.

  3. Untuk melihat daftar jenis entri di semua project, klik Tab Kustom, lalu klik tombol Tampilkan dari semua project ke tombol pada posisi.

REST

Untuk melihat daftar jenis entri yang tersedia, gunakan entryTypes.list .

Melihat detail jenis entri

Konsol

  1. Di konsol Google Cloud, buka halaman Catalog Dataplex.

    Buka Katalog

  2. Klik tab Jenis entri &gt; Khusus..

  3. Klik jenis entri yang ingin Anda lihat detailnya.

    Halaman detail jenis entri akan terbuka. Anda dapat mengakses informasi seperti nama tampilan, ID jenis entri, deskripsi, ID project, lokasi, platform, sistem, jenis alias, label, tanggal pembuatan, dan tanggal perubahan terakhir jenis entri yang dipilih.

  4. Untuk melihat daftar 10 entri terkait yang dibuat baru-baru ini, Klik tab Sample entries.

REST

Untuk mengambil detail jenis entri, gunakan metode entryTypes.get .

Memperbarui jenis entri

Konsol

  1. Di konsol Google Cloud, buka halaman Catalog Dataplex.

    Buka Katalog

  2. Klik tab Jenis entri &gt; Kustom.

  3. Klik jenis entri yang ingin Anda perbarui.

  4. Di halaman Detail jenis entri, klik Edit.

  5. Mengedit nama tampilan, deskripsi, sistem, platform, alias jenis, dan label, sesuai kebutuhan.

  6. Klik Simpan.

REST

Untuk memperbarui jenis entri, gunakan metode entryTypes.patch .

Menghapus jenis entri

Konsol

  1. Di konsol Google Cloud, buka halaman Catalog Dataplex.

    Buka Katalog

  2. Klik tab Jenis entri &gt; Kustom.

  3. Klik jenis entri yang ingin dihapus.

  4. Di halaman Detail jenis entri, klik Hapus. Konfirmasi kapan diminta.

REST

Untuk menghapus jenis entri, gunakan metode entryTypes.delete .

Langkah selanjutnya