Transisi dari Data Catalog ke Katalog Dataplex

Jika menggunakan Data Catalog, Anda dapat mentransisikan konten dan penggunaan Data Catalog ke Katalog Dataplex dengan mengikuti langkah-langkah yang dijelaskan dalam dokumen ini.

Catatan: Fitur transisi telah mulai diluncurkan kepada pelanggan. Anda mungkin tidak melihatnya hingga peluncuran selesai.

Jika baru menggunakan katalog, Anda dapat memulai dengan Dataplex Catalog dengan mengonfigurasinya sebagai pengalaman katalog default.

Dokumen ini ditujukan untuk administrator data dan pengelola data.

Dataplex Catalog memiliki antarmuka dan API web baru. Bertransisi ke Katalog Dataplex memungkinkan workload dan pengguna Anda saat ini dan mendatang mendapatkan manfaat dari fitur dan kemampuannya yang ditingkatkan. Untuk mengetahui informasi selengkapnya, lihat Ringkasan Katalog Dataplex.

Untuk perbandingan Katalog Dataplex dan Data Catalog, lihat Katalog Dataplex versus Data Catalog.

Sebelum memulai transisi, tinjau fitur yang tidak didukung di Katalog Dataplex.

Ringkasan transisi

Halaman Kelola transisi ke Dataplex di konsol Google Cloud menyediakan satu titik akses untuk mengelola transisi.

Bagian ini menjelaskan berbagai skenario transisi dan menguraikan proses transisi untuk setiap skenario.

Jika Anda tidak memiliki metadata kustom di Data Catalog atau jika Anda belum pernah menggunakan Data Catalog

Jika Anda menggunakan Data Catalog dan tidak memiliki metadata kustom, seperti tag, template tag, entri kustom, atau grup entri, atau jika Anda belum pernah menggunakan Data Catalog, selesaikan transisi dengan menetapkan pengalaman UI katalog default ke Katalog Dataplex.

Catatan: Jika Anda tidak memiliki metadata kustom di Data Catalog atau jika Anda belum pernah menggunakan Data Catalog, lewati semua tugas lain yang dijelaskan dalam dokumen ini.

Jika Anda memiliki metadata kustom Data Catalog atau beban kerja terprogram

Jika Anda menggunakan Data Catalog dengan metadata kustom (seperti tag, template tag, entri kustom, atau grup entri), Dataplex dapat otomatis mengimpor metadata kustom ini ke Katalog Dataplex sebagai read-only. Untuk mengaktifkan kemampuan ini, perubahan konfigurasi diperlukan seperti yang diuraikan dalam fase persiapan.

Fase kedua adalah fase transfer, saat status aktif (read-write) metadata kustom Anda dipindahkan ke Katalog Dataplex. Selama fase ini, Anda juga harus memperbarui workload terprogram (seperti API, library klien, modul Terraform, dan perintah Google Cloud CLI) untuk berinteraksi dengan Katalog Dataplex.

Berikut adalah detail lebih lanjut tentang setiap fase proses transisi:

1. Fase persiapan: lakukan tugas konfigurasi yang diperlukan agar konten Data Catalog tersedia secara bersamaan di Katalog Dataplex sebagai read-only. Selama fase ini, Data Catalog tetap menjadi sumber tepercaya untuk konten metadata Anda.

   Fase persiapan mencakup tugas-tugas berikut:

   1. Perbarui template tag pribadi Data Catalog menjadi publik.
   2. Ikut serta dalam template tag dan tag untuk ketersediaan metadata secara bersamaan di Katalog Dataplex.
   3. Konfigurasikan izin IAM Katalog Dataplex untuk metadata kustom Anda.

   Untuk mengetahui informasi selengkapnya, lihat Fase persiapan.

2. Fase transfer: pindahkan penggunaan katalog dan status aktif (read-write) metadata kustom Anda ke Dataplex Catalog.

   Fase transfer mencakup tugas-tugas berikut:

   1. Tetapkan pengalaman UI katalog default ke Katalog Dataplex.
   2. Transfer metadata kustom Data Catalog ke Katalog Dataplex.
   3. Memperbarui beban kerja terprogram.

   Saat Anda menyelesaikan fase transfer, Katalog Dataplex menjadi sumber tepercaya untuk semua metadata Anda dan Anda tidak perlu menggunakan Data Catalog.

   Untuk mengetahui informasi selengkapnya, lihat Fase transfer.

Peran yang diperlukan

Untuk mendapatkan izin yang Anda perlukan untuk bertransisi dari Data Catalog ke Dataplex Catalog, berikan peran IAM berikut pada resource:

• Memperbarui template tag pribadi menjadi publik: Data Catalog TagTemplate Owner (roles/datacatalog.tagTemplateOwner)

  Peran yang telah ditentukan ini berisi izin datacatalog.tagTemplates.update, yang diperlukan untuk memperbarui template tag pribadi menjadi publik.

• Ikut serta dalam template tag dan tag publik untuk ketersediaan metadata secara bersamaan di Katalog Dataplex: Admin Konfigurasi Migrasi DataCatalog (roles/datacatalog.migrationConfigAdmin)

  Peran yang telah ditentukan ini berisi izin datacatalog.migrationConfig.set, yang diperlukan untuk mengaktifkan template tag dan tag.

• Menetapkan pengalaman UI katalog default ke Katalog Dataplex: DataCatalog Migration Config Admin (roles/datacatalog.migrationConfigAdmin)

  Peran yang telah ditentukan ini berisi izin datacatalog.migrationConfig.set, yang diperlukan untuk menetapkan pengalaman UI katalog default.

• Mentransfer template tag publik Data Catalog ke Katalog Dataplex: Data Catalog TagTemplate Owner (roles/datacatalog.tagTemplateOwner)

  Peran yang telah ditentukan ini berisi izin datacatalog.tagTemplates.update, yang diperlukan untuk mentransfer template tag publik.

• Mentransfer grup entri Data Catalog ke Katalog Dataplex: DataCatalog EntryGroup Owner (roles/datacatalog.entryGroupOwner)

  Peran bawaan ini berisi izin datacatalog.entryGroups.update, yang diperlukan untuk mentransfer grup entri.

Untuk mengetahui informasi selengkapnya tentang pemberian peran, lihat Mengelola akses ke project, folder, dan organisasi.

Anda mungkin juga bisa mendapatkan izin yang diperlukan dengan peran khusus atau peran bawaan lainnya.

Fase persiapan

Catatan: Lakukan tugas yang dijelaskan di bagian ini hanya jika Anda memiliki metadata kustom Data Catalog atau beban kerja terprogram.

Fase ini melibatkan tugas untuk membuat konten metadata Data Catalog tersedia secara bersamaan di Katalog Dataplex, dalam mode read-only.

Berikut adalah poin-poin penting yang perlu diingat selama fase persiapan:

• Data Catalog tetap menjadi sumber tepercaya untuk metadata kustom Anda.
• Halaman Penelusuran Dataplex mengarah ke penelusuran Data Catalog secara default, yang hanya menyertakan metadata Data Catalog dan bukan metadata Katalog Dataplex.
• Penelusuran Katalog Dataplex mungkin tidak menyertakan semua template dan tag publik Data Catalog hingga Anda menyelesaikan fase persiapan.

Pelajari lebih lanjut ketersediaan metadata Data Catalog secara simultan di Katalog Dataplex

Grup entri kustom Data Catalog dan entrinya sudah tersedia secara bersamaan di Katalog Dataplex sebagai read-only. Saat Anda mengaktifkan template dan tag publik pada fase persiapan, kontennya akan tersedia secara bersamaan di Dataplex Catalog sebagai read-only.

Tabel berikut menunjukkan pemetaan antara resource Data Catalog dan Dataplex Catalog saat resource Data Catalog tersedia secara bersamaan di Dataplex Catalog:

Pemetaan antara Data Catalog dan Dataplex Catalog

Referensi Data Catalog	Resource Dataplex Catalog yang sesuai	Deskripsi
Template tag	Jenis aspek (global)	Template tag di Data Catalog adalah resource regional. Saat Anda mengaktifkan template tag, kontennya akan tersedia secara bersamaan sebagai jenis aspek global di Katalog Dataplex. Hal ini dilakukan untuk mempertahankan referensi lintas regional antara tag dan template tag. Definisi jenis aspek global direplikasi ke semua region Google Cloud. Konsep standar seperti Schema direpresentasikan oleh jenis aspek sistem, yang disediakan oleh Dataplex. Untuk mengetahui informasi selengkapnya, lihat Kategori jenis aspek.
Tag	Aspek opsional	Saat Anda mengaktifkan template tag, tagnya akan tersedia secara bersamaan sebagai aspek opsional di Katalog Dataplex. Untuk mengetahui informasi selengkapnya, lihat Kategori aspek.
Grup entri	Grup entri	Grup entri untuk entri sistem dibuat per project per region di Dataplex Catalog. Grup entri yang dibuat di Data Catalog akan tersedia secara bersamaan di Katalog Dataplex.
Entri kustom	Entri kustom	Semua entri kustom di Data Catalog tersedia secara bersamaan sebagai entri GenericEntryType di Katalog Dataplex. Untuk informasi selengkapnya, lihat Kategori jenis entri.
Entri sistem (Google Cloud)	Aspek yang diperlukan entri sistem	Metadata yang menjelaskan entri sistem, seperti Schema untuk tabel BigQuery, diambil dalam aspek yang diperlukan dari jenis aspek yang ditentukan sistem.

Catatan: Biasanya, pembaruan pada konten Data Catalog di-propagasi ke Katalog Dataplex dalam waktu 10 menit. Dalam beberapa kasus, mungkin diperlukan waktu lebih lama. Untuk memastikan konsistensi data, sebaiknya hentikan semua operasi tulis ke Data Catalog, dan verifikasi resource Katalog Dataplex dengan resource Data Catalog atau sistem sumber asli sebelum digunakan.

Memperbarui template tag pribadi Data Catalog menjadi publik

Catatan: Lakukan tugas ini hanya jika Anda menggunakan template tag dan tag pribadi di Data Catalog.
Pengelola data atau administrator data harus melakukan tugas ini.

Katalog Dataplex tidak mendukung konsep aspek pribadi (padanan dengan tag pribadi). Oleh karena itu, template tag dan tag privat tidak tersedia secara bersamaan di Katalog Dataplex. Untuk menyebarkan template dan tag pribadi di Katalog Dataplex, Anda harus memperbaruinya menjadi publik.

Sebelum melanjutkan, tinjau struktur template tag pribadi untuk memastikan bahwa struktur dan metadatanya konsisten dengan visibilitas tag publik.

Untuk memperbarui template tag dan tag pribadi menjadi publik, ikuti langkah-langkah berikut:

Konsol

1. Di konsol Google Cloud, buka halaman Katalog Dataplex.

   Buka Katalog

2. Klik Kelola transisi ke Dataplex.

3. Klik tab Template tag pribadi.

4. Klik Kelola template tag.

5. Di halaman Tag templates, klik template tag pribadi yang ingin Anda perbarui.

6. Di halaman Detail template, klik Edit.

7. Di bagian Visibilitas, pilih Publik.

8. Klik Perbarui.

REST

Untuk memperbarui template tag pribadi menjadi publik, gunakan metode tagTemplates.patch.

Mengaktifkan template tag dan tag publik untuk ketersediaan metadata secara bersamaan di Katalog Dataplex

Catatan: Lakukan tugas ini hanya jika Anda memiliki template tag dan tag publik di Data Catalog.
Jika Anda memiliki organisasi Google Cloud, administrator organisasi harus mengonfigurasi setelan ini di tingkat organisasi, dan setelan ini berlaku untuk semua template tag dalam organisasi.
Untuk project tanpa organisasi, administrator project harus mengonfigurasi setelan ini untuk setiap project, dan setelan ini berlaku untuk semua template tag dalam project.

Saat Anda memilih ikut serta, konten template tag publik dan tag Data Catalog akan otomatis dan terus-menerus disebarkan ke Katalog Dataplex di seluruh organisasi atau project Google Cloud Anda (tanpa organisasi). Template dan tag publik Data Catalog di-propagasi ke Katalog Dataplex sebagai jenis dan aspek aspek publik. Definisi jenis aspek global direplikasi ke semua region Google Cloud.

Untuk mengaktifkan template dan tag publik, ikuti langkah-langkah berikut:

Konsol

1. Di konsol Google Cloud, buka halaman Katalog Dataplex.

   Buka Katalog

2. Klik Kelola transisi ke Dataplex.

3. Klik tab Ikut serta.

4. Klik Berikan keikutsertaan.

5. Pada dialog konfirmasi, masukkan teks yang ditampilkan, lalu klik Konfirmasi.

REST

Untuk memilih ikut serta dalam template tag dan tag, gunakan metode setConfig.

Untuk organisasi Google Cloud dan project tanpa organisasi, Anda dapat mencabut keikutsertaan yang awalnya diberikan, dengan mengklik Cabut keikutsertaan. Saat Anda mencabut keikutsertaan, proses penyebaran template tag dan tag Data Catalog ke Katalog Dataplex akan berhenti. Jenis aspek dan aspek Dataplex Catalog yang dibuat oleh proses keikutsertaan, tetapi tidak ditransfer ke Dataplex Catalog, akan dihapus. Proses penghapusan mungkin memerlukan waktu hingga 12 jam.

Mengonfigurasi izin IAM Katalog Dataplex untuk metadata kustom Anda

Jenis aspek Katalog Dataplex dan grup entri kustom yang mewakili template tag dan grup entri dari Data Catalog tidak mewarisi izin IAM Data Catalog asli. Anda harus mengonfigurasi izin IAM Dataplex secara manual untuk jenis aspek dan grup entri kustom tersebut.

Misalnya, jika ingin membuat aspek menggunakan jenis aspek yang di-propagate (yang mewakili template tag Data Catalog), Anda harus mengonfigurasi izin IAM yang diperlukan untuk jenis aspek tersebut. Demikian pula, saat menyerap metadata kustom, untuk membuat entri kustom dalam grup entri kustom yang di-propagate, Anda harus mengonfigurasi izin IAM yang diperlukan untuk grup entri tersebut.

Untuk mengonfigurasi izin IAM Dataplex yang diperlukan untuk jenis aspek dan grup entri kustom, ikuti langkah-langkah berikut:

Konsol

1. Di konsol Google Cloud, buka halaman Katalog Dataplex.

   Buka Katalog

2. Klik Kelola transisi ke Dataplex.

3. Klik tab Izin Dataplex.

4. Untuk mengonfigurasi izin IAM Dataplex untuk jenis aspek, klik Jenis aspek dan template tag.

   1. Untuk template tag yang di-push dari Data Catalog, klik > Permissions.

   2. Klik Add principals.

   3. Tambahkan akun utama baru, lalu tetapkan peran yang diperlukan.

   4. Klik Simpan.

5. Untuk mengonfigurasi izin IAM Dataplex untuk grup entri, klik Grup entri.

   1. Untuk grup entri yang di-propagate dari Katalog Data, klik > Permissions.

   2. Klik Add principals.

   3. Tambahkan akun utama baru, lalu tetapkan peran yang diperlukan.

   4. Klik Simpan.

REST

Untuk mengonfigurasi izin IAM Dataplex untuk jenis aspek, gunakan metode aspectTypes.setIamPolicy.

Untuk mengonfigurasi izin IAM Dataplex untuk grup entri, gunakan metode entryGroups.setIamPolicy.

Fase transfer

Catatan: Lakukan tugas yang dijelaskan di bagian ini hanya jika Anda memiliki metadata kustom Data Catalog atau beban kerja terprogram.

Fase ini melibatkan tugas untuk memindahkan status aktif (read-write) metadata kustom Data Catalog Anda ke Katalog Dataplex.

Berikut adalah poin-poin penting yang perlu diingat selama fase transfer:

• Halaman Penelusuran Dataplex mengarah ke penelusuran Katalog Dataplex secara default.
• Anda dapat menemukan dan membaca metadata Data Catalog dan Dataplex Catalog di Dataplex Catalog.
• Untuk memperbarui metadata di konsol Google Cloud, Anda akan dialihkan ke sumbernya. Misalnya, jika Anda memperbarui template tag Data Catalog, Anda akan dialihkan ke halaman template tag di Data Catalog.

Menetapkan pengalaman UI katalog default ke Katalog Dataplex

Catatan: Untuk organisasi Google Cloud, administrator organisasi harus mengonfigurasi setelan ini di tingkat organisasi. Untuk project tanpa organisasi, administrator project harus mengonfigurasi setelan ini untuk setiap project.

Menetapkan pengalaman UI katalog default ke Katalog Dataplex berarti hal berikut:

• Saat Anda membuka halaman Penelusuran Dataplex di konsol Google Cloud, penelusuran Katalog Dataplex akan ditampilkan secara default. Penelusuran Dataplex Catalog beroperasi di atas Dataplex Catalog dan menemukan semua konten metadata Anda, termasuk konten yang dibuat di Dataplex Catalog dan konten yang diambil dari Data Catalog.

  Penelusuran Data Catalog hanya menemukan konten Data Catalog, bukan konten Katalog Dataplex. Oleh karena itu, sebaiknya gunakan penelusuran Katalog Dataplex.

• Antarmuka web mendorong Anda untuk membuat resource baru di Katalog Dataplex. Misalnya, setelan defaultnya adalah Create Aspect Types, bukan Create Tag Templates, dan Create Entry Group (Dataplex Catalog), bukan Create Entry Group (Data Catalog).

• Menetapkan pengalaman UI katalog default ke Katalog Dataplex biasanya merupakan operasi satu arah. Namun, Dataplex memungkinkan Anda mengembalikan perubahan dalam kasus luar biasa, misalnya, saat Anda ingin mengalihkan pengalaman UI Katalog default kembali ke Data Catalog. Jika Anda mengembalikan perubahan, Anda tidak dapat mengakses konten apa pun yang dibuat di Katalog Dataplex, di antarmuka web Data Catalog.

Untuk menetapkan pengalaman UI katalog default ke Katalog Dataplex, ikuti langkah-langkah berikut:

Konsol

1. Di konsol Google Cloud, buka halaman Katalog Dataplex.

   Buka Katalog

2. Klik Kelola transisi ke Dataplex.

3. Klik tab Penelusuran Dataplex.

4. Klik Set the default Catalog UI experience to Dataplex Catalog.

REST

Untuk menetapkan pengalaman UI katalog default ke Katalog Dataplex, gunakan metode setConfig.

Mentransfer metadata kustom Data Catalog ke Katalog Dataplex

Catatan: Administrator data, pengelola data, atau engineer data harus melakukan tugas ini.

Anda dapat mentransfer template tag publik Data Catalog (yang Anda ikut serta) dan grup entri kustom ke Katalog Dataplex. Pastikan Anda mentransfer setiap template tag dan grup entri kustom secara terpisah.

Peringatan: Tindakan transfer tidak dapat diurungkan. Setelah mentransfer template tag dan grup entri Data Catalog yang ada ke Katalog Dataplex, Anda tidak dapat memperbaruinya di Data Catalog. Namun, Anda dapat menghapusnya di Data Catalog karena tidak memengaruhi versi yang ditransfer ke Dataplex Catalog.

Berikut ringkasan proses transfer:

• Efek

  • Mentransfer status aktif untuk resource dari Data Catalog ke Katalog Dataplex. Setelah transfer, untuk mengubah resource atau mengakses statusnya saat ini, Anda harus menggunakan Katalog Dataplex.

• Perubahan pada konten dan alur data

  • Menandai resource sebagai read-only di Data Catalog.
  • Menandai resource sebagai read-write di Katalog Dataplex.
  • Menghentikan ketersediaan serentak resource ini.

• Dependensi

  • Mentransfer template tag juga akan mentransfer semua tag yang menggunakan template tersebut.
  • Mentransfer grup entri juga akan mentransfer semua entri dalam grup tersebut.
  • Mentransfer entri tidak memengaruhi status transfer tag dan template tagnya masing-masing.

Sebelum transfer, untuk mengubah konteks bisnis entri (misalnya, overview, contacts), Anda dapat menggunakan Data Catalog dan Dataplex API. Setelah transfer, Anda hanya boleh menggunakan Dataplex API.

Berikut ini menjelaskan operasi yang diizinkan untuk entri Data Catalog kustom yang diberi tag, bergantung pada status transfer grup entri kustom dan template tag terkait:

• Saat template tag aktif di Data Catalog, Anda dapat menggunakan template tag tersebut untuk membuat tag. Setelah mentransfer template tag ke Katalog Dataplex, Anda tidak dapat menggunakannya untuk membuat tag di Data Catalog.
• Anda dapat membuat aspek menggunakan jenis aspek yang di-propagate dari template tag Data Catalog, hanya setelah Anda mentransfer template tag.

Untuk mentransfer template tag Data Catalog dan grup entri kustom ke Katalog Dataplex, ikuti langkah-langkah berikut:

Konsol

1. Di konsol Google Cloud, buka halaman Katalog Dataplex.

   Buka Katalog

2. Klik Kelola transisi ke Dataplex.

3. Klik tab Transfer to Dataplex.

4. Untuk mentransfer template tag Data Catalog ke Katalog Dataplex, klik Lihat jenis aspek dan template tag.

   1. Pilih template tag yang ingin Anda transfer.

   2. Klik Transfer.

   3. Pada dialog konfirmasi, klik Confirm.

5. Untuk mentransfer grup entri kustom Data Catalog ke Katalog Dataplex, klik Lihat grup entri.

   1. Pilih grup entri yang ingin Anda transfer.

   2. Klik Transfer.

   3. Pada dialog konfirmasi, klik Confirm.

REST

Untuk mentransfer template tag Data Catalog dan grup entri kustom ke Katalog Dataplex, gunakan metode tagTemplates.patch.

Saat Anda menyelesaikan fase transfer, Katalog Dataplex menjadi sumber tepercaya untuk semua metadata, dan Anda tidak perlu menggunakan Data Catalog.

Catatan: Mungkin ada penundaan singkat setelah transfer, sebelum semua perubahan Data Catalog ditampilkan di Katalog Dataplex. Untuk memastikan konsistensi data dalam workload yang sangat penting, sebaiknya verifikasi resource Katalog Dataplex terhadap resource Katalog Data atau sistem sumber asli sebelum digunakan.

Memperbarui workload terprogram

Katalog Dataplex dilengkapi dengan API, library klien, modul Terraform, dan perintah Google Cloud CLI baru. Oleh karena itu, Anda harus mengupdate workload yang ada dengan penggunaan terprogram Data Catalog ke Katalog Dataplex. Lihat contoh kode untuk Dataplex.

Pastikan Anda menyelaraskan pembaruan beban kerja terprogram dengan mentransfer resource dependen, seperti template tag dan grup entri kustom. Hal ini diperlukan karena mentransfer akan memindahkan status aktif (read-write) resource dari Data Catalog ke Dataplex Catalog.

Berikut adalah contoh urutan pembaruan beban kerja terprogram untuk berinteraksi dengan Katalog Dataplex, yang dikoordinasikan dengan mentransfer resource dependen:

1. Jika workload Anda dapat menoleransi konsistensi akhir, pindahkan operasi read workload ke Katalog Dataplex.

2. Pindahkan beban kerja yang melakukan operasi write pemberian tag ke Katalog Dataplex yang dikoordinasikan dengan mentransfer template tag yang sesuai.

3. Pindahkan beban kerja yang melakukan operasi write penyerapan kustom ke Katalog Dataplex yang dikoordinasikan dengan mentransfer grup entri kustom masing-masing.

Jika Anda perlu memisahkan beban kerja pembaruan dan mentransfer resource yang sesuai, pertimbangkan untuk menerapkan logika dalam beban kerja untuk merutekan read-write ke Katalog Data atau Katalog Dataplex pada status transfer resource. Dengan demikian, workload akan beroperasi secara independen dari status transfer resource terkait.

Catatan: Katalog Dataplex tidak mendukung pengelolaan entri dan aspek kustom menggunakan Terraform. Untuk mengelola aspek entri kustom, gunakan bulk entry import. Anda tidak dapat mengelola aspek untuk entri sistem (yang dibuat secara otomatis oleh Dataplex untuk resource Google Cloud Anda) menggunakan bulk entry import.

Langkah selanjutnya

• Pelajari Katalog Dataplex lebih lanjut.
• Pelajari cara menelusuri resource di Katalog Dataplex.
• Pelajari cara mengelola aspek dan memperkaya metadata di Katalog Dataplex.
• Pelajari cara mengelola entri dan menyerap sumber kustom di Katalog Dataplex.
• Lihat referensi Dataplex Catalog API.