Mengintegrasikan sumber data dengan Data Catalog

Data Catalog dapat mengimpor dan menyimpan metadata terbaru dari beberapa sumber data Google Cloud serta sejumlah sumber data lokal yang populer.

Dengan metadata yang diserap, Data Catalog akan melakukan hal berikut:

• Membuat metadata yang sudah ada dapat ditemukan melalui penelusuran. Untuk mengetahui informasi selengkapnya, lihat Cara menelusuri.
• Memungkinkan anggota organisasi untuk memperkaya data Anda dengan metadata bisnis tambahan melalui tag. Untuk informasi lebih lanjut, lihat Tag dan template tag.

Meskipun integrasi dengan sumber Google Cloud bersifat otomatis, untuk berintegrasi dengan sumber lokal kustom yang digunakan organisasi Anda, Anda dapat:

• Menyiapkan dan menjalankan connectors yang sesuai yang dikontribusikan oleh komunitas.
• Atau manfaatkan Data Catalog API untuk entri kustom.

Sebelum memulai

Jika sudah menggunakan Data Catalog, Anda harus sudah memiliki project dengan Data Catalog API yang diaktifkan. Untuk informasi selengkapnya tentang cara yang direkomendasikan untuk menggunakan beberapa project dengan Data Catalog, lihat Menggunakan template tag dalam beberapa project.

Jika ini adalah pertama kalinya Anda berinteraksi dengan Data Catalog, lakukan hal berikut:

1. Login ke akun Google Cloud Anda. Jika Anda baru menggunakan Google Cloud, buat akun untuk mengevaluasi performa produk kami dalam skenario dunia nyata. Pelanggan baru juga mendapatkan kredit gratis senilai $300 untuk menjalankan, menguji, dan men-deploy workload.

2. Di konsol Google Cloud, pada halaman pemilih project, pilih atau buat project Google Cloud.

   Catatan: Jika tidak berencana untuk menyimpan resource yang Anda buat dalam prosedur ini, buatlah project, bukan memilih project yang ada. Setelah menyelesaikan langkah ini, Anda dapat menghapus project, yang menghapus semua resource yang terkait dengan project ini.

   Buka pemilih project

3. Pastikan penagihan telah diaktifkan untuk project Google Cloud Anda.

4. Aktifkan API Data Catalog.

   Mengaktifkan API

5. Di konsol Google Cloud, pada halaman pemilih project, pilih atau buat project Google Cloud.

   Catatan: Jika tidak berencana untuk menyimpan resource yang Anda buat dalam prosedur ini, buatlah project, bukan memilih project yang ada. Setelah menyelesaikan langkah ini, Anda dapat menghapus project, yang menghapus semua resource yang terkait dengan project ini.

   Buka pemilih project

6. Pastikan penagihan telah diaktifkan untuk project Google Cloud Anda.

7. Aktifkan API Data Catalog.

   Mengaktifkan API

Mengintegrasikan sumber data Google Cloud

Catatan: Pada project dengan kebijakan organisasi yang membatasi lokasi resource, metadata Anda untuk beberapa resource Bigtable dan Spanner mungkin tidak disinkronkan ke Data Catalog.

Analytics Hub

Saat Anda berlangganan listingan di Analytics Hub, set data tertaut akan dibuat di project Anda. Data Catalog otomatis membuat entri metadata untuk set data tertaut tersebut dan semua tabel yang terdapat di dalamnya. Untuk mendapatkan informasi selengkapnya tentang set data yang ditautkan dan fitur Analytics Hub lainnya, lihat Pengantar Analytics Hub.

Dalam penelusuran Data Catalog, set data tertaut ditampilkan sebagai set data BigQuery standar, tetapi Anda dapat memfilternya menggunakan predikat type=dataset.linked. Untuk mengetahui detail selengkapnya, lihat artikel Menelusuri aset data.

BigQuery dan Pub/Sub

Jika organisasi Anda sudah menggunakan BigQuery dan Pub/Sub, bergantung pada izin, Anda dapat langsung menelusuri metadata dari sumber tersebut. Jika Anda tidak dapat melihat entri yang sesuai di hasil penelusuran, cari peran IAM yang mungkin diperlukan oleh Anda dan pengguna project Anda di Identity and Access Management.

Perlindungan Data Sensitif

Selain itu, Data Catalog terintegrasi dengan Perlindungan Data Sensitif yang memungkinkan Anda memindai resource Google Cloud tertentu untuk mendeteksi data sensitif dan mengirim kembali hasilnya ke Data Catalog dalam bentuk tag.

Untuk mengetahui informasi selengkapnya, lihat Mengirim hasil pemindaian Perlindungan Data Sensitif ke Data Catalog.

Bigtable

Saat Anda menyimpan data di Bigtable, metadata akan otomatis disinkronkan ke Data Catalog untuk resource Bigtable berikut:

• Instance
• Tabel, termasuk detail grup kolom

Untuk panduan penggunaan Data Catalog untuk penemuan data dan pemberian tag, lihat Mengelola aset data menggunakan Data Catalog dalam dokumentasi Bigtable.

Spanner (Pratinjau)

Saat Anda menyimpan data di Spanner, metadata untuk resource Spanner berikut akan disinkronkan ke Data Catalog:

• Instance
• Database
• Tabel dan tampilan dengan skema kolom

Untuk panduan penggunaan Data Catalog untuk penemuan data dan pemberian tag, lihat Mengelola aset data menggunakan Katalog Data.

Dataproc Metastore

Untuk berintegrasi dengan Dataproc Metastore, aktifkan sinkronisasi ke Data Catalog untuk layanan baru atau yang sudah ada seperti yang dijelaskan dalam Mengaktifkan sinkronisasi Data Catalog.

Vertex AI

Vertex AI menyinkronkan metadata untuk referensi berikut ke Data Catalog:

• Model Registry Model
• Set data

Mengintegrasikan sumber data lokal

Untuk mengintegrasikan sumber data lokal, Anda dapat menggunakan konektor Python yang sesuai yang dikontribusikan oleh komunitas:

Catatan: Konektor ini tidak secara resmi didukung oleh Google.

1. Temukan sumber data Anda pada tabel di bawah.
2. Buka repositori GitHub-nya.
3. Ikuti petunjuk penyiapan di file readme.

Pilih kategori RDBMS BI Hive

Kategori	Komponen	Deskripsi	Repositori
RDBMS	mysql-connector	Kode contoh untuk sumber data MySQL.	google-datacatalog-mysql-connector
	postgresql-connector	Kode contoh untuk sumber data PostgreSQL.	google-datacatalog-postgresql-connector
	sqlserver-connector	Kode contoh untuk sumber data SQLServer.	google-datacatalog-sqlserver-connector
	redshift-connector	Kode contoh untuk sumber data Redshift.	google-datacatalog-redshift-connector
	konektor oracle	Kode contoh untuk sumber data Oracle.	google-datacatalog-oracle-connector
	teradata-connector	Kode contoh untuk sumber data Teradata.	google-datacatalog-teradata-connector
	konektor vertika	Kode contoh untuk sumber data Vertica.	google-datacatalog-vertica-connector
	konektor greenplum	Kode contoh untuk sumber data Greenplum.	google-datacatalog-greenplum-connector
	konektor rdbmscsv	Kode contoh untuk penyerapan CSV RDBMS generik.	google-datacatalog-rdbmscsv-connector
	konektor saphana	Kode contoh untuk sumber data Sap Hana.	google-datacatalog-saphana-connector
BI	looker-connector	Kode contoh untuk sumber data Looker.	google-datacatalog-looker-connector
	konektor qlik	Kode contoh untuk sumber data Qlik Sense.	google-datacatalog-qlik-connector
	konektor tableau	Kode contoh untuk sumber data Tableau.	google-datacatalog-tableau-connector
Hive	hive-connector	Kode contoh untuk sumber data Hive.	google-datacatalog-hive-connector
	apache-atlas-connector	Kode contoh untuk sumber data Apache Atlas.	google-datacatalog-apache-atlas-connector

Mengintegrasikan sumber data yang tidak didukung

Jika tidak dapat menemukan konektor untuk sumber data, Anda masih dapat mengintegrasikannya secara manual dengan membuat grup entri dan entri kustom. Untuk melakukannya, Anda dapat:

• Gunakan salah satu Library Klien Data Catalog dalam salah satu bahasa berikut: C#, Go, Java, Node.js, PHP, Python, atau Ruby.
• Atau, buat Data Catalog API secara manual.

Untuk mengintegrasikan sumber, pertama-tama, pelajari tentang Entri dan grup entri, lalu ikuti petunjuk di Membuat entri Data Catalog kustom untuk sumber data Anda.

Langkah selanjutnya

• Pelajari Identity and Access Management lebih lanjut.
• Pelajari Cara melakukan penelusuran.
• Buka panduan memulai Tabel pemberian tag.