Mengintegrasikan sumber data dengan Data Catalog

Data Catalog dapat mengimpor dan menyimpan metadata terbaru dari beberapa sumber data Google Cloud serta sejumlah sumber data lokal yang populer.

Setelah metadata diserap, Data Catalog akan melakukan hal berikut:

• Membuat metadata yang ada dapat ditemukan melalui penelusuran. Untuk informasi selengkapnya, lihat Cara menelusuri.
• Memungkinkan anggota organisasi Anda memperkaya data dengan metadata bisnis tambahan melalui tag. Untuk informasi selengkapnya, lihat Tag dan template tag.

Meskipun integrasi dengan sumber Google Cloud bersifat otomatis, untuk berintegrasi dengan sumber lokal kustom yang digunakan organisasi Anda, Anda dapat melakukan salah satu hal berikut:

• Siapkan dan jalankan konektor yang sesuai yang dikontribusikan oleh komunitas.
• Gunakan Data Catalog API untuk entri kustom.

Catatan: Dokumen ini menjelaskan cara mengintegrasikan sumber data dengan Data Catalog. Untuk informasi tentang cara mengintegrasikan sumber data dengan Dataplex Catalog, lihat Mengintegrasikan sumber data dengan Dataplex Catalog dan Dataplex Catalog versus Data Catalog.

Sebelum memulai

Jika sudah menggunakan Data Catalog, Anda harus sudah memiliki project dengan Data Catalog API yang diaktifkan. Untuk mengetahui informasi selengkapnya tentang cara yang direkomendasikan untuk menggunakan beberapa project dengan Data Catalog, lihat Menggunakan template tag di beberapa project.

Jika ini adalah pertama kalinya Anda berinteraksi dengan Katalog Data, lakukan hal berikut:

1. Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.

2. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

   Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

   Go to project selector

3. Make sure that billing is enabled for your Google Cloud project.

4. Enable the Data Catalog API.

   Enable the API

5. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

   Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

   Go to project selector

6. Make sure that billing is enabled for your Google Cloud project.

7. Enable the Data Catalog API.

   Enable the API

Mengintegrasikan sumber data Google Cloud

Catatan: Dalam project dengan kebijakan organisasi yang membatasi lokasi resource, metadata Anda untuk beberapa resource Bigtable dan Spanner mungkin tidak disinkronkan ke Data Catalog.

Analytics Hub

Saat Anda berlangganan listingan di Analytics Hub, set data tertaut akan dibuat di project Anda. Data Catalog secara otomatis membuat entri metadata untuk set data tertaut tersebut dan semua tabel yang ada di dalamnya. Untuk informasi selengkapnya tentang set data tertaut dan fitur Analytics Hub lainnya, lihat Pengantar Analytics Hub.

Dalam penelusuran Data Catalog, set data tertaut ditampilkan sebagai set data BigQuery standar, tetapi Anda dapat memfilternya menggunakan predikat type=dataset.linked. Untuk mengetahui detail selengkapnya, lihat Menelusuri aset data.

BigQuery dan Pub/Sub

Jika organisasi Anda sudah menggunakan BigQuery dan Pub/Sub, bergantung pada izin Anda, Anda dapat langsung menelusuri metadata dari sumber tersebut. Jika Anda tidak dapat melihat entri yang sesuai dalam hasil penelusuran, cari peran IAM yang mungkin Anda dan pengguna project Anda perlukan di Identity and Access Management.

Bigtable

Saat Anda menyimpan data di Bigtable, metadata akan otomatis disinkronkan ke Data Catalog untuk resource Bigtable berikut:

• Instance
• Tabel, termasuk detail grup kolom

Untuk panduan tentang penggunaan Data Catalog untuk penemuan dan pemberian tag pada data, lihat Mengelola aset data menggunakan Data Catalog dalam dokumentasi Bigtable.

Cloud SQL

Cloud SQL tidak terintegrasi dengan Data Catalog, tetapi terintegrasi dengan Dataplex Catalog. Untuk mengetahui informasi selengkapnya, lihat Mengintegrasikan sumber data dengan Katalog Dataplex.

Dataproc Metastore

Untuk berintegrasi dengan Dataproc Metastore, aktifkan sinkronisasi ke Data Catalog untuk layanan baru atau yang sudah ada seperti yang dijelaskan dalam Mengaktifkan sinkronisasi Data Catalog.

Sensitive Data Protection

Selain itu, Data Catalog terintegrasi dengan Perlindungan Data Sensitif yang memungkinkan Anda memindai resource Google Cloud tertentu untuk menemukan data sensitif dan mengirim hasilnya kembali ke Data Catalog dalam bentuk tag.

Untuk mengetahui informasi selengkapnya, lihat Mengirim hasil pemindaian Perlindungan Data Sensitif ke Data Catalog.

Spanner

Saat Anda menyimpan data di Spanner, metadata untuk resource Spanner berikut akan disinkronkan ke Data Catalog:

• Instance
• Database
• Tabel dan tampilan dengan skema kolom

Untuk panduan tentang penggunaan Data Catalog untuk penemuan dan pemberian tag pada data, lihat Mengelola aset data menggunakan Data Catalog.

Vertex AI

Vertex AI menyinkronkan metadata untuk resource berikut ke Data Catalog:

• Model Model Registry
• Set data
• Instance toko online
• Tampilan fitur
• Grup fitur

Mengintegrasikan sumber data lokal

Untuk mengintegrasikan sumber data lokal, Anda dapat menggunakan konektor Python yang sesuai yang disumbangkan oleh komunitas:

Catatan: Konektor ini tidak didukung secara resmi oleh Google.

1. Temukan sumber data Anda di tabel berikut.
2. Buka repositori GitHub-nya.
3. Ikuti petunjuk penyiapan dalam file readme.

Pilih kategori RDBMS BI Hive

Kategori	Komponen	Deskripsi	Repositori
RDBMS	mysql-connector	Contoh kode untuk sumber data MySQL.	google-datacatalog-mysql-connector
	postgresql-connector	Contoh kode untuk sumber data PostgreSQL.	google-datacatalog-postgresql-connector
	sqlserver-connector	Kode contoh untuk sumber data SQLServer.	google-datacatalog-sqlserver-connector
	redshift-connector	Kode contoh untuk sumber data Redshift.	google-datacatalog-redshift-connector
	oracle-connector	Kode contoh untuk sumber data Oracle.	google-datacatalog-oracle-connector
	teradata-connector	Contoh kode untuk sumber data Teradata.	google-datacatalog-teradata-connector
	vertica-connector	Kode contoh untuk sumber data Vertica.	google-datacatalog-vertica-connector
	greenplum-connector	Kode contoh untuk sumber data Greenplum.	google-datacatalog-greenplum-connector
	rdbmscsv-connector	Kode contoh untuk penyerapan CSV RDBMS generik.	google-datacatalog-rdbmscsv-connector
	saphana-connector	Kode contoh untuk sumber data Sap Hana.	google-datacatalog-saphana-connector
BI	looker-connector	Contoh kode untuk sumber data Looker.	google-datacatalog-looker-connector
	qlik-connector	Kode contoh untuk sumber data Qlik Sense.	google-datacatalog-qlik-connector
	tableau-connector	Contoh kode untuk sumber data Tableau.	google-datacatalog-tableau-connector
Hive	hive-connector	Contoh kode untuk sumber data Hive.	google-datacatalog-hive-connector
	apache-atlas-connector	Kode contoh untuk sumber data Apache Atlas.	google-datacatalog-apache-atlas-connector

Mengintegrasikan sumber data yang tidak didukung

Jika tidak dapat menemukan konektor untuk sumber data, Anda masih dapat mengintegrasikannya secara manual dengan membuat grup entri dan entri kustom. Untuk melakukannya, Anda dapat:

• Gunakan salah satu Library Klien Katalog Data dalam salah satu bahasa berikut: C#, Go, Java, Node.js, PHP, Python, atau Ruby.
• Atau build secara manual di Data Catalog API.

Untuk mengintegrasikan sumber, pertama-tama, pelajari Entri dan grup entri, lalu ikuti petunjuk di Membuat entri Data Catalog kustom untuk sumber data Anda.

Langkah selanjutnya

• Pelajari Identity and Access Management lebih lanjut.
• Pelajari Cara menelusuri.
• Ikuti panduan memulai Tabel pemberian tag.