Mengintegrasikan sumber data dengan Data Catalog

Data Catalog dapat mengimpor dan menyimpan metadata terbaru dari beberapa sumber data Google Cloud serta sejumlah sumber data lokal yang populer.

Dengan metadata yang diserap, Data Catalog akan melakukan hal berikut:

  • Membuat metadata yang sudah ada dapat ditemukan melalui penelusuran. Untuk mengetahui informasi selengkapnya, lihat Cara menelusuri.
  • Memungkinkan anggota organisasi untuk memperkaya data Anda dengan metadata bisnis tambahan melalui tag. Untuk informasi lebih lanjut, lihat Tag dan template tag.

Meskipun integrasi dengan sumber Google Cloud bersifat otomatis, untuk berintegrasi dengan sumber lokal kustom yang digunakan organisasi Anda, Anda dapat:

Sebelum memulai

Jika sudah menggunakan Data Catalog, Anda harus sudah memiliki project dengan Data Catalog API yang diaktifkan. Untuk informasi selengkapnya tentang cara yang direkomendasikan untuk menggunakan beberapa project dengan Data Catalog, lihat Menggunakan template tag dalam beberapa project.

Jika ini adalah pertama kalinya Anda berinteraksi dengan Data Catalog, lakukan hal berikut:

  1. Login ke akun Google Cloud Anda. Jika Anda baru menggunakan Google Cloud, buat akun untuk mengevaluasi performa produk kami dalam skenario dunia nyata. Pelanggan baru juga mendapatkan kredit gratis senilai $300 untuk menjalankan, menguji, dan men-deploy workload.
  2. Di konsol Google Cloud, pada halaman pemilih project, pilih atau buat project Google Cloud.

    Buka pemilih project

  3. Pastikan penagihan telah diaktifkan untuk project Google Cloud Anda.

  4. Aktifkan API Data Catalog.

    Mengaktifkan API

  5. Di konsol Google Cloud, pada halaman pemilih project, pilih atau buat project Google Cloud.

    Buka pemilih project

  6. Pastikan penagihan telah diaktifkan untuk project Google Cloud Anda.

  7. Aktifkan API Data Catalog.

    Mengaktifkan API

Mengintegrasikan sumber data Google Cloud

Analytics Hub

Saat Anda berlangganan listingan di Analytics Hub, set data tertaut akan dibuat di project Anda. Data Catalog otomatis membuat entri metadata untuk set data tertaut tersebut dan semua tabel yang terdapat di dalamnya. Untuk mendapatkan informasi selengkapnya tentang set data yang ditautkan dan fitur Analytics Hub lainnya, lihat Pengantar Analytics Hub.

Dalam penelusuran Data Catalog, set data tertaut ditampilkan sebagai set data BigQuery standar, tetapi Anda dapat memfilternya menggunakan predikat type=dataset.linked. Untuk mengetahui detail selengkapnya, lihat artikel Menelusuri aset data.

BigQuery dan Pub/Sub

Jika organisasi Anda sudah menggunakan BigQuery dan Pub/Sub, bergantung pada izin, Anda dapat langsung menelusuri metadata dari sumber tersebut. Jika Anda tidak dapat melihat entri yang sesuai di hasil penelusuran, cari peran IAM yang mungkin diperlukan oleh Anda dan pengguna project Anda di Identity and Access Management.

Perlindungan Data Sensitif

Selain itu, Data Catalog terintegrasi dengan Perlindungan Data Sensitif yang memungkinkan Anda memindai resource Google Cloud tertentu untuk mendeteksi data sensitif dan mengirim kembali hasilnya ke Data Catalog dalam bentuk tag.

Untuk mengetahui informasi selengkapnya, lihat Mengirim hasil pemindaian Perlindungan Data Sensitif ke Data Catalog.

Bigtable

Saat Anda menyimpan data di Bigtable, metadata akan otomatis disinkronkan ke Data Catalog untuk resource Bigtable berikut:

  • Instance
  • Tabel, termasuk detail grup kolom

Untuk panduan penggunaan Data Catalog untuk penemuan data dan pemberian tag, lihat Mengelola aset data menggunakan Data Catalog dalam dokumentasi Bigtable.

Spanner (Pratinjau)

Saat Anda menyimpan data di Spanner, metadata untuk resource Spanner berikut akan disinkronkan ke Data Catalog:

  • Instance
  • Database
  • Tabel dan tampilan dengan skema kolom

Untuk panduan penggunaan Data Catalog untuk penemuan data dan pemberian tag, lihat Mengelola aset data menggunakan Katalog Data.

Dataproc Metastore

Untuk berintegrasi dengan Dataproc Metastore, aktifkan sinkronisasi ke Data Catalog untuk layanan baru atau yang sudah ada seperti yang dijelaskan dalam Mengaktifkan sinkronisasi Data Catalog.

Vertex AI

Vertex AI menyinkronkan metadata untuk referensi berikut ke Data Catalog:

Mengintegrasikan sumber data lokal

Untuk mengintegrasikan sumber data lokal, Anda dapat menggunakan konektor Python yang sesuai yang dikontribusikan oleh komunitas:

  1. Temukan sumber data Anda pada tabel di bawah.
  2. Buka repositori GitHub-nya.
  3. Ikuti petunjuk penyiapan di file readme.
Kategori Komponen Deskripsi Repositori
RDBMS mysql-connector Kode contoh untuk sumber data MySQL. google-datacatalog-mysql-connector
postgresql-connector Kode contoh untuk sumber data PostgreSQL. google-datacatalog-postgresql-connector
sqlserver-connector Kode contoh untuk sumber data SQLServer. google-datacatalog-sqlserver-connector
redshift-connector Kode contoh untuk sumber data Redshift. google-datacatalog-redshift-connector
konektor oracle Kode contoh untuk sumber data Oracle. google-datacatalog-oracle-connector
teradata-connector Kode contoh untuk sumber data Teradata. google-datacatalog-teradata-connector
konektor vertika Kode contoh untuk sumber data Vertica. google-datacatalog-vertica-connector
konektor greenplum Kode contoh untuk sumber data Greenplum. google-datacatalog-greenplum-connector
konektor rdbmscsv Kode contoh untuk penyerapan CSV RDBMS generik. google-datacatalog-rdbmscsv-connector
konektor saphana Kode contoh untuk sumber data Sap Hana. google-datacatalog-saphana-connector
BI looker-connector Kode contoh untuk sumber data Looker. google-datacatalog-looker-connector
konektor qlik Kode contoh untuk sumber data Qlik Sense. google-datacatalog-qlik-connector
konektor tableau Kode contoh untuk sumber data Tableau. google-datacatalog-tableau-connector
Hive hive-connector Kode contoh untuk sumber data Hive. google-datacatalog-hive-connector
apache-atlas-connector Kode contoh untuk sumber data Apache Atlas. google-datacatalog-apache-atlas-connector

Mengintegrasikan sumber data yang tidak didukung

Jika tidak dapat menemukan konektor untuk sumber data, Anda masih dapat mengintegrasikannya secara manual dengan membuat grup entri dan entri kustom. Untuk melakukannya, Anda dapat:

Untuk mengintegrasikan sumber, pertama-tama, pelajari tentang Entri dan grup entri, lalu ikuti petunjuk di Membuat entri Data Catalog kustom untuk sumber data Anda.

Langkah selanjutnya