Halaman ini menjelaskan cara menelusuri dan mengelola resource Cloud SQL menggunakan Katalog Dataplex.
Dataplex Catalog adalah platform untuk menyimpan, mengelola, dan mengakses metadata Anda. Setelah Anda mengaktifkan integrasi Katalog Dataplex di instance Cloud SQL, Dataplex Catalog akan otomatis mengambil metadata berikut dari instance, database, tabel, kolom, dan tampilan Cloud SQL:
- Nama
- Lokasi (wilayah)
- Tanggal pembuatan dan tanggal terakhir diubah
- Skema (untuk tabel dan tampilan)
- Deskripsi
Katalog Dataplex hanya mengambil metadata dari instance utama Cloud SQL, bukan dari replika baca.
Anda dapat menggunakan Katalog Dataplex untuk menemukan dan memahami metadata Cloud SQL. Gunakan Dataplex Catalog untuk membantu aktivitas berikut:
- Analisis, termasuk dependensi dan kesesuaian untuk kasus penggunaan
- Pengelolaan perubahan
- Perpindahan data (pipeline)
- Evolusi skema
Dengan Katalog Dataplex, Anda dapat menyeleksi metadata dengan melampirkan aspek ke entri metadata Cloud SQL. Setiap aspek dapat memiliki beberapa kolom metadata dan dapat didasarkan pada jenis aspek standar atau kustom.
Misalnya, Anda dapat melampirkan aspek berikut ke kolom yang berisi nomor Jaminan Sosial, yang merupakan informasi identitas pribadi (PII):
pii:true
pii_type:SSN
Untuk mengetahui informasi selengkapnya tentang Katalog Dataplex, lihat Ringkasan Katalog Dataplex.
Sebelum memulai
- Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.
-
In the Google Cloud console, on the project selector page, select or create a Google Cloud project.
-
Make sure that billing is enabled for your Google Cloud project.
-
In the Google Cloud console, on the project selector page, select or create a Google Cloud project.
-
Make sure that billing is enabled for your Google Cloud project.
-
Aktifkan Dataplex API untuk project.
-
Periksa izin.
Anda memerlukan peran dan izin Identity and Access Management (IAM) tertentu untuk menelusuri dan melampirkan entri ke aset Cloud SQL. Untuk mengetahui detailnya, lihat Peran dan izin IAM yang diperlukan untuk Katalog Dataplex.
Peran dan izin IAM yang diperlukan untuk Katalog Dataplex
Cloud SQL menggunakan izin cloudsql.schemas.view
untuk
memberikan akses ke metadata di Dataplex.
Untuk memberikan izin ini, buat peran khusus yang menyertakan izin ini, atau gunakan salah satu peran bawaan yang memiliki izin ini.
Untuk informasi selengkapnya, lihat Peran IAM Cloud SQL bawaan.
Mengaktifkan integrasi Katalog Dataplex di instance Cloud SQL
Untuk mengaktifkan integrasi Katalog Dataplex di instance Cloud SQL, gunakan salah satu prosedur berikut.
gcloud
Buat instance
Untuk membuat instance Cloud SQL, gunakan perintah
gcloud sql instances create
.
gcloud sql instances create INSTANCE_NAME \ --database-version=DATABASE_VERSION \ --tier=MACHINE_TYPE \ --region=REGION_NAME \ --enable-dataplex-integration
Lakukan penggantian berikut:
- INSTANCE_NAME: nama instance
- DATABASE_VERSION: versi database untuk instance (misalnya,
POSTGRES_13
); untuk daftar lengkap string yang tersedia, lihat SqlDatabaseVersion - MACHINE_TYPE: jenis mesin untuk instance
- REGION_NAME: nama region untuk instance
Mengupdate instance
Untuk mengaktifkan integrasi untuk instance yang ada, gunakan perintah
gcloud sql instances patch
.
gcloud sql instances patch INSTANCE_NAME \ --enable-dataplex-integration
Jika perlu mengaktifkan dan mengupdate semua instance Cloud SQL dalam project, Anda dapat menjalankan skrip yang mirip dengan berikut ini:
gcloud sql instances list --format="(NAME)" \ | tail -n +2 | xargs -t -I % gcloud sql instances patch % --enable-dataplex-integration
Contoh ini berbasis Linux.
REST v1
Buat instance
Gunakan contoh ini untuk membuat instance dengan integrasi yang diaktifkan. Untuk mengetahui daftar lengkap parameter yang tersedia untuk panggilan ini, lihat halaman instances.insert.
Sebelum menggunakan salah satu data permintaan, lakukan penggantian berikut:
- PROJECT_ID: ID atau nomor project project Google Cloud yang berisi instance
- INSTANCE_NAME: nama instance
- REGION_NAME: nama region untuk instance
- DATABASE_VERSION: string enum versi database (misalnya,
POSTGRES_13
). Untuk daftar lengkap string yang tersedia, lihat SqlDatabaseVersion. - PASSWORD: sandi untuk pengguna
root
- MACHINE_TYPE: string enum jenis (tingkat) mesin, seperti:
db-custom-[CPUS]-[MEMORY_MBS]
- EDITION_TYPE: edisi Cloud SQL Anda
Metode HTTP dan URL:
POST https://sqladmin.googleapis.com/v1/projects/PROJECT_ID/instances
Meminta isi JSON:
{ "name": "INSTANCE_NAME", "region": "REGION_NAME", "databaseVersion": "DATABASE_VERSION", "rootPassword": "PASSWORD", "settings": { "tier": "MACHINE_TYPE", "edition": "EDITION_TYPE", "enableDataplexIntegration": true } }
Untuk mengirim permintaan Anda, perluas salah satu opsi berikut:
Anda akan melihat respons JSON seperti berikut:
{ "kind": "sql#operation", "targetLink": "https://sqladmin.googleapis.com/v1/projects/PROJECT_ID/instances/INSTANCE_ID", "status": "PENDING", "user": "user@example.com", "insertTime": "2024-09-25T22:19:33.735Z", "operationType": "CREATE", "name": "OPERATION_ID", "targetId": "INSTANCE_ID", "selfLink": "https://sqladmin.googleapis.com/v1/projects/PROJECT_ID/operations/OPERATION_ID", "targetProject": "PROJECT_ID" }
Mengupdate instance
Gunakan contoh ini untuk memperbarui instance yang ada. Untuk mengetahui daftar lengkap parameter yang tersedia untuk panggilan ini, lihat halaman instances.patch.
Sebelum menggunakan salah satu data permintaan, lakukan penggantian berikut:
- PROJECT_ID: ID atau nomor project project Google Cloud yang berisi instance
- INSTANCE_NAME: nama instance
Metode HTTP dan URL:
PATCH https://sqladmin.googleapis.com/v1/projects/PROJECT_ID/instances/INSTANCE_NAME
Meminta isi JSON:
{ "settings": { "enableDataplexIntegration": true } }
Untuk mengirim permintaan Anda, perluas salah satu opsi berikut:
Anda akan melihat respons JSON seperti berikut:
{ "kind": "sql#operation", "targetLink": "https://sqladmin.googleapis.com/v1/projects/PROJECT_ID/instances/INSTANCE_NAME", "status": "PENDING", "user": "user@example.com", "insertTime": "2024-01-16T02:32:12.281Z", "operationType": "UPDATE", "name": "OPERATION_ID", "targetId": "INSTANCE_NAME", "selfLink": "https://sqladmin.googleapis.com/v1/projects/PROJECT_ID/operations/OPERATION_ID", "targetProject": "PROJECT_ID" }
REST v1beta4
Buat instance
Gunakan contoh ini untuk membuat instance dengan integrasi yang diaktifkan. Untuk mengetahui daftar lengkap parameter yang tersedia untuk panggilan ini, lihat halaman instances.insert.
Sebelum menggunakan salah satu data permintaan, lakukan penggantian berikut:
- PROJECT_ID: ID atau nomor project project Google Cloud yang berisi instance
- INSTANCE_NAME: nama instance
- REGION_NAME: nama region untuk instance
- DATABASE_VERSION: string enum versi database (misalnya,
POSTGRES_13
). Untuk daftar lengkap string yang tersedia, lihat SqlDatabaseVersion. - PASSWORD: sandi untuk pengguna
root
- MACHINE_TYPE: string enum jenis (tingkat) mesin, seperti:
db-custom-[CPUS]-[MEMORY_MBS]
- EDITION_TYPE: edisi Cloud SQL Anda
Metode HTTP dan URL:
POST https://sqladmin.googleapis.com/sql/v1beta4/projects/PROJECT_ID/instances
Meminta isi JSON:
{ "name": "INSTANCE_NAME", "region": "REGION_NAME", "databaseVersion": "DATABASE_VERSION", "rootPassword": "PASSWORD", "settings": { "tier": "MACHINE_TYPE", "edition": "EDITION_TYPE", "enableDataplexIntegration": true } }
Untuk mengirim permintaan Anda, perluas salah satu opsi berikut:
Anda akan melihat respons JSON seperti berikut:
{ "kind": "sql#operation", "targetLink": "https://sqladmin.googleapis.com/sql/v1beta4/projects/PROJECT_ID/instances/INSTANCE_ID", "status": "PENDING", "user": "user@example.com", "insertTime": "2024-09-25T22:19:33.735Z", "operationType": "CREATE", "name": "OPERATION_ID", "targetId": "INSTANCE_ID", "selfLink": "https://sqladmin.googleapis.com/sql/v1beta4/projects/PROJECT_ID/operations/OPERATION_ID", "targetProject": "PROJECT_ID" }
Mengupdate instance
Gunakan contoh ini untuk memperbarui instance yang ada. Untuk mengetahui daftar lengkap parameter yang tersedia untuk panggilan ini, lihat halaman instances.patch.
Gunakan contoh ini untuk memperbarui instance yang ada. Untuk mengetahui daftar lengkap parameter yang tersedia untuk panggilan ini, lihat halaman instances.patch.
Sebelum menggunakan salah satu data permintaan, lakukan penggantian berikut:
- PROJECT_ID: ID atau nomor project project Google Cloud yang berisi instance
- INSTANCE_NAME: nama instance
Metode HTTP dan URL:
PATCH https://sqladmin.googleapis.com/sql/v1beta4/projects/PROJECT_ID/instances/INSTANCE_NAME
Meminta isi JSON:
{ "settings": { "enableDataplexIntegration": true } }
Untuk mengirim permintaan Anda, perluas salah satu opsi berikut:
Anda akan melihat respons JSON seperti berikut:
{ "kind": "sql#operation", "targetLink": "https://sqladmin.googleapis.com/sql/v1beta4/projects/PROJECT_ID/instances/INSTANCE_NAME", "status": "PENDING", "user": "user@example.com", "insertTime": "2024-01-16T02:32:12.281Z", "operationType": "UPDATE", "name": "OPERATION_ID", "targetId": "INSTANCE_NAME", "selfLink": "https://sqladmin.googleapis.com/sql/v1beta4/projects/PROJECT_ID/operations/OPERATION_ID", "targetProject": "PROJECT_ID" }
Memverifikasi integrasi Katalog Dataplex di instance Cloud SQL Anda
Untuk memverifikasi bahwa integrasi Katalog Dataplex diaktifkan di instance Anda, gunakan salah satu prosedur berikut.
gcloud
Untuk memverifikasi bahwa integrasi Katalog Dataplex diaktifkan
di instance yang ada, gunakan
perintah gcloud sql instances describe
.
gcloud sql instances describe INSTANCE_NAME
Ganti INSTANCE_NAME dengan nama instance.
Pada output, cari setelan konfigurasi
enableDataplexIntegration
yang ditetapkan ke true
.
REST v1
Sebelum menggunakan salah satu data permintaan, buatlah pengganti berikut:
- PROJECT_ID: project ID
- INSTANCE_ID<: ID instance
Metode HTTP dan URL:
GET https://sqladmin.googleapis.com/sql/v1beta4/projects/PROJECT_ID/instances/INSTANCE_ID
Untuk mengirim permintaan, perluas salah satu opsi berikut:
Anda akan menerima respons JSON seperti berikut:
{ "settings": { "enableDataplexIntegration": true } }
REST v1beta4
Sebelum menggunakan salah satu data permintaan, buatlah pengganti berikut:
- PROJECT_ID: project ID
- INSTANCE_ID<: ID instance
Metode HTTP dan URL:
GET https://sqladmin.googleapis.com/sql/v1beta4/projects/PROJECT_ID/instances/INSTANCE_ID
Untuk mengirim permintaan, perluas salah satu opsi berikut:
Anda akan melihat respons JSON seperti berikut:
{ "settings": { "enableDataplexIntegration": true } }
Menonaktifkan integrasi Katalog Dataplex di instance Cloud SQL Anda
Untuk menonaktifkan integrasi Katalog Dataplex di instance Cloud SQL, gunakan salah satu prosedur berikut.
gcloud
Untuk menonaktifkan integrasi untuk instance yang ada, gunakan
perintah gcloud sql instances patch
.
gcloud sql instances patch INSTANCE_NAME \ --no-enable-dataplex-integration
Jika perlu menonaktifkan integrasi dan mengupdate semua instance Cloud SQL di project, Anda dapat menjalankan skrip yang mirip dengan berikut ini:
gcloud sql instances list --format="(NAME)" \ | tail -n +2 | xargs -t -I % gcloud sql instances patch % --no-enable-dataplex-integration
Contoh ini berbasis Linux.
REST v1
Gunakan contoh ini untuk menonaktifkan integrasi.
Sebelum menggunakan salah satu data permintaan, lakukan penggantian berikut:
- PROJECT_ID: ID atau nomor project project Google Cloud yang berisi instance
- INSTANCE_NAME: nama instance
Metode HTTP dan URL:
PATCH https://sqladmin.googleapis.com/sql/v1beta4/projects/PROJECT_ID/instances/INSTANCE_NAME
Meminta isi JSON:
{ "settings": { "enableDataplexIntegration": false } }
Untuk mengirim permintaan Anda, perluas salah satu opsi berikut:
Anda akan melihat respons JSON seperti berikut:
{ "kind": "sql#operation", "targetLink": "https://sqladmin.googleapis.com/sql/v1beta4/projects/PROJECT_ID/instances/INSTANCE_NAME", "status": "PENDING", "user": "user@example.com", "insertTime": "2024-01-16T02:32:12.281Z", "operationType": "UPDATE", "name": "OPERATION_ID", "targetId": "INSTANCE_NAME", "selfLink": "https://sqladmin.googleapis.com/sql/v1beta4/projects/PROJECT_ID/operations/OPERATION_ID", "targetProject": "PROJECT_ID" }
REST v1beta4
Gunakan contoh ini untuk menonaktifkan integrasi.
Sebelum menggunakan salah satu data permintaan, lakukan penggantian berikut:
- PROJECT_ID: ID atau nomor project project Google Cloud yang berisi instance
- INSTANCE_NAME: nama instance
Metode HTTP dan URL:
PATCH https://sqladmin.googleapis.com/sql/v1beta4/projects/PROJECT_ID/instances/INSTANCE_NAME
Meminta isi JSON:
{ "settings": { "enableDataplexIntegration": false } }
Untuk mengirim permintaan Anda, perluas salah satu opsi berikut:
Anda akan melihat respons JSON seperti berikut:
{ "kind": "sql#operation", "targetLink": "https://sqladmin.googleapis.com/sql/v1beta4/projects/PROJECT_ID/instances/INSTANCE_NAME", "status": "PENDING", "user": "user@example.com", "insertTime": "2024-01-16T02:32:12.281Z", "operationType": "UPDATE", "name": "OPERATION_ID", "targetId": "INSTANCE_NAME", "selfLink": "https://sqladmin.googleapis.com/sql/v1beta4/projects/PROJECT_ID/operations/OPERATION_ID", "targetProject": "PROJECT_ID" }
Memperkaya aset Cloud SQL dengan aspek
Jenis aspek adalah resource yang dapat digunakan kembali dan dapat Anda gunakan sebagai template untuk aspek. Jenis aspek membantu Anda menghindari duplikasi pekerjaan dan aspek yang tidak lengkap. Anda dapat menggunakan Katalog Dataplex untuk membuat jenis aspek yang diperlukan.
Setelah membuat jenis aspek kustom, Anda dapat melampirkan aspek ke aset Cloud SQL. Dengan melampirkan aspek ke aset Cloud SQL, Anda dapat melakukan hal berikut:
- Menambahkan metadata bisnis ke aset
- Menelusuri aset berdasarkan metadata bisnis dan metadata kustom lainnya
Untuk mempelajari lebih lanjut cara membuat jenis aspek dan melampirkan aspek ke Cloud SQL, lihat Mengelola aspek dan memperkaya metadata.
Menelusuri aset Cloud SQL
Gunakan halaman penelusuran Katalog Dataplex di konsol Google Cloud untuk menelusuri aset Cloud SQL.
Buka halaman penelusuran Katalog Dataplex.
Di Choose search platform, pilih Dataplex Catalog.
Di panel Filters, klik Systems, lalu pilih Cloud SQL.
Opsional. Di Type aliases, Anda dapat memfilter hasil penelusuran ke jenis aset Cloud SQL tertentu dengan memilih satu atau beberapa alias jenis berikut:
- Database
- Skema database
- Layanan
- Tabel
- Lihat
Menggunakan kueri untuk melakukan penelusuran
Anda juga dapat menggunakan kolom penelusuran di Katalog Dataplex untuk melakukan kueri penelusuran. Untuk melihat semua
aset Cloud SQL, masukkan system=Cloud_SQL
.
Kemudian, Anda dapat memasukkan kata kunci tertentu. Misalnya, untuk melihat semua database Cloud SQL:
system=Cloud_SQL AND type=Database
Untuk melihat semua tabel Cloud SQL, masukkan kueri berikut:
system=Cloud_SQL AND type=Table
Anda juga dapat menggunakan tanda kurung dan operator logis AND
dan OR
untuk
ekspresi yang kompleks. Untuk mempelajari lebih lanjut ekspresi yang dapat Anda gunakan di kolom penelusuran, lihat Sintaksis penelusuran untuk Katalog Dataplex.
Anda dapat langsung memasukkan kueri penelusuran untuk aset Cloud SQL tertentu ke kolom penelusuran. Format string kueri adalah sebagai berikut:
type="projects/PROJECT_ID/locations/global/entryTypes/QUERY_STRING"
Ganti kode berikut:
- PROJECT_ID: ID project Anda
QUERY_STRING: menggunakan tabel berikut untuk mengidentifikasi string kueri berdasarkan mesin Cloud SQL dan jenis aset yang ingin Anda buat kuerinya
Mesin Cloud SQL String kueri Cloud SQL untuk MySQL cloudsql-mysql-database
cloudsql-mysql-instance
cloudsql-mysql-table
cloudsql-mysql-view
Cloud SQL untuk PostgreSQL cloudsql-postgresql-database
cloudsql-postgresql-instance
cloudsql-postgresql-table
cloudsql-postgresql-schema
cloudsql-postgresql-view
Cloud SQL untuk SQL Server cloudsql-sqlserver-database
cloudsql-sqlserver-instance
cloudsql-sqlserver-table
cloudsql-sqlserver-schema
cloudsql-sqlserver-view
Contoh kueri mungkin terlihat seperti berikut:
type="projects/1234567890/locations/global/entryTypes/cloudsql-postgresql-instance"
Memfilter aset Cloud SQL menurut dialek Cloud SQL
Secara default, Katalog Dataplex menampilkan semua aset Cloud SQL. Untuk memfilter aset khusus Cloud SQL untuk MySQL, Cloud SQL untuk PostgreSQL, atau SQL Server, lakukan langkah-langkah berikut.
Di panel Aspek, klik menu Tambahkan jenis aspek lainnya.
Pilih Akses SQL.
Klik Oke.
Klik tombol aspek edit playlist_add . Di halaman Akses SQL, lakukan hal berikut:
- Di kolom Dialect, pilih PostgreSQL untuk memfilter aset Cloud SQL untuk PostgreSQL.
- Opsional. Pilih kolom Version, lalu masukkan versi Cloud SQL untuk PostgreSQL tertentu.
Klik Terapkan. Katalog Dataplex hanya menampilkan aset Cloud SQL untuk PostgreSQL.
Menelusuri menurut jenis aspek
Katalog Dataplex menyertakan beberapa jenis aspek bawaan yang dapat Anda gunakan untuk melakukan penelusuran.
Di panel Aspek, klik menu Tambahkan jenis aspek lainnya.
Opsional. Pilih SQL Access untuk memfilter hasil menurut dialek Cloud SQL. Untuk informasi selengkapnya, lihat prosedur sebelumnya, Memfilter aset Cloud SQL menurut dialek Cloud SQL.
Pilih satu atau beberapa jenis aspek berikut untuk membatasi hasil penelusuran ke jenis tersebut.
- Database Cloud SQL
- Instance Cloud SQL
- Tampilan Cloud SQL
- Skema Cloud SQL
- Tabel Cloud SQL
Klik Oke.
Di tabel hasil, klik nama aset untuk melihat metadata untuk aset tersebut.
Opsional: Tingkatkan kualitas atau lihat aset Anda. Anda dapat melakukan salah satu tindakan berikut:
- Di Ringkasan, klik Tambahkan untuk menambahkan deskripsi teks panjang aset.
- Di Aspects, klik Add untuk melampirkan aspek ke aset.
- Misalnya, untuk melihat database anggota, klik tab Daftar Entri, lalu klik Tampilkan semua entri turunan dalam penelusuran. Jika tab Daftar Entri tidak muncul, berarti instance tidak memiliki database.
- Di Detail entri, lihat detail lengkap aset. Klik nama entri untuk melihat entri tambahan.
Contoh alur kerja - Melihat perincian dari instance ke kolom
Dalam contoh alur kerja ini, Anda memulai dengan menelusuri instance Cloud SQL, lalu melihat database anggota, lalu melihat tabel dalam database tersebut, lalu melihat kolom dalam tabel.
Buka halaman penelusuran Katalog Dataplex.
Untuk opsi Choose search platform, pilih Dataplex Catalog.
Di panel Filter, pilih Sistem, lalu Cloud SQL. Atau, masukkan
system=Cloud_SQL
di kolom penelusuran.Pilih nama instance.
Di halaman Detail Cloud SQL, klik tab Daftar entri, lalu klik Tampilkan semua entri turunan dalam penelusuran. Dataplex Catalog menampilkan database dalam instance.
Di halaman Detail database Cloud SQL, klik tab Daftar entri, lalu klik Lihat entri turunan dalam penelusuran. Katalog Dataplex menampilkan tabel dalam database.
Pilih nama tabel, lalu di halaman Cloud SQL table details, klik Schema untuk melihat kolom tabel.
Opsional: Untuk menambahkan jenis aspek ke kolom, klik tombol Tambahkan aspek.
Alur kerja ini menunjukkan proses melihat perincian dari instance ke tabel. Anda
dapat langsung membuka daftar tabel dengan memasukkan system=Cloud_SQL AND type=Table
di kolom penelusuran.
Harga
Menyimpan metadata teknis Cloud SQL di Katalog Dataplex tidak dikenai biaya. Harga Dataplex standar berlaku untuk panggilan API dan pengayaan metadata bisnis tambahan. Untuk mengetahui informasi selengkapnya, lihat halaman harga Dataplex.
Penggunaan resource
Dataplex Catalog mengekstrak data dari instance Anda secara berkala. Proses ekstraksi memerlukan penggunaan CPU dalam jumlah tertentu. Instance dengan jenis mesin yang lebih kecil—misalnya, mesin yang memiliki core bersama dan skema yang lebih besar (10.000 tabel atau lebih), dapat menggunakan hingga 40% CPU-nya selama proses ekstraksi.
Batasan
Bagian ini mencantumkan batasan penggunaan Cloud SQL dan Katalog Dataplex.
Integrasi Katalog Dataplex dengan Cloud SQL dinonaktifkan untuk instance apa pun yang membatasi akses ke resource karena pendaftaran resource di Workload Terjamin.
Setelah Anda mengaktifkan Dataplex Catalog di instance, perlu waktu antara 2 hingga 48 jam agar resource Cloud SQL Anda muncul di Dataplex Catalog sebagai aset, bergantung pada ukuran mesin, versi, dan jenis mesin Cloud SQL yang Anda gunakan.
Tidak ada batasan yang diketahui pada Cloud SQL untuk PostgreSQL dan Katalog Dataplex.