Questa pagina spiega come cercare e gestire le risorse Cloud SQL utilizzando Dataplex Catalog.
Dataplex Catalog è una piattaforma per l'archiviazione, la gestione che accede ai tuoi metadati. Dopo aver attivato l'integrazione di Dataplex Catalog nell'istanza Cloud SQL, Dataplex Catalog recupera automaticamente i seguenti metadati da istanze, database, tabelle, colonne e visualizzazioni Cloud SQL:
- Nome
- Località (regione)
- Data di creazione e data dell'ultima modifica
- Schema (per tabelle e visualizzazioni)
- Descrizione
Dataplex Catalog recupera i metadati solo dalle istanze principali Cloud SQL e non dalle repliche di lettura.
Puoi utilizzare Dataplex Catalog per Scoprire e comprendere i metadati di Cloud SQL. Utilizza le funzionalità di Dataplex Catalog per facilitare le attività seguenti:
- Analisi, incluse le dipendenze e l'idoneità per un caso d'uso
- Gestione dei cambiamenti
- Spostamento dei dati (pipeline)
- Evoluzione dello schema
Con Dataplex Catalog, puoi selezionare i metadati collegando aspetti alle voci di metadati Cloud SQL. Ogni aspetto può avere più campi di metadati e può essere basato su un tipo di aspetto predefinito o personalizzato.
Ad esempio, potresti associare il seguente aspetto a una colonna contenente un codice fiscale, che è un'informazione che consente l'identificazione personale (PII):
pii:true
pii_type:SSN
Per ulteriori informazioni su Dataplex Catalog, consulta Panoramica di Dataplex Catalog.
Prima di iniziare
- Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.
-
In the Google Cloud console, on the project selector page, select or create a Google Cloud project.
-
Make sure that billing is enabled for your Google Cloud project.
-
In the Google Cloud console, on the project selector page, select or create a Google Cloud project.
-
Make sure that billing is enabled for your Google Cloud project.
-
Abilita l'API Dataplex per il progetto.
-
Controlla le autorizzazioni.
Devi disporre di determinati ruoli e autorizzazioni di Identity and Access Management (IAM) per per cercare e collegare le voci agli asset Cloud SQL. Per maggiori dettagli, consulta Ruoli e autorizzazioni IAM obbligatori per Dataplex Catalog.
Ruoli e autorizzazioni IAM richiesti per Dataplex Catalog
Cloud SQL utilizza l'autorizzazione cloudsql.schemas.view
per fornire accesso ai metadati su Dataplex.
Per fornire questa autorizzazione, crea un ruolo personalizzato che la includa o utilizza uno dei ruoli predefiniti che dispone di questa autorizzazione.
Per saperne di più, consulta Ruoli IAM predefiniti di Cloud SQL.
Abilita l'integrazione di Dataplex Catalog nell'istanza Cloud SQL
Per attivare l'integrazione di Dataplex Catalog nell'istanza Cloud SQL, utilizza una delle seguenti procedure.
gcloud
Crea l'istanza
Per creare un'istanza Cloud SQL, utilizza
Comando gcloud sql instances create
.
gcloud sql instances create INSTANCE_NAME \ --database-version=DATABASE_VERSION \ --tier=MACHINE_TYPE \ --region=REGION_NAME \ --enable-dataplex-integration
Effettua le seguenti sostituzioni:
- INSTANCE_NAME: il nome dell'istanza
- DATABASE_VERSION: la versione del database per l'istanza (ad esempio
POSTGRES_13
); per un elenco completo delle stringhe disponibili, consulta SqlDatabaseVersion - MACHINE_TYPE: il tipo di macchina per l'istanza
- REGION_NAME: il nome della regione per l'istanza
Aggiorna l'istanza
Per attivare l'integrazione per un'istanza esistente, utilizza il comando
gcloud sql instances patch
.
gcloud sql instances patch INSTANCE_NAME \ --enable-dataplex-integration
Se devi attivare e aggiornare tutte le istanze Cloud SQL del tuo progetto, puoi eseguire uno script simile al seguente:
gcloud sql instances list --format="(NAME)" \ | tail -n +2 | xargs -t -I % gcloud sql instances patch % --enable-dataplex-integration
Questo esempio è basato su Linux.
REST v1
Crea l'istanza
Utilizza questo esempio per creare un'istanza con l'integrazione abilitata. Per un elenco completo dei parametri disponibili per questa chiamata, consulta la pagina instances.insert.
Prima di utilizzare i dati della richiesta, apporta le seguenti sostituzioni:
- PROJECT_ID: l'ID o il numero di progetto del progetto Google Cloud che contiene l'istanza
- INSTANCE_NAME: il nome dell'istanza
- REGION_NAME: il nome della regione per l'istanza
- DATABASE_VERSION: stringa enum della versione del database (ad esempio,
POSTGRES_13
). Per un elenco completo delle stringhe disponibili, consulta SqlDatabaseVersion. - PASSWORD: la password per l'utente
root
- MACHINE_TYPE: stringa enum del tipo di macchina (livello), ad esempio:
db-custom-[CPUS]-[MEMORY_MBS]
- EDITION_TYPE: la tua versione di Cloud SQL
Metodo HTTP e URL:
POST https://sqladmin.googleapis.com/v1/projects/PROJECT_ID/instances
Corpo JSON della richiesta:
{ "name": "INSTANCE_NAME", "region": "REGION_NAME", "databaseVersion": "DATABASE_VERSION", "rootPassword": "PASSWORD", "settings": { "tier": "MACHINE_TYPE", "edition": "EDITION_TYPE", "enableDataplexIntegration": true } }
Per inviare la richiesta, espandi una delle seguenti opzioni:
Dovresti ricevere una risposta JSON simile alla seguente:
{ "kind": "sql#operation", "targetLink": "https://sqladmin.googleapis.com/v1/projects/PROJECT_ID/instances/INSTANCE_ID", "status": "PENDING", "user": "user@example.com", "insertTime": "2024-09-25T22:19:33.735Z", "operationType": "CREATE", "name": "OPERATION_ID", "targetId": "INSTANCE_ID", "selfLink": "https://sqladmin.googleapis.com/v1/projects/PROJECT_ID/operations/OPERATION_ID", "targetProject": "PROJECT_ID" }
Aggiorna l'istanza
Utilizza questo esempio per aggiornare un'istanza esistente. Per un elenco completo dei parametri disponibili per questa chiamata, consulta la pagina instances.patch.
Prima di utilizzare i dati della richiesta, apporta le seguenti sostituzioni:
- PROJECT_ID: l'ID o numero progetto del progetto Google Cloud che contiene l'istanza
- INSTANCE_NAME: il nome dell'istanza
Metodo HTTP e URL:
PATCH https://sqladmin.googleapis.com/v1/projects/PROJECT_ID/instances/INSTANCE_NAME
Corpo JSON della richiesta:
{ "settings": { "enableDataplexIntegration": true } }
Per inviare la richiesta, espandi una delle seguenti opzioni:
Dovresti ricevere una risposta JSON simile alla seguente:
{ "kind": "sql#operation", "targetLink": "https://sqladmin.googleapis.com/v1/projects/PROJECT_ID/instances/INSTANCE_NAME", "status": "PENDING", "user": "user@example.com", "insertTime": "2024-01-16T02:32:12.281Z", "operationType": "UPDATE", "name": "OPERATION_ID", "targetId": "INSTANCE_NAME", "selfLink": "https://sqladmin.googleapis.com/v1/projects/PROJECT_ID/operations/OPERATION_ID", "targetProject": "PROJECT_ID" }
REST v1beta4
Crea l'istanza
Utilizza questo esempio per creare un'istanza con l'integrazione abilitata. Per un elenco completo dei parametri disponibili per questa chiamata, consulta la pagina instances.insert.
Prima di utilizzare i dati della richiesta, apporta le seguenti sostituzioni:
- PROJECT_ID: l'ID o il numero di progetto del progetto Google Cloud che contiene l'istanza
- INSTANCE_NAME: il nome dell'istanza
- REGION_NAME: il nome della regione per l'istanza
- DATABASE_VERSION: stringa enum della versione del database (ad es.
POSTGRES_13
). Per un elenco completo delle stringhe disponibili, consulta SqlDatabaseVersion. - PASSWORD: la password dell'utente
root
- MACHINE_TYPE: stringa enum del tipo di macchina (livello), ad esempio:
db-custom-[CPUS]-[MEMORY_MBS]
- EDITION_TYPE: la tua versione di Cloud SQL
Metodo HTTP e URL:
POST https://sqladmin.googleapis.com/sql/v1beta4/projects/PROJECT_ID/instances
Corpo JSON della richiesta:
{ "name": "INSTANCE_NAME", "region": "REGION_NAME", "databaseVersion": "DATABASE_VERSION", "rootPassword": "PASSWORD", "settings": { "tier": "MACHINE_TYPE", "edition": "EDITION_TYPE", "enableDataplexIntegration": true } }
Per inviare la richiesta, espandi una delle seguenti opzioni:
Dovresti ricevere una risposta JSON simile alla seguente:
{ "kind": "sql#operation", "targetLink": "https://sqladmin.googleapis.com/sql/v1beta4/projects/PROJECT_ID/instances/INSTANCE_ID", "status": "PENDING", "user": "user@example.com", "insertTime": "2024-09-25T22:19:33.735Z", "operationType": "CREATE", "name": "OPERATION_ID", "targetId": "INSTANCE_ID", "selfLink": "https://sqladmin.googleapis.com/sql/v1beta4/projects/PROJECT_ID/operations/OPERATION_ID", "targetProject": "PROJECT_ID" }
Aggiorna l'istanza
Utilizza questo esempio per aggiornare un'istanza esistente. Per un elenco completo dei parametri disponibili per questa chiamata, consulta la pagina instances.patch.
Utilizza questo esempio per aggiornare un'istanza esistente. Per un elenco completo dei parametri disponibili per questa chiamata, consulta la pagina instances.patch.
Prima di utilizzare i dati della richiesta, effettua le seguenti sostituzioni:
- PROJECT_ID: l'ID o numero di progetto del progetto Google Cloud che contiene l'istanza
- INSTANCE_NAME: il nome dell'istanza
Metodo HTTP e URL:
PATCH https://sqladmin.googleapis.com/sql/v1beta4/projects/PROJECT_ID/instances/INSTANCE_NAME
Corpo JSON della richiesta:
{ "settings": { "enableDataplexIntegration": true } }
Per inviare la richiesta, espandi una delle seguenti opzioni:
Dovresti ricevere una risposta JSON simile alla seguente:
{ "kind": "sql#operation", "targetLink": "https://sqladmin.googleapis.com/sql/v1beta4/projects/PROJECT_ID/instances/INSTANCE_NAME", "status": "PENDING", "user": "user@example.com", "insertTime": "2024-01-16T02:32:12.281Z", "operationType": "UPDATE", "name": "OPERATION_ID", "targetId": "INSTANCE_NAME", "selfLink": "https://sqladmin.googleapis.com/sql/v1beta4/projects/PROJECT_ID/operations/OPERATION_ID", "targetProject": "PROJECT_ID" }
Verifica l'integrazione di Dataplex Catalog nell'istanza Cloud SQL
Per verificare che l'integrazione di Dataplex Catalog sia abilitata nella tua istanza, utilizza una delle seguenti procedure.
gcloud
per verificare che l'integrazione di Dataplex Catalog sia abilitata
su un'istanza esistente, utilizza
Comando gcloud sql instances describe
.
gcloud sql instances describe INSTANCE_NAME
Sostituisci INSTANCE_NAME con il nome dell'istanza.
Nell'output, cerca l'impostazione di configurazione
enableDataplexIntegration
impostato su true
.
REST v1
Prima di utilizzare i dati della richiesta, effettua le seguenti sostituzioni:
- PROJECT_ID: l'ID progetto
- INSTANCE_ID<: l'ID istanza
Metodo HTTP e URL:
GET https://sqladmin.googleapis.com/sql/v1beta4/projects/PROJECT_ID/instances/INSTANCE_ID
Per inviare la richiesta, espandi una delle seguenti opzioni:
Dovresti ricevere una risposta JSON simile alla seguente:
{ "settings": { "enableDataplexIntegration": true } }
REST v1beta4
Prima di utilizzare i dati della richiesta, effettua le seguenti sostituzioni:
- PROJECT_ID: l'ID progetto
- INSTANCE_ID<: l'ID istanza
Metodo HTTP e URL:
GET https://sqladmin.googleapis.com/sql/v1beta4/projects/PROJECT_ID/instances/INSTANCE_ID
Per inviare la richiesta, espandi una delle seguenti opzioni:
Dovresti ricevere una risposta JSON simile alla seguente:
{ "settings": { "enableDataplexIntegration": true } }
disattiva l'integrazione di Dataplex Catalog nella tua istanza Cloud SQL
Per disattivare l'integrazione di Dataplex Catalog nell'istanza Cloud SQL, utilizza una delle seguenti procedure.
gcloud
Per disattivare l'integrazione per un'istanza esistente, utilizza il metodo
Comando gcloud sql instances patch
.
gcloud sql instances patch INSTANCE_NAME \ --no-enable-dataplex-integration
Se devi disattivare l'integrazione e aggiornare tutte le istanze Cloud SQL del progetto, puoi eseguire uno script simile al seguente:
gcloud sql instances list --format="(NAME)" \ | tail -n +2 | xargs -t -I % gcloud sql instances patch % --no-enable-dataplex-integration
Questo esempio è basato su Linux.
REST v1
Utilizza questo esempio per disattivare l'integrazione.
Prima di utilizzare i dati della richiesta, apporta le seguenti sostituzioni:
- PROJECT_ID: l'ID o numero progetto del progetto Google Cloud che contiene l'istanza
- INSTANCE_NAME: il nome dell'istanza
Metodo HTTP e URL:
PATCH https://sqladmin.googleapis.com/sql/v1beta4/projects/PROJECT_ID/instances/INSTANCE_NAME
Corpo JSON della richiesta:
{ "settings": { "enableDataplexIntegration": false } }
Per inviare la richiesta, espandi una delle seguenti opzioni:
Dovresti ricevere una risposta JSON simile alla seguente:
{ "kind": "sql#operation", "targetLink": "https://sqladmin.googleapis.com/sql/v1beta4/projects/PROJECT_ID/instances/INSTANCE_NAME", "status": "PENDING", "user": "user@example.com", "insertTime": "2024-01-16T02:32:12.281Z", "operationType": "UPDATE", "name": "OPERATION_ID", "targetId": "INSTANCE_NAME", "selfLink": "https://sqladmin.googleapis.com/sql/v1beta4/projects/PROJECT_ID/operations/OPERATION_ID", "targetProject": "PROJECT_ID" }
REST v1beta4
Utilizza questo esempio per disattivare l'integrazione.
Prima di utilizzare i dati della richiesta, apporta le seguenti sostituzioni:
- PROJECT_ID: l'ID o numero di progetto del progetto Google Cloud che contiene l'istanza
- INSTANCE_NAME: il nome dell'istanza
Metodo HTTP e URL:
PATCH https://sqladmin.googleapis.com/sql/v1beta4/projects/PROJECT_ID/instances/INSTANCE_NAME
Corpo JSON della richiesta:
{ "settings": { "enableDataplexIntegration": false } }
Per inviare la richiesta, espandi una delle seguenti opzioni:
Dovresti ricevere una risposta JSON simile alla seguente:
{ "kind": "sql#operation", "targetLink": "https://sqladmin.googleapis.com/sql/v1beta4/projects/PROJECT_ID/instances/INSTANCE_NAME", "status": "PENDING", "user": "user@example.com", "insertTime": "2024-01-16T02:32:12.281Z", "operationType": "UPDATE", "name": "OPERATION_ID", "targetId": "INSTANCE_NAME", "selfLink": "https://sqladmin.googleapis.com/sql/v1beta4/projects/PROJECT_ID/operations/OPERATION_ID", "targetProject": "PROJECT_ID" }
Arricchisci gli asset Cloud SQL con gli aspetti
I tipi di aspetto sono risorse riutilizzabili che puoi utilizzare come modelli per gli aspetti. I tipi di aspetto ti consentono di evitare la duplicazione del lavoro e aspetti incompleti. Puoi utilizzare Dataplex Catalog per creare i tipi di aspetti di cui hai bisogno.
Dopo aver creato tipi di aspetto personalizzati, puoi collegare aspetti al tuo e gli asset Cloud SQL. Collegamento di aspetti agli asset Cloud SQL ti consente di:
- Aggiungere metadati dell'attività agli asset
- Cerca gli asset in base a metadati dell'attività e altri metadati personalizzati
Per saperne di più sulla creazione dei tipi di aspetto e sul collegamento degli aspetti a Cloud SQL, consulta Gestire gli aspetti e arricchire i metadati.
Cerca gli asset Cloud SQL
Utilizza la pagina di ricerca di Dataplex Catalog nella console Google Cloud per cercare asset Cloud SQL.
Vai alla pagina di ricerca di Dataplex Catalog.
In Scegli la piattaforma di ricerca, seleziona Dataplex Catalog.
Nel riquadro Filtri, fai clic su Sistemi, quindi seleziona Cloud SQL.
Facoltativo. In Alias del tipo, puoi filtrare i risultati di ricerca in base a una specifica tipo di asset Cloud SQL selezionando uno o più dei seguenti digita alias:
- Database
- Schema del database
- Servizio
- Tabella
- Visualizza
Utilizzare le query per eseguire ricerche
Puoi anche utilizzare il campo di ricerca in Dataplex Catalog per eseguire query di ricerca. Per visualizzare tutto
Per gli asset Cloud SQL, inserisci system=Cloud_SQL
.
e poi inserire parole chiave specifiche. Ad esempio, per visualizzare tutti i dati di Cloud SQL database:
system=Cloud_SQL AND type=Database
Per visualizzare tutte le tabelle Cloud SQL, inserisci la query seguente:
system=Cloud_SQL AND type=Table
Puoi anche utilizzare le parentesi e gli operatori logici AND
e OR
per
espressioni complesse. Per ulteriori informazioni sulle espressioni che puoi utilizzare
vedi Cerca la sintassi per Dataplex Catalog.
Puoi inserire direttamente nel campo di ricerca le query di ricerca per asset Cloud SQL specifici. Il formato della stringa di query è il seguente:
type="projects/PROJECT_ID/locations/global/entryTypes/QUERY_STRING"
Sostituisci quanto segue:
- PROJECT_ID: l'ID del progetto
QUERY_STRING: utilizza la tabella seguente per identificare una stringa di query in base al motore Cloud SQL e al tipo di asset su cui vuoi eseguire una query
Motore Cloud SQL Stringhe di query Cloud SQL per MySQL cloudsql-mysql-database
cloudsql-mysql-instance
cloudsql-mysql-table
cloudsql-mysql-view
Cloud SQL per PostgreSQL cloudsql-postgresql-database
cloudsql-postgresql-instance
cloudsql-postgresql-table
cloudsql-postgresql-schema
cloudsql-postgresql-view
Cloud SQL per SQL Server cloudsql-sqlserver-database
cloudsql-sqlserver-instance
cloudsql-sqlserver-table
cloudsql-sqlserver-schema
cloudsql-sqlserver-view
Una query di esempio potrebbe essere simile alla seguente:
type="projects/1234567890/locations/global/entryTypes/cloudsql-postgresql-instance"
Filtrare gli asset Cloud SQL in base al dialetto Cloud SQL
Per impostazione predefinita, Dataplex Catalog mostra tutti gli asset Cloud SQL. Per filtrare gli asset solo per Cloud SQL per MySQL, Cloud SQL per PostgreSQL o SQL Server, svolgi i seguenti passaggi.
Nel riquadro Aspetti, fai clic sul menu Aggiungi altri tipi di aspetti.
Seleziona Accesso SQL.
Fai clic su OK.
Fai clic sul pulsante di modifica dell'aspetto playlist_add . Nella pagina Accesso SQL, segui questi passaggi:
- Nel campo Dialetto, seleziona PostgreSQL per filtrare in base agli asset Cloud SQL per PostgreSQL.
- Facoltativo. Seleziona il campo Versione e inserisci una versione specifica di Cloud SQL per PostgreSQL.
Fai clic su Applica. Viene visualizzato solo Dataplex Catalog Asset Cloud SQL per PostgreSQL.
Cerca per tipo di aspetto
Dataplex Catalog include alcuni tipi di aspetto integrati per eseguire ricerche.
Nel riquadro Aspetti, fai clic sul menu Aggiungi altri tipi di aspetto.
Facoltativo. Seleziona SQL Access (Accesso SQL) per filtrare i risultati in base a Cloud SQL dialetto. Per ulteriori informazioni, consulta la procedura precedente Filtrare gli asset Cloud SQL in base al dialetto Cloud SQL.
Seleziona uno o più dei seguenti tipi di aspetti per limitare i risultati di ricerca a quel tipo.
- Cloud SQL Database
- Istanza Cloud SQL
- Visualizzazione Cloud SQL
- Schema di Cloud SQL
- Tabella Cloud SQL
Fai clic su OK.
Nella tabella dei risultati, fai clic sul nome della risorsa di cui visualizzare i metadati. dell'asset.
(Facoltativo) Migliora o visualizza gli asset. Puoi procedere in uno dei seguenti modi:
- In Panoramica, fai clic su Aggiungi per aggiungere una descrizione in formato RTF dell'asset.
- In Aspetti, fai clic su Aggiungi per allegare un aspetto all'asset.
- Per un'istanza, per visualizzare i database membri, fai clic sull'icona Scheda Elenco voci, quindi fai clic su Mostra tutte le voci secondarie nella ricerca. Se la scheda Elenco voci non viene visualizzata, significa che l'istanza non ha database.
- In Dettagli voce, visualizza i dettagli completi della risorsa. Fai clic sul nome della voce per visualizzare altre voci.
Flusso di lavoro di esempio - Visualizzazione in dettaglio dall'istanza alle colonne
In questo flusso di lavoro di esempio, inizi cercando un Cloud SQL Istanza, quindi visualizzare un database di membri, visualizzare una tabella in quel database quindi visualizza le colonne della tabella.
Vai alla pagina di ricerca di Dataplex Catalog.
Per l'opzione Scegli la piattaforma di ricerca, seleziona Dataplex Catalog.
Nel riquadro Filtri, seleziona Sistemi e poi Cloud SQL. In alternativa, inserisci
system=Cloud_SQL
nel campo di ricerca.Seleziona un nome istanza.
Nella pagina Dettagli Cloud SQL, fai clic sulla scheda Elenco voci e poi su Mostra tutte le voci secondarie nella ricerca. Dataplex Catalog visualizza i database nell'istanza.
Nella pagina Dettagli database Cloud SQL, fai clic sulla scheda Elenco delle voci, e poi fai clic su Visualizza le voci secondarie nella ricerca. Catalogo Dataplex visualizza le tabelle nel database.
Seleziona il nome di una tabella, quindi nella pagina Dettagli della tabella Cloud SQL fai clic su Schema per visualizzare le colonne della tabella.
(Facoltativo) Per aggiungere un tipo di aspetto a una colonna, fai clic sul pulsante Aggiungi aspetto.
Questo flusso di lavoro mostra la visualizzazione in dettaglio da un'istanza a una tabella. Tu
può andare direttamente a un elenco di tabelle inserendo system=Cloud_SQL AND type=Table
nel campo di ricerca.
Prezzi
Non è previsto alcun costo per l'archiviazione dei metadati tecnici di Cloud SQL Dataplex Catalog. Standard I prezzi di Dataplex si applicano alle chiamate API e a ulteriori informazioni aziendali l'arricchimento dei metadati. Per ulteriori informazioni, consulta la pagina dei prezzi di Dataplex.
Utilizzo delle risorse
Dataplex Catalog estrae periodicamente i dati dalle tue istanze. Il processo di estrazione richiede una certa quantità di utilizzo della CPU. Le istanze con tipi di macchine più piccoli, ad esempio macchine con core condivisi e schemi più grandi (10.000 o più tabelle) possono utilizzare fino al 40% della CPU il processo di estrazione.
Limitazioni
Questa sezione elenca le limitazioni relative all'utilizzo di Cloud SQL e Dataplex Catalog.
L'integrazione di Dataplex Catalog con Cloud SQL è disattivata per qualsiasi istanza che limita l'accesso alle risorse a causa della registrazione delle risorse in Carichi di lavoro garantiti.
Dopo aver abilitato Dataplex Catalog su un'istanza, può richiedere tra 2 e 48 ore affinché le risorse Cloud SQL vengano visualizzate in Dataplex Catalog come asset, a seconda delle dimensioni della macchina, e il tipo di motore Cloud SQL che stai utilizzando.
Non esistono limitazioni note per Cloud SQL per PostgreSQL e Dataplex Catalog.