Gestisci le risorse utilizzando Data Catalog

Questa pagina spiega come cercare e gestire le risorse Spanner utilizzando Data Catalog.

Data Catalog è un servizio di gestione dei metadati scalabile e completamente gestito all'interno di Dataplex. Cataloga automaticamente i seguenti metadati su istanze, database, tabelle, colonne e viste di Spanner:

• Nome e nome completo
• Località (regione)
• Data di creazione e data dell'ultima modifica
• Schema (per tabelle e viste)
• Descrizione

I metadati Spanner vengono sincronizzati automaticamente con Data Catalog a intervalli regolari, in genere a intervalli di alcune ore. Puoi usare Data Catalog per scoprire e comprendere i tuoi metadati Spanner. Utilizza Data Catalog per supportare le seguenti attività:

• Analisi, incluse le dipendenze e l'idoneità per un caso d'uso
• Gestione del cambiamento
• Spostamento dei dati (pipeline)
• Evoluzione dello schema

Con Data Catalog puoi selezionare i metadati associando tag alle voci di metadati di Spanner. Ogni tag può avere più campi di metadati e può essere basato su un modello di tag predefinito o personalizzato.

Ad esempio, potresti collegare il seguente tag a una colonna contenente un codice fiscale, ovvero informazioni che consentono l'identificazione personale (PII):

pii:true
pii_type:SSN

Quando sposta un'istanza che utilizza i tag, questi non vengono spostati automaticamente nell'istanza di destinazione. Devi esportare i tag dall'istanza di origine prima di spostare l'istanza e importare i tag nell'istanza di destinazione. Per ulteriori informazioni, consulta Esportare e importare tag.

Per saperne di più su Data Catalog, consulta Che cos'è Data Catalog.

Nota: Data Catalog fa riferimento alle risorse in Spanner e in altri servizi Google Cloud come asset. In questa pagina, le risorse Spanner (istanze, database, tabelle e viste) vengono chiamate asset Spanner. Usiamo anche il termine asset per fare riferimento sia alle risorse sia ai metadati di Data Catalog per le risorse.

Prima di iniziare

1. Accedi al tuo account Google Cloud. Se non conosci Google Cloud, crea un account per valutare le prestazioni dei nostri prodotti in scenari reali. I nuovi clienti ricevono anche 300 $di crediti gratuiti per l'esecuzione, il test e il deployment dei carichi di lavoro.

2. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

   Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

   Go to project selector

3. Assicurati che la fatturazione sia attivata per il tuo progetto Google Cloud.

4. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

   Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

   Go to project selector

5. Assicurati che la fatturazione sia attivata per il tuo progetto Google Cloud.

6. Abilitare l'API Data Catalog per il progetto.

   Abilita l'API Data Catalog

7. Controlla le autorizzazioni.

   Per cercare e collegare i tag agli asset Spanner, sono necessari determinati ruoli e autorizzazioni di Identity and Access Management (IAM). Per maggiori dettagli, consulta Ruoli e autorizzazioni IAM richiesti per Data Catalog.

Creare modelli di tag

Le templi dei tag sono strutture riutilizzabili per creare rapidamente nuovi tag. I modelli ti consentono di evitare la duplicazione del lavoro e i tag incompleti. Crea tutti i modelli di tag che ti servono.

Per ulteriori informazioni, consulta la sezione Tag e modelli di tag.

Associa i tag agli asset Spanner

Collegare i tag agli asset Spanner ti consente di:

• Aggiungi metadati dell'attività alle risorse.
• Cerca gli asset in base a metadati dell'attività e altri metadati personalizzati.

Per ulteriori informazioni, consulta la sezione Tag e modelli di tag.

Cerca asset Spanner

Usa la pagina di ricerca di Dataplex nella console Google Cloud per cercare asset Spanner.

1. Vai alla pagina di ricerca di Dataplex.

   Vai a Dataplex

2. Nel riquadro Filtri, in Sistemi, seleziona Spanner.

   Dataplex visualizza tutti gli asset Spanner noti.

3. (Facoltativo) Per restringere la ricerca, esegui una delle seguenti operazioni:

   • Puoi utilizzare la ricerca con facet nella pagina Ricerca. Seleziona le caselle di controllo in Tipi di dati, Progetti e Tag.

   • Nel campo di ricerca, aggiungi un parametro di ricerca dopo system=cloud_spanner. Separa i parametri con spazi.

   Ad esempio, per visualizzare solo i database, inserisci il testo seguente nel campo di ricerca, poi premi Enter.

    system=cloud_spanner type=database
   

   Nota: per cercare istanze di Spanner, utilizza type=service. Per cercare la configurazione di un'istanza, utilizza instance_config=configuration-name.

   Per le espressioni complesse puoi anche utilizzare le parentesi e gli operatori logici and e or. Per ulteriori informazioni sulle espressioni che puoi utilizzare nel campo di ricerca, consulta la sintassi di ricerca di Data Catalog.

4. Nella tabella dei risultati, fai clic sul nome di una risorsa per visualizzarne i metadati.

5. (Facoltativo) Esegui una delle seguenti operazioni:

   • Fai clic su AGGIUNGI PANORAMICA per aggiungere una descrizione RTF dell'asset.
   • Fai clic su COLLEGA TAG per aggiungere un tag alla risorsa.
   • Per visualizzare una tabella, fai clic sulla scheda SCHEMA per visualizzare le relative colonne.
   • Per un'istanza (SERVIZIO), per visualizzare i database dei membri, fai clic sulla scheda ELENCO VOCE, quindi fai clic su VISUALIZZA LE VOCE FIRMATE NELLA RICERCA. Se la scheda LISTA DELLE VOCI non viene visualizzata, significa che l'istanza non ha database.

Flusso di lavoro di esempio - Visualizzazione in dettaglio dall'istanza alle colonne

In questo flusso di lavoro di esempio, devi innanzitutto cercare un'istanza di Spanner, quindi visualizzare un database dei membri, quindi visualizzare una tabella nel database e infine visualizzare le colonne della tabella.

1. Vai alla pagina di ricerca di Dataplex.

   Vai a Dataplex

2. Nel riquadro Filtri, in Sistemi, seleziona Spanner.

3. Per visualizzare tutte le istanze di Spanner in Data Catalog, seleziona la casella di controllo Servizio in Tipi di dati oppure inserisci il seguente testo nel campo di ricerca e premi Enter.

   system=cloud_spanner type=service
   

4. Seleziona un nome istanza.

5. Nella pagina Dettagli servizio Spanner, fai clic sulla scheda ELENCO DELLE VOCE, quindi fai clic su VISUALIZZA LE ENTRATE MINORI NELLA RICERCA.

   Dataplex visualizza i database nell'istanza.

   Nota: se non è presente la scheda LISTA DELLE VOCI, torna alla pagina Cerca e scegli un'istanza diversa.

6. Nella pagina Dettagli database Spanner, fai clic sulla scheda ELENCO LE VOCE, quindi fai clic su VISUALIZZA LE VOCE FIGLIOLI NELLA RICERCA.

   Dataplex visualizza le tabelle nel database.

7. Seleziona il nome di una tabella, poi fai clic su SCHEMA nella pagina Dettagli tabella di Spanner per visualizzare le colonne della tabella.

8. (Facoltativo) Per aggiungere un tag a una colonna, fai clic sul segno più in Tag colonna.

Nota: questo flusso di lavoro mostra la visualizzazione in dettaglio da un'istanza a una tabella. Puoi accedere direttamente a un elenco di tabelle utilizzando il riquadro Filtri o inserendo system=cloud_spanner,type=table nel campo di ricerca.

Esportare e importare i tag

Quando sposta un'istanza Spanner, il processo di spostamento elimina i tag di istanza creati in Data Catalog. Per conservare i tag, procedi nel seguente modo:

• Esegui una query sui tag associati all'istanza.
• Copia i dettagli dei tag.
• Crea i tag sull'istanza spostata.

Spanner sincronizza i dati ogni 6 ore. Eventuali modifiche ai metadati apportate su asset di Spanner come istanze, database, tabelle, viste o colonne potrebbero richiedere circa 6 ore per la propagazione in Data Catalog.

Esporta i tag dalla configurazione dell'istanza di origine

Per elencare i tag per un'istanza (voce o gruppo di voci), utilizza il comando Google Cloud CLI gcloud data-catalog tags list come segue:

curl \
'https://datacatalog.googleapis.com/v1/projects/PROJECT/locations/LOCATION/entryGroups/ENTRY_GROUP/tags?key=API_KEY' \
  --header 'Authorization: Bearer ACCESS_TOKEN' \
  --header 'Accept: application/json' \
  --compressed

Sostituisci quanto segue:

• PROJECT: progetto che contiene i tag.
• LOCATION: posizione dei tag.
• API_KEY: una stringa univoca che ti consente di accedere a un'API.
• ACCESS_TOKEN: il token di accesso che l'applicazione utilizza per l'autenticazione al servizio.

Importa i tag nella configurazione di destinazione

Prima di completare questa procedura, segui questi passaggi:

• Sposta l'istanza.
• Aggiornare Data Catalog con i metadati.

Per copiare un tag, crea i tag sull'istanza spostata utilizzando il comando gcloud data-catalog tags create come segue:

curl --request POST \
'https://datacatalog.googleapis.com/v1/entries:lookup?fullyQualifiedName=FQN&location=LOCATION&project=PROJECT&key=API_KEY' \
  --header 'Authorization: Bearer ACCESS_TOKEN' \
  --header 'Accept: application/json' \
  --header 'Content-Type: application/json' \
  --data '{"column":"myColumnName","name":"myTagName","template":"myTemplateName","fields":{"myDoubleField":{"doubleValue":0}}}' \
  --compressed

Sostituisci quanto segue:

• FQN: nome completo (FQN) della risorsa. I nomi di dominio completi assumono due forme:

  Per le risorse non regionalizzate: {SYSTEM}:{PROJECT}.{PATH_TO_RESOURCE_SEPARATED_WITH_DOTS}

  Per le risorse regionalizzate: {SYSTEM}:{PROJECT}.{LOCATION_ID}.{PATH_TO_RESOURCE_SEPARATED_WITH_DOTS}

  Esempio per una tabella DPMS:

  dataproc_metastore:{PROJECT_ID}.{LOCATION_ID}.{INSTANCE_ID}.{DATABASE_ID}.{TABLE_ID}

• LOCATION: località in cui viene eseguita la ricerca.

• PROJECT: progetto in cui viene eseguita la ricerca.

• API_KEY: una stringa univoca che ti consente di accedere a un'API.

• ACCESS_TOKEN: il token di accesso che l'applicazione utilizza per l'autenticazione al servizio.

Ruoli e autorizzazioni IAM richiesti per Data Catalog

La tabella seguente mostra i ruoli e le autorizzazioni IAM richiesti per le varie operazioni di Data Catalog.

Nota: Data Catalog non supporta il controllo dell'accesso granulare di Spanner.

Operazione di Data Catalog	Risorsa Spanner	Ruoli o autorizzazioni richiesti
crea un modello di tag	N/A	roles/datacatalog.tagTemplateCreator
Cerca risorse Spanner	Istanza	spanner.instances.get
	Database	spanner.databases.get
	Tabella	spanner.databases.get
	Viste	spanner.databases.get
Visualizza tag pubblici	Istanza	spanner.instances.get
	Database	spanner.databases.get
	Tabella	spanner.databases.get
	Viste	spanner.databases.get
Visualizza tag privati	Istanze	datacatalog.tagTemplates.getTag + spanner.instances.get
	Database	datacatalog.tagTemplates.getTag + spanner.databases.get
	Tabelle	datacatalog.tagTemplates.getTag + spanner.databases.get
	Viste	datacatalog.tagTemplates.getTag + spanner.databases.get
Collega un tag a una risorsa Spanner utilizzando un modello di tag	Istanze	datacatalog.tagTemplates.use + spanner.instances.updateTag
	Database	datacatalog.tagTemplates.use + spanner.databases.updateTag
	Tabelle	datacatalog.tagTemplates.use + spanner.databases.updateTag
	Viste	datacatalog.tagTemplates.use + spanner.databases.updateTag

L'autorizzazione spanner.instances.UpdateTag è inclusa nel seguente ruolo:

• roles/spanner.admin

L'autorizzazione spanner.databases.UpdateTag è inclusa nei seguenti ruoli:

• roles/spanner.admin
• roles/spanner.databaseAdmin
• roles/spanner.databaseUser

Per saperne di più, vedi Ruoli predefiniti.

Passaggi successivi

• Che cos'è Data Catalog
• Ruoli per cercare risorse Google Cloud
• Informazioni sul controllo dell'accesso granulare