Questa pagina è stata tradotta dall'API Cloud Translation.

Cercare e visualizzare gli asset di dati con Data Catalog

Questo documento spiega come utilizzare Data Catalog per eseguire una ricerca degli asset di dati.

Gli asset di dati che puoi cercare includono:

Set di dati collegati di Analytics Hub
Set di dati, tabelle, viste e modelli BigQuery
Istanze, cluster e tabelle Bigtable (inclusi i dettagli famiglia di colonne)
Modelli di tag, gruppi di voci e voci personalizzate
Lake, zone, tabelle e set di file Dataplex
Dataproc Metastore, database e tabelle
Stream di dati Pub/Sub
Istanze Spanner, database, tabelle e viste
Risorse per modelli, set di dati e Vertex AI Feature Store di Vertex AI
Asset in silos di dati aziendali collegati Data Catalog

Ambito della ricerca

Potrebbero essere visualizzati risultati di ricerca diversi in base alle tue autorizzazioni. L'ambito dei risultati di ricerca di Data Catalog dipende dal tuo ruolo.

Puoi esaminare i diversi tipi di autorizzazioni e ruoli IAM disponibili per Data Catalog.

Ad esempio, se disponi dell'accesso in lettura ai metadati BigQuery , questo oggetto viene visualizzato nei risultati di ricerca di Data Catalog che consentono di analizzare i dati e visualizzare i risultati. Nell'elenco seguente vengono descritte le autorizzazioni minime richieste:

Per cercare una tabella, devi disporre dell'autorizzazione bigquery.tables.get per quella tabella.
Per cercare un set di dati, devi disporre dell'autorizzazione bigquery.datasets.get per quel set di dati.
Per cercare metadati per un set di dati o una tabella, devi disporre del ruolo roles/bigquery.metadataViewer.
Per cercare tutte le risorse all'interno di un progetto o di un'organizzazione, devi disporre dell'autorizzazione datacatalog.catalogs.searchAll. Funziona per tutte le risorse, indipendentemente dal sistema di origine.

Se hai accesso a una tabella BigQuery, ma non al set di dati che la contiene, la tabella continua a essere visualizzata come previsto Ricerca in Data Catalog. La stessa logica di accesso si applica a tutti sistemi supportati come Pub/Sub e Data Catalog, per trovare le regole.

Problemi di richiamo nella ricerca

Le query di ricerca di Data Catalog non garantiscono il richiamo completo. Risultati che corrispondente alla query potrebbe non essere restituita, anche nelle pagine dei risultati successive. Inoltre, i risultati restituiti (e non restituiti) possono variare se ripeti le query di ricerca.

Se riscontri problemi di richiamo e non devi recuperare il genera un ordine specifico, ti consigliamo di impostare il parametro orderBy su default durante la chiamata al catalog.search.

Usa il flag `admin_search`

L'uso del flag admin_search sulla richiesta di ricerca garantisce il richiamo completo. La ricerca come amministratore richiede l'autorizzazione datacatalog.catalogs.searchAll impostato su tutti i progetti e le organizzazioni nell'ambito di ricerca. Quando si utilizza admin_search, è consentito solo default orderBy.

Tabelle con frazioni di data

Data Catalog aggrega le tabelle con frazioni di date in un'unica . Questa voce ha lo stesso schema dello shard della tabella con il numero recente e contiene informazioni aggregate sul numero totale di o shard. La voce deriva il suo livello di accesso dal set di dati a cui appartiene. La ricerca di Data Catalog mostra queste voci logiche solo se l'utente ha accesso al set di dati che li contiene. Privato con data frazionata tabelle non sono visibili nella ricerca di Data Catalog, anche se sono presenti in Data Catalog e possono essere taggati.

Filtri

I filtri ti consentono di restringere i risultati di ricerca. Tutti i filtri sono raggruppati in sezioni:

Ambito per limitare la ricerca solo agli elementi speciali.
Sistemi come BigQuery, Pub/Sub, Dataplex, Dataproc Metastore , personalizzato Vertex AI e lo stesso Data Catalog. Il sistema Data Catalog contiene set di file e voci personalizzate.
I laghi e le zone provengono da Dataplex.
Tipi di dati come stream di dati, set di dati, lake, zone, set di file, modelli, tabelle, visualizzazioni, servizi, database e tipi personalizzati.
In Progetti sono elencati tutti i progetti disponibili per te.
Tag elenca tutti i modelli di tag (e i relativi singoli campi) disponibili.
I set di dati provengono da BigQuery e Vertex AI.
I set di dati pubblici sono dati disponibili pubblicamente provenienti da BigQuery.

Puoi combinare filtri di più sezioni per trovare risorse che corrispondano almeno una condizione per ogni sezione selezionata. Più filtri selezionati in una singola sezione viene valutata utilizzando operatore logico. Ad esempio, data la seguente combinazione di filtri:

Data Catalog cerca:

Set di dati BigQuery con tag MyTemplate1.
Set di dati BigQuery con tag MyTemplate2.
Tabelle BigQuery contrassegnate con il modello MyTemplate1.
Tabelle BigQuery contrassegnate con il modello MyTemplate2.

Filtra per valore tag

I filtri Tag consentono di eseguire query per asset taggati utilizzando un modello specifico. Puoi utilizzare il menu Personalizza per perfezionare ulteriormente i risultati e filtrando in base a valori di tag specifici. Le condizioni di filtro dei valori dei tag dipendono dal tipo di dati del campo in questione. Ad esempio, per i campi data/ora e numerico puoi specificare una data o un intervallo specifico.

Visibilità dei filtri

I filtri visualizzati in ogni sezione dipendono dalla query corrente nella casella di ricerca. L'intero insieme di risultati di ricerca può includere voci che corrisponde alla query corrente, ma i filtri corrispondenti a queste voci potrebbero non nel riquadro Filtri.

Come cercare asset di dati

Console

Per avviare una query di ricerca in Dataplex nella console Google Cloud, vai alla pagina Ricerca Dataplex.

Vai alla pagina Cerca di Dataplex
Per Scegli la piattaforma di ricerca, seleziona Data Catalog come modalità di ricerca.
Nel campo di ricerca, inserisci la query o utilizza il riquadro Filtri per perfezionare i parametri di ricerca.

Puoi aggiungere manualmente i seguenti filtri:

In Progetti, un filtro dei progetti facendo clic sul pulsante AGGIUNGI PROGETTO, cercando un progetto specifico, selezionandolo e facendo clic su APRI.
In Tag, applica un filtro ai modelli di tag facendo clic sul menu a discesa Aggiungi altri modelli di tag, cercando un modello specifico, selezionandolo e facendo clic su OK.

Inoltre, puoi:

Seleziona Includi set di dati pubblici per cercare asset di dati pubblicamente. disponibili in Google Cloud oltre agli asset a tua disposizione.

Esempio di ricerca

Ad esempio, per cercare la tabella trips che hai impostato in Configurare modelli di tag, tag, panoramiche e gestori dati:

Inserisci trips nel campo di ricerca e fai clic su Cerca.
Seleziona BigQuery dalla sezione Sistemi per escludere gli asset dati con lo stesso nome appartenenti ad altri sistemi.
Seleziona il tuo ID progetto dalla sezione Progetti per escludere le risorse di dati da altri progetti. Se il tuo progetto non è mostrato nella sezione, fai clic su AGGIUNGI PROGETTO e selezionalo nella finestra di dialogo.
Seleziona il Demo Tag Template dalla sezione Modelli di tag per verifica se un tag che utilizza questo modello è associato alla tabella trips. Se questo modello non viene visualizzato nella sezione, fai clic sul pulsante Aggiungi altri tag trovalo e selezionalo e fai clic su OK.

Con tutti i filtri selezionati, i risultati di ricerca contengono solo uno la tabella BigQuery trips nel progetto con un tag associato che utilizza Demo Tag Template.

Puoi anche procedere nel seguente modo:

Filtra la ricerca aggiungendo un keyword:value ai termini di ricerca nel campo di ricerca:

Parola chiave	Descrizione
`name:`	Nome asset di dati corrispondente
`column:`	Corrisponde al nome della colonna o al nome della colonna nidificata
`description:`	Descrizione della tabella delle corrispondenze

Esegui una ricerca di tag aggiungendo uno dei seguenti tag prefissi delle parole chiave ai termini di ricerca nel campo di ricerca:

Tag	Descrizione
`tag:project-name.tag_template_name`	Nome tag corrispondente
`tag:project-name.tag_template_name.key`	Associare una chiave tag
`tag:project-name.tag_template_name.key:value`	Associa la coppia tag `key:string value`

Suggerimenti per le espressioni di ricerca

Racchiudi l'espressione di ricerca tra virgolette ("search terms"), se è contiene spazi.
Puoi anteporre una parola chiave a "NON" (tutto in maiuscolo) per ottenere la negazione logica del filtro keyword:term. Puoi anche utilizzare "AND" e "OR" Operatori booleani con tutte le lettere maiuscole per combinare le espressioni di ricerca.

Ad esempio:NOT column:term elenca tutte le colonne tranne quelle che corrispondono a al termine specificato. Per un elenco di parole chiave e altri termini che puoi utilizzare in una l'espressione di ricerca Data Catalog, consulta Sintassi di ricerca di Data Catalog.

Java

Prima di provare questo esempio, segui le istruzioni per la configurazione di Java nel Guida rapida di Data Catalog con librerie client. Per ulteriori informazioni, consulta la documentazione di riferimento dell'API Data Catalog Java.

Per eseguire l'autenticazione in Data Catalog, configura le credenziali predefinite dell'applicazione. Per ulteriori informazioni, vedi Configura l'autenticazione per un ambiente di sviluppo locale.

import com.google.cloud.datacatalog.v1.DataCatalogClient;
import com.google.cloud.datacatalog.v1.DataCatalogClient.SearchCatalogPagedResponse;
import com.google.cloud.datacatalog.v1.SearchCatalogRequest;
import com.google.cloud.datacatalog.v1.SearchCatalogRequest.Scope;
import com.google.cloud.datacatalog.v1.SearchCatalogResult;
import java.io.IOException;

// Sample to search catalog
public class SearchAssets {

  public static void main(String[] args) throws IOException {
    // TODO(developer): Replace these variables before running the sample.
    String projectId = "my-project-id";
    String query = "type=dataset";
    searchCatalog(projectId, query);
  }

  public static void searchCatalog(String projectId, String query) throws IOException {
    // Create a scope object setting search boundaries to the given organization.
    // Scope scope = Scope.newBuilder().addIncludeOrgIds(orgId).build();

    // Alternatively, search using project scopes.
    Scope scope = Scope.newBuilder().addIncludeProjectIds(projectId).build();

    // Initialize client that will be used to send requests. This client only needs to be created
    // once, and can be reused for multiple requests. After completing all of your requests, call
    // the "close" method on the client to safely clean up any remaining background resources.
    try (DataCatalogClient dataCatalogClient = DataCatalogClient.create()) {
      // Search the catalog.
      SearchCatalogRequest searchCatalogRequest =
          SearchCatalogRequest.newBuilder().setScope(scope).setQuery(query).build();
      SearchCatalogPagedResponse response = dataCatalogClient.searchCatalog(searchCatalogRequest);

      System.out.println("Search results:");
      for (SearchCatalogResult result : response.iterateAll()) {
        System.out.println(result);
      }
    }
  }
}

Node.js

Prima di provare questo esempio, segui le istruzioni per la configurazione di Node.js nel Guida rapida di Data Catalog con librerie client. Per ulteriori informazioni, consulta API Data Catalog Node.js documentazione di riferimento.

Per eseguire l'autenticazione in Data Catalog, configura le credenziali predefinite dell'applicazione. Per ulteriori informazioni, vedi Configura l'autenticazione per un ambiente di sviluppo locale.

// Import the Google Cloud client library.
const {DataCatalogClient} = require('@google-cloud/datacatalog').v1;
const datacatalog = new DataCatalogClient();

async function searchAssets() {
  // Search data assets.

  /**
   * TODO(developer): Uncomment the following lines before running the sample.
   */
  // const projectId = 'my_project'; // Google Cloud Platform project

  // Set custom query.
  const query = 'type=lake';

  // Create request.
  const scope = {
    includeProjectIds: [projectId],
    // Alternatively, search using Google Cloud Organization scopes.
    // includeOrgIds: [organizationId],
  };

  const request = {
    scope: scope,
    query: query,
  };

  const [result] = await datacatalog.searchCatalog(request);

  console.log(`Found ${result.length} datasets in project ${projectId}.`);
  console.log('Datasets:');
  result.forEach(dataset => {
    console.log(dataset.relativeResourceName);
  });
}
searchAssets();

Python

Prima di provare questo esempio, segui le istruzioni per la configurazione di Python nel Guida rapida di Data Catalog con librerie client. Per ulteriori informazioni, consulta API Data Catalog Python documentazione di riferimento.

Per autenticarti in Data Catalog, configura le credenziali predefinite dell'applicazione. Per ulteriori informazioni, vedi Configura l'autenticazione per un ambiente di sviluppo locale.

from google.cloud import datacatalog_v1

datacatalog = datacatalog_v1.DataCatalogClient()

# TODO: Set these values before running the sample.
project_id = "project_id"

# Set custom query.
search_string = "type=dataset"
scope = datacatalog_v1.types.SearchCatalogRequest.Scope()
scope.include_project_ids.append(project_id)

# Alternatively, search using organization scopes.
# scope.include_org_ids.append("my_organization_id")

search_results = datacatalog.search_catalog(scope=scope, query=search_string)

print("Results in project:")
for result in search_results:
    print(result)

RESTA E LINEA CMD

REST

Se non hai accesso alle librerie client di Cloud per il tuo linguaggio o se vuoi testare l'API utilizzando richieste REST, guarda i seguenti esempi e consulta i API REST Data Catalog documentazione.

1. Cerca nel catalogo.

Prima di utilizzare i dati della richiesta, effettua le seguenti sostituzioni:

organization-id: ID organizzazione Google Cloud
project-id: ID progetto Google Cloud

Metodo HTTP e URL:

POST https://datacatalog.googleapis.com/v1/catalog:search

Corpo JSON della richiesta:

{
  "query":"trips",
  "scope":{
    "includeOrgIds":[
      "organization-id"
    ]
  }
}

Per inviare la richiesta, espandi una delle seguenti opzioni:

curl (Linux, macOS o Cloud Shell)

Nota: Il comando seguente presuppone che tu abbia eseguito l'accesso a l'interfaccia a riga di comando gcloud con il tuo account utente eseguendo gcloud init o gcloud auth login oppure utilizzando Cloud Shell, che ti consente di accedere automaticamente all'interfaccia a riga di comando gcloud di Google. Puoi controllare l'account attualmente attivo eseguendo gcloud auth list

Salva il corpo della richiesta in un file denominato request.json, quindi esegui il comando seguente:

curl -X POST \
     -H "Authorization: Bearer $(gcloud auth print-access-token)" \
     -H "x-goog-user-project: project-id" \
     -H "Content-Type: application/json; charset=utf-8" \
     -d @request.json \
     "https://datacatalog.googleapis.com/v1/catalog:search"

PowerShell (Windows)

Salva il corpo della richiesta in un file denominato request.json. ed esegui questo comando:

$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred"; "x-goog-user-project" = "project-id" }

Invoke-WebRequest `
    -Method POST `
    -Headers $headers `
    -ContentType: "application/json; charset=utf-8" `
    -InFile request.json `
    -Uri "https://datacatalog.googleapis.com/v1/catalog:search" | Select-Object -Expand Content

Dovresti ricevere una risposta JSON simile alla seguente:

{
  "results":[
    {
      "searchResultType":"ENTRY",
      "searchResultSubtype":"entry.table",
"relativeResourceName":"projects/project-id/locations/US/entryGroups/@bigquery/entries/entry1-id",
      "linkedResource":"//bigquery.googleapis.com/projects/project-id/datasets/demo_dataset/tables/taxi_trips"
    },
    {
      "searchResultType":"ENTRY",
      "searchResultSubtype":"entry.table",
      "relativeResourceName":"projects/project-id/locations/US/entryGroups/@bigquery/entries/entry2-id",
      "linkedResource":"//bigquery.googleapis.com/projects/project-id/datasets/demo_dataset/tables/tlc_yellow_trips_2018"
    }
  ]
}

Visualizza i dettagli della tabella

All'interno della console Cloud, puoi utilizzare Data Catalog per visualizzare i dettagli della tabella.

Vai alla pagina di ricerca di Dataplex.

Vai a Data Catalog
Per Scegli la piattaforma di ricerca, seleziona Data Catalog come modalità di ricerca.
Nella casella di ricerca, inserisci il nome di un set di dati con una tabella.

Ad esempio, se hai completato la Guida rapida, puoi cercare demo-dataset e selezionare la tabella trips.
Fai clic sulla tabella.

Viene visualizzata la pagina Dettagli tabella BigQuery.

I dettagli della tabella includono le seguenti sezioni:

Dettagli della tabella BigQuery. Include informazioni come data e ora di creazione, ora dell'ultima modifica, ora di scadenza, URL di risorse, etichette e così via.
Tag. Elenca i tag applicati.Puoi modificare i tag in questa pagina e visualizzare il modello di tag. Fai clic sull' Azioni.
Tag di schema e colonna. Elenca lo schema applicato e i relativi valori.

Aggiungi a Speciali le tue voci preferite e cercale

Se sfogli spesso gli stessi asset di dati, puoi includere le relative voci in creare un elenco personalizzato contrassegnandole con le stelle. Per farlo nella UI di Dataplex:

Vai alla pagina di ricerca di Dataplex.

Vai a Data Catalog
Per Scegli la piattaforma di ricerca, seleziona Data Catalog come modalità di ricerca.
Trova l'asset e poi aggiungi la relativa voce a Speciali in uno dei due modi seguenti:
- Fai clic sull'icona accanto voce nei risultati di ricerca.
- Fai clic sul nome della voce per aprire la relativa pagina dei dettagli, quindi fai clic STAR nella barra delle azioni in alto.

Puoi aggiungere a Speciali fino a 200 voci.

Le voci aggiunte a Speciali vengono visualizzate nell'elenco Voci aggiunte a Speciali nella pagina di ricerca prima di inserisci una query nella barra di ricerca. Questo elenco è visibile solo a te.

Per cercare solo le voci aggiunte a Speciali, seleziona Ambito > Opzione Speciali attivata nel riquadro Filtri.

Puoi anche utilizzare i metodi corrispondenti dell'API Data Catalog per aggiungere e rimuovere le stelle dalle voci. Quando cerchi asset, utilizza il parametro starredOnly in l'oggetto scope. Consulta il metodo catalog.search.

Cercare e visualizzare gli asset di dati con Data Catalog

Ambito della ricerca

Problemi di richiamo nella ricerca

Usa il flag admin_search

Tabelle con frazioni di data

Filtri

Filtra per valore tag

Visibilità dei filtri

Come cercare asset di dati

Console

Console

Esempio di ricerca

Suggerimenti per le espressioni di ricerca

Java

Node.js

Python

RESTA E LINEA CMD

REST

1. Cerca nel catalogo.

curl (Linux, macOS o Cloud Shell)

PowerShell (Windows)

Visualizza i dettagli della tabella

Aggiungi a Speciali le tue voci preferite e cercale

Usa il flag `admin_search`