Interfaccia amministratore di Dataproc Metastore

Questa pagina spiega come utilizzare l'interfaccia di amministrazione di Dataproc Metastore.

L'interfaccia amministratore ti fornisce uno strumento centralizzato per ispezionare e gestire i metadati archiviati nel servizio Dataproc Metastore, il tutto senza doverti connettere a un cluster Dataproc o a un'istanza Hive. Puoi invece gestire i metadati con le API gcloud CLI o Dataproc Metastore.

Ad esempio, utilizzando l'interfaccia amministratore, puoi eseguire una query SQL direttamente sui metadati di backend per recuperare il nome di una tabella specifica. Questa procedura prevede meno passaggi rispetto al flusso di lavoro tipico, ad esempio la creazione di un cluster Dataproc, la connessione al cluster tramite SSH, l'avvio di un'istanza Hive e infine l'esecuzione di una query (ad esempio SELECT * FROM table_name).

Di conseguenza, l'interfaccia di amministrazione può aiutarti a risparmiare tempo e a diminuire la quantità di risorse Google Cloud necessarie per recuperare i tuoi dati.

Prima di iniziare

• Abilita Dataproc Metastore nel tuo progetto.
• Crea un servizio Dataproc Metastore.
• Importa i metadati in Dataproc Metastore.

Ruoli obbligatori

Per ottenere le autorizzazioni necessarie per utilizzare l'interfaccia di amministrazione di Dataproc Metastore, chiedi all'amministratore di concederti i seguenti ruoli IAM nel progetto, in base al principio del privilegio minimo:

• Per eseguire una query sui metadati Dataproc Metastore: Amministratore query sui metadati (roles/metastore.metadataQueryAdmin) per l'account utente o l'account di servizio
• Per modificare la località delle risorse dei metadati, inclusi database, tabelle e partizioni, o spostare una tabella in un altro database:
  • I metadati cambiano l'amministratore (roles/metastore.metadataMutateAdmin) nell'account utente o nell'account di servizio
  • Dataproc Metastore Editor (roles/metastore.editor) nell'account utente o nell'account di servizio

Per saperne di più sulla concessione dei ruoli, consulta Gestire l'accesso a progetti, cartelle e organizzazioni.

Questi ruoli predefiniti contengono le autorizzazioni necessarie per utilizzare l'interfaccia amministratore di Dataproc Metastore. Per visualizzare le autorizzazioni esatte richieste, espandi la sezione Autorizzazioni richieste:

Autorizzazioni obbligatorie

Per utilizzare l'interfaccia amministratore di Dataproc Metastore sono necessarie le seguenti autorizzazioni:

• Per eseguire query sui metadati di Dataproc Metastore: metastore.services.queryMetadata
• Per modificare o spostare le tabelle Dataproc Metastore: metastore.services.mutateMetadata

Potresti anche riuscire a ottenere queste autorizzazioni con ruoli personalizzati altri ruoli predefiniti.

Per ulteriori informazioni su ruoli e autorizzazioni specifici di Dataproc Metastore, consulta la panoramica di IAM di Dataproc Metastore.

Operazioni dell'amministratore supportate

Puoi eseguire operazioni dell'interfaccia amministratore solo utilizzando gcloud CLI o le API Dataproc Metastore. Le operazioni dell'interfaccia di amministrazione non sono supportate nella console Google Cloud.

L'interfaccia di amministrazione supporta le seguenti operazioni.

• Operazioni di sola lettura.

  • Metadati delle query.
  Avviso: esegui solo query di sola lettura in modo interattivo. Non automatizzare o eseguire query di sola lettura non interattive su processi critici per la produzione. L'esecuzione di query non interattive può causare problemi se le parti modifiche allo schema del database senza preavviso.

• Operazioni di lettura e scrittura.

  • Modifica la località delle risorse dei metadati, inclusi database, tabelle e partizioni di architettura.
  • Modificare le proprietà della tabella, ad esempio coppie chiave-valore personalizzate.
  • Spostare una tabella in un altro database.

Metadati delle query

Questa operazione ti consente di cercare informazioni sui metadati nel database utilizzando query SQL. Dopo aver eseguito una query, i risultati vengono dumpati nel bucket Google Cloud degli elementi.

Prima di eseguire questa operazione, tieni presente le seguenti considerazioni:

• Le operazioni supportate includono solo read-only query MySQL o Spanner. Se la query tenta di modificare i dati, l'operazione non va a buon fine.
• Il file di output contiene al massimo 1000 righe. Questa configurazione non può essere modificata.

• I file di output non vengono eliminati automaticamente. Dovrai invece eliminarli manualmente dal bucket Google Cloud. Se non le elimini, potresti incorrere costi di archiviazione aggiuntivi.

Interfaccia a riga di comando gcloud

1. Per eseguire query sui metadati, esegui questo comando gcloud metastore services query-metadata:

   gcloud metastore services query-metadata SERVICE \
     --location=LOCATION \
     --query=QUERY

   Sostituisci quanto segue:

   • SERVICE: il nome del tuo Servizio Dataproc Metastore.
   • LOCATION: la regione Google Cloud in cui risiede il servizio Dataproc Metastore.
   • QUERY: la query SQL per la destinazione dei metadati.
     • Se utilizzi un database MySQL, usa una normale query MySQL.
     • Se utilizzi un database Spanner, utilizza una query GoogleSQL.

2. Visualizza il file di output nel bucket Google Cloud degli elementi.

REST

Nota: il seguente comando presuppone che tu abbia eseguito l'accesso a gcloud CLI: con il tuo account utente. Puoi accedere eseguendo gcloud init o gcloud auth login oppure utilizzando Cloud Shell, che ti consente di accedere automaticamente all'interfaccia a riga di comando gcloud. Puoi controllare l'account attivo eseguendo gcloud auth list.

curl -X POST -s -i \
  -H "Authorization: Bearer $(gcloud auth print-access-token)" \
  -X POST -d '{"query": "QUERY"}' \
  -H "Content-Type:application/json" \
  https://metastore.googleapis.com/projects/PROJECT_ID/locations/LOCATION/services/SERVICE:queryMetadata

Sostituisci quanto segue:

• QUERY: la query SQL utilizzata per scegliere come target i metadati.
  • Se utilizzi un database MySQL, usa una normale query MySQL.
  • Se usi un database Spanner, usa una query GoogleSQL.
• PROJECT_ID: l'ID progetto Google Cloud in cui risiede il servizio Dataproc Metastore.
• SERVICE: il nome del servizio Dataproc Metastore.
• LOCATION: la regione in cui risiede Dataproc Metastore.

L'esempio seguente mostra un comando di esempio che esegue una query select * da un database denominato DBS.

curl -H "Authorization: Bearer $(gcloud auth print-access-token)" \
  -H "Content-Type: application/json" -X POST -d  '{"query": "select * from DBS;"}' \
  https://metastore.googleapis.com/projects/dpms/locations/us-central1/services/dpms1:queryMetadata

Interpreta l'output di un'operazione sui metadati della query

Quando esegui per la prima volta un comando di metadati di query, Dataproc Metastore automaticamente crea una cartella Google Cloud nel bucket Google Cloud degli artefatti. Questa cartella si chiama query-results. Dopo ogni esecuzione di query riuscita (chiamata API), viene creata una nuova cartella all'interno della cartella query-results (che viene denominata con un UUID generato in modo casuale).

Ogni nuova cartella contiene un file result manifest con i risultati della query. Il luogo di questa cartella viene restituito nella risposta alla chiamata API.

Ad esempio, nella risposta, il campo resultManifestUri contiene la posizione del file.

"response": {
    "@type": "type.googleapis.com/google.cloud.metastore.QueryMetadataResponse",
    "resultManifestUri": "gs://gcs-bucket-6a3638b8-e319-46363-ad33-e632a5e/query-results/800156f5-2d13-4b80-bec3-2345a9e880f6/result-manifest"
  }

L'output del file result manifest è simile al seguente:

{
  "status": {
    "code": 0,
    "message": "Query results are successfully uploaded to cloud storage",
    "details": []
  },
  "filenames": ["result-001"]
}

Dettagli del file manifest dei risultati:

• Il campo status indica se la query è riuscita o meno.
• Se l'esecuzione della query ha esito positivo, il campo filenames elenca tutti i file è stato creato. Questi file si trovano nella stessa cartella del file result manifest.
• Se la query non è andata a buon fine, il campo details mostra il messaggio di errore.

Nota: per impostazione predefinita, i file di output non hanno un TTL (Time to Live). Devi eliminare manualmente dal tuo bucket Google Cloud o crea una regola TTL personalizzata query-results cartella. Se non le elimini, potresti incorrere in spazio di archiviazione aggiuntivo aggiuntivi.

Modifica la località delle risorse dei metadati

Questa operazione consente di modificare la località delle risorse di un database, di una tabella della partizione di testo.

Quando esegui questo comando, viene aggiornata solo la directory principale o la rispettiva risorsa di metadati. Questo comando non trasferisce i dati esistenti nella nuova posizione.

Interfaccia a riga di comando gcloud

1. Per modificare la posizione della risorsa dei metadati, esegui il seguente gcloud metastore services alter-metadata-resource-location comando:

   gcloud metastore services alter-metadata-resource-location SERVICE \
     --location=LOCATION \
     --resource_name=RESOURCE_NAME \
     --location_uri=LOCATION_URI

   Sostituisci quanto segue:

   • SERVICE: il nome del servizio Dataproc Metastore.
   • LOCATION: la regione Google Cloud in cui Il servizio Dataproc Metastore risiede in.
   • RESOURCE_NAME: nome del database, della tabella o la partizione che stai modificando.
   • LOCATION_URI: il nuovo percorso di Cloud Storage per i contenuti di RESOURCE_NAME. Questo valore è il percorso in cui sposti la posizione della risorsa di metadati. Questo percorso deve iniziare con gs://. Ad esempio: gs://bucket/object.

2. Verifica che la modifica della posizione della risorsa sia andata a buon fine.

REST

Nota: il comando seguente presuppone che tu abbia eseguito l'accesso alla CLI gcloud con il tuo account utente. Puoi accedere eseguendo gcloud init o gcloud auth login, o utilizzando Cloud Shell, eseguendo gcloud auth list.

curl -X POST -s -i \
  -H "Authorization: Bearer $(gcloud auth print-access-token)" \
  POST -d '{"resource_name": "RESOURCE_NAME", "location_uri":"LOCATION_URI"}' \
  -H "Content-Type:application/json" \
  https://metastore.googleapis.com/projects/PROJECT_ID/locations/LOCATION/services/SERVICE:alterLocation

Sostituisci quanto segue:

• PROJECT_ID: l'ID progetto Google Cloud in cui risiede il servizio Dataproc Metastore.
• SERVICE: il nome del tuo servizio Dataproc Metastore.
• LOCATION: la regione in cui si trova Dataproc Metastore.
• RESOURCE_NAME: il nome del database, della tabella o della partizione che stai modificando.
• LOCATION_URI: il nuovo percorso di Cloud Storage per i contenuti di RESOURCE_NAME. Questo valore è il percorso in cui sposterai la località della risorsa di metadati. Questo percorso deve iniziare con gs://. Ad esempio: gs://bucket/object.

L'esempio seguente mostra un comando di esempio che sposta una tabella denominata test-table2 in un nuovo bucket Cloud Storage.

 curl -H "Authorization: Bearer $(gcloud auth print-access-token)" \
   -H "Content-Type: application/json" \
   -X POST -d  '{"resource_name": "databases/testdb1/tables/test-table2",
   "location_uri":"gs://gcs-bucket-dpms1-9425bd83-b794-4f1c-9e79-2d833f758cc1/empty"}'
   https://metastore.googleapis.com/projects/dpms/locations/us-central1/services/dpms1:alterLocation

Modifica proprietà tabella

Questa operazione consente di modificare le proprietà di una tabella, come un la coppia chiave-valore utilizzata per archiviare i dati. Ad esempio, puoi modificare una coppia chiave-valore da properties.customerID_1 a properties.customerID_2.

Interfaccia a riga di comando gcloud

1. Per modificare le proprietà di una tabella, esegui il seguente comando gcloud metastore services alter-table-properties:

   gcloud metastore services alter-table-properties SERVICE \
     --location=LOCATION \
     --table-name=TABLE_NAME \
     --update-mask=UPDATE_MASK \
     --properties=PROPERTIES

   Sostituisci quanto segue:

   • SERVICE: il nome del tuo Servizio Dataproc Metastore.
   • LOCATION: la regione Google Cloud in cui Il servizio Dataproc Metastore risiede in.
   • TABLE_NAME: il nome della tabella contenente la che modifichi nel formato riportato di seguito, databases/{database_id}/tables/{table_id}.
   • UPDATE_MASK: i valori della proprietà esistenti che stai aggiornando. Utilizza un elenco separato da virgole per descrivere le coppie chiave-valore, ad esempio: properties.1,properties.2,properties.3,....
   • PROPERTIES: le nuove proprietà per la tabella. Utilizza un elenco separato da virgole per descrivere le coppie chiave-valore. Ad esempio, a=1,b=2,c=3,.... I valori qui elencati sovrascrivono i valori nel seguente paese: UPDATE_MASK.

REST

Nota: il seguente comando presuppone che tu abbia eseguito l'accesso a gcloud CLI con il tuo account utente. Puoi accedere eseguendo gcloud init o gcloud auth login oppure utilizzando Cloud Shell, che ti consente di accedere automaticamente all'interfaccia a riga di comando gcloud. Puoi controllare lo stato attivo eseguendo gcloud auth list.

curl -X POST -s -i \
  -H "Authorization: Bearer $(gcloud auth print-access-token)" \
  POST -d '{"table_name": "TABLE_NAME", "update_mask":"UPDATE_MASK", "properties":PROPERTIES}'\
  -H "Content-Type:application/json" \
  https://metastore.googleapis.com/projects/PROJECT_ID/locations/LOCATION/services/SERVICE:alterTableProperties

Sostituisci quanto segue:

• SERVICE: il nome del tuo Servizio Dataproc Metastore.
• LOCATION: la regione Google Cloud in cui Il servizio Dataproc Metastore risiede in.
• TABLE_NAME: il nome della tabella contenente la che modifichi nel formato riportato di seguito, databases/{database_id}/tables/{table_id}.
• UPDATE_MASK: i valori esistenti della proprietà che stai aggiornando. Utilizza un elenco separato da virgole per descrivere le coppie chiave-valore, ad esempio: properties.1,properties.2,properties.3,....
• PROPERTIES: le nuove proprietà per la tabella. Utilizza un elenco separato da virgole per descrivere le coppie chiave-valore, ad esempio: a=1,b=2,c=3,.... I valori qui elencati sovrascrivono quelli in UPDATE_MASK.

Nell'esempio seguente viene mostrato un comando che modifica le proprietà della tabella di una tabella chiamata test-table. In questo esempio, la coppia chiave-valore esistente properties.customerID_1 è stato aggiornato al nuovo valore properties.customerID_2

  curl -H "Authorization: Bearer $(gcloud auth print-access-token)" \
   -H "Content-Type: application/json"
   -X POST -d  '{"table_name": "databases/default/tables/test-table", "update_mask":{"paths":"properties.customerID_1"}, "properties":{"customerID_1":"customerID_2"}}' https://metastore.googleapis.com/projects/dpms-p

Spostare una tabella in un altro database

Questa operazione consente di spostare una tabella interna (tabella gestita) in un altro database. In questo caso, vengono spostati sia la directory principale del database sia i relativi dati.

Non puoi spostare i dati archiviati in tabelle esterne.

Interfaccia a riga di comando gcloud

1. Per spostare una tabella in un altro database, esegui il seguente gcloud metastore services move-table-to-database comando:

   gcloud metastore services move-table-to-database SERVICE \
     --location=LOCATION \
     --db_name=DB_NAME \
     --table_name=TABLE_NAME \
     --destination_db_name=DESTINATION_DB_NAME

   Sostituisci quanto segue:

   • SERVICE: il nome del servizio Dataproc Metastore.
   • LOCATION: la regione Google Cloud in cui risiede il servizio Dataproc Metastore.
   • DB_NAME: il nome del database di origine contenente la tabella da spostare.
   • TABLE_NAME: il nome della tabella che vuoi spostare.
   • DESTINATION_DB_NAME: il nome del nuovo database in cui vuoi spostare la tabella.

2. Verifica che la modifica della tabella sia andata a buon fine.

REST

Nota: il comando seguente presuppone che tu abbia eseguito l'accesso alla CLI gcloud con il tuo account utente. Puoi accedere eseguendo gcloud init o gcloud auth login oppure utilizzando Cloud Shell, che ti consente di accedere automaticamente all'interfaccia a riga di comando gcloud. Puoi controllare l'account attivo eseguendo gcloud auth list.

curl -X POST -s -i \
  -H "Authorization: Bearer $(gcloud auth print-access-token)" \
  POST -d '{"table_name": "TABLE_NAME", "db_name": "DB_NAME", "destination_db_name": "DESTINATION_DB_NAME"}'\
  -H "Content-Type:application/json" \
  https://metastore.googleapis.com/projects/PROJECT_ID/locations/LOCATION/services/SERVICE:moveTableToDatabase

Sostituisci quanto segue:

• PROJECT_ID: l'ID progetto Google Cloud che il tuo Il servizio Dataproc Metastore risiede in.
• SERVICE: il nome del servizio Dataproc Metastore.
• LOCATION: la regione in cui Dataproc Metastore in cui risiede.
• DB_NAME: il nome del database di origine che contiene la tabella da spostare.
• TABLE_NAME: il nome della tabella che vuoi spostare.
• DESTINATION_DB_NAME: il nome del nuovo database in cui vuoi spostare la tabella.

L'esempio seguente mostra un comando di esempio che sposta un database chiamato testdb1 in un altro database chiamato testdb2.

curl -H "Authorization: Bearer $(gcloud auth print-access-token)" \
 -H "Content-Type: application/json"
 -X POST -d  '{"table_name": "testtb1", "db_name": "testdb1",
 "destination_db_name": "testdb2"}' https://metastore.googleapis.com/projects/dpms/locations/asia-northeast2/services/dpms1:moveTableToDatabase

Passaggi successivi

• Esportare i metadati
• Aggiornare un metastore
• Eseguire il backup di un metastore