Importa file Avro Spanner

Questa pagina descrive come importare i database Spanner in Spanner utilizzando la console Google Cloud. Per importare file Avro da un'altra origine, vedi Importa i dati da database non Spanner.

La procedura utilizza Dataflow; importa i dati da un La cartella del bucket Cloud Storage che contiene un set File Avro e file manifest JSON. Il processo di importazione supporta solo i file Avro esportati da Spanner.

Per importare un database Spanner utilizzando l'API REST o l'gcloud CLI: completa i passaggi nella sezione Prima di iniziare su questo quindi vedi le istruzioni dettagliate in Cloud Storage Avro to Spanner.

Prima di iniziare

Per importare un database Spanner, devi prima abilitare Spanner, Cloud Storage API Compute Engine e Dataflow:

Abilita le API

Devi anche avere una quota sufficiente e le autorizzazioni IAM richieste.

Requisiti per le quote

I requisiti di quota per i job di importazione sono i seguenti:

• Spanner: devi avere una capacità di calcolo sufficiente in base alla quantità di dati che importi. Nessun altro capacità di calcolo necessaria per importare un database, anche se potresti aver bisogno per aggiungere più capacità di calcolo in modo che il job venga completato in una quantità ragionevole del tempo. Per ulteriori dettagli, consulta Ottimizzare le offerte di lavoro.
• Cloud Storage: per eseguire l'importazione, devi avere un bucket contenenti i file esportati in precedenza. Non è necessario impostare una dimensione per il bucket.
• Dataflow: i job di importazione sono soggetti alla stessa CPU, utilizzo del disco e indirizzo IP quote di Compute Engine come e altri job Dataflow.

• Compute Engine: prima di eseguire il job di importazione, devi configurare quote iniziali di Compute Engine, usato da Dataflow. Queste quote rappresentano il numero massimo di risorse consentite Dataflow da utilizzare per il tuo job. I valori iniziali consigliati sono:

  • CPU: 200
  • Indirizzi IP in uso: 200
  • Disco permanente standard: 50 TB

  In genere, non è necessario apportare altre modifiche. Dataflow offre scalabilità automatica, in modo da pagare solo e le risorse effettive utilizzate durante l'importazione. Se il tuo lavoro può utilizzare altre risorse, la UI di Dataflow mostra un'icona di avviso. La il job dovrebbe terminare anche se è presente un'icona di avviso.

Requisiti IAM

Per importare un database, devi anche disporre di ruoli IAM con autorizzazioni sufficienti per utilizzare tutti i servizi coinvolti in un'importazione un lavoro. Per informazioni sulla concessione di ruoli e autorizzazioni, consulta Applica i ruoli IAM.

Per importare un database, devi disporre dei seguenti ruoli:

• A livello di progetto Google Cloud:
  • Spanner Viewer (roles/spanner.viewer)
  • Amministratore Dataflow (roles/dataflow.admin)
  • Storage Admin (roles/storage.admin)
• A livello di istanza o database Spanner o a livello Livello di progetto Google Cloud:
  • Lettore database Spanner (roles/spanner.databaseReader)
  • Amministratore database Spanner (roles/spanner.databaseAdmin)

Nota: il ruolo Amministratore database Spanner è richiesto solo per i job di importazione.

(Facoltativo) Trova la cartella del database in Cloud Storage

Per trovare la cartella che contiene il database esportato nell' Nella console Google Cloud, vai al browser Cloud Storage e fai clic su sul bucket che contiene la cartella esportata.

Vai al browser di Cloud Storage

Il nome della cartella che contiene i dati esportati inizia con l'ID dell'istanza, il nome del database e il timestamp del job di esportazione. La cartella contiene:

• Un file spanner-export.json.
• Un file TableName-manifest.json per ogni tabella in del database che hai esportato.

• Uno o più TableName.avro-#####-of-##### . Il primo numero nell'estensione .avro-#####-of-##### rappresenta l'indice del file Avro, a partire da zero, e il secondo rappresenta il numero di File Avro generati per ogni tabella.

  Ad esempio, Songs.avro-00001-of-00002 è il secondo di due file che contengono i dati per la tabella Songs.

• Un file ChangeStreamName-manifest.json per ciascuno flusso di modifiche nel database esportato.

• R ChangeStreamName.avro-00000-of-00001 per ogni flusso di modifiche. Questo file contiene dati vuoti solo con lo schema Avro del flusso di modifiche.

Importa un database

Per importare il tuo database Spanner da Cloud Storage segui questa procedura.

1. Vai alla pagina Istanze di Spanner.

   Vai alla pagina Istanze

2. Fai clic sul nome dell'istanza che conterrà il database importato.

3. Fai clic sulla voce di menu Importa/Esporta nel riquadro a sinistra, quindi fai clic sul Pulsante Importa.

4. In Scegli una cartella di origine, fai clic su Sfoglia.

5. Trova il bucket che contiene l'esportazione nell'elenco iniziale o fai clic su Cerca per filtrare l'elenco e trovare il bucket. Fai doppio clic sul bucket per visualizzare alle cartelle che contiene.

6. Trova la cartella con i file esportati e fai clic per selezionarla.

   Nota: assicurati di selezionare la cartella creata dal job di esportazione e non una cartella cartella di livello superiore che contiene la cartella esportata.

7. Fai clic su Seleziona.

8. Inserisci un nome per il nuovo database, che Spanner crea durante la processo di importazione. Il nome del database non può esistere già nell'istanza.

9. Scegli il dialetto per il nuovo database (GoogleSQL o PostgreSQL).

10. (Facoltativo) Per proteggere il nuovo database con una chiave di crittografia gestita dal cliente, fai clic su Mostra le opzioni di crittografia e seleziona Utilizza una chiave di crittografia gestita dal cliente (CMEK). Quindi, seleziona una chiave da dall'elenco a discesa.

11. Seleziona una regione dal menu a discesa Scegli una regione per il job di importazione.

    Nota: per evitare addebiti per il trasferimento di dati in uscita, scegli una regione che si sovrappone alla località del bucket Cloud Storage. Consulta Scegli una regione di seguito per saperne di più.

12. (Facoltativo) Per criptare lo stato della pipeline Dataflow Con una chiave di crittografia gestita dal cliente, fai clic su Mostra opzioni di crittografia e seleziona Utilizza una chiave di crittografia gestita dal cliente (CMEK). Quindi, seleziona una chiave. dall'elenco a discesa.

13. Seleziona la casella di controllo in Conferma addebiti per confermare che sono presenti oltre a quelli sostenuti dall'istanza Spanner esistente.

14. Fai clic su Importa.

    La console Google Cloud mostra la pagina Dettagli del database, che mostra un riquadro che descrive il job di importazione, incluse le informazioni volta:

    

Quando il job termina o termina, la console Google Cloud mostra nella pagina Dettagli del database. Se il job ha esito positivo, viene visualizzato un messaggio di riuscita dell'immagine:

Nota: una volta completato correttamente il job di importazione di Dataflow, Spanner crea indici e chiavi esterne per il database importato. Mentre è in corso la creazione dell'indice, la console Google Cloud mostra di avanzamento per indicare che è in corso un'operazione a lunga esecuzione. Icona è accanto al nome dell'indice, nella gerarchia del database a sinistra della Pagina Dettagli database. Quando l'icona In corso diventa l'icona dell'indice , la creazione dell'indice è completato. Puoi eseguire query su SPANNER_STATE nella Visualizza INFORMATION_SCHEMA.REFERENTIAL_CONSTRAINTS per vedere la creazione l'avanzamento delle chiavi esterne.

Se il job non riesce, viene visualizzato un messaggio di errore:

Se il job non va a buon fine, verifica la presenza di errori nei log Dataflow del job vedi Risolvere i problemi relativi ai job di importazione non riusciti.

Una nota sull'importazione delle colonne generate e delle modifiche in tempo reale

Spanner utilizza la definizione di ogni colonna generata nello schema Avro per ricreare quella colonna. Spanner calcola automaticamente i valori delle colonne generati durante l'importazione.

Allo stesso modo, Spanner utilizza la definizione di ogni modifica nello schema Avro per ricrearlo durante l'importazione. Cambia i dati dei flussi non vengono esportati né importati tramite Avro, le modifiche in tempo reale associate a un database appena importato avranno senza modificare i record di dati.

Nota sull'importazione di sequenze

Ogni sequenza (GoogleSQL, PostgreSQL). che Spanner esporta utilizza GET_INTERNAL_SEQUENCE_STATE() (GoogleSQL, PostgreSQL). per acquisire lo stato attuale. Spanner aggiunge un buffer di 1000 al contatore e scrive il nuovo alle proprietà del campo del record. Tieni presente che questo è solo un modello per evitare errori di valori duplicati che potrebbero verificarsi dopo l'importazione. Regola il contatore della sequenza effettiva se ci sono più scritture nel durante l'esportazione dei dati.

Al momento dell'importazione, la sequenza inizia da questo nuovo contatore anziché dal contatore presenti nello schema. Se necessario, puoi usare la funzione ALTER SEQUENCE (GoogleSQL, PostgreSQL). per passare a un nuovo contatore.

Scegli una regione per il job di importazione

Ti consigliamo di scegliere una regione diversa in base alla località in cui si trova nel bucket Cloud Storage. Da evitare addebiti per il trasferimento di dati in uscita, scegli una regione corrisponde alla località del bucket Cloud Storage.

• Se la località del bucket Cloud Storage è in una regione, possono sfruttare l'utilizzo gratuito della rete scegliendo la stessa regione per il job di importazione, supponendo che la regione sia disponibile.

• Se la località del bucket Cloud Storage è due regioni, puoi sfruttare l'utilizzo gratuito della rete scegliendo una delle due regioni che compongono la doppia regione per il job di importazione, supponendo che una delle regioni sia disponibile.

• Se una regione con sede condivisa non è disponibile per il job di importazione o se le tue La località del bucket Cloud Storage è multiregionale, si applicano gli addebiti per il trasferimento di dati in uscita. Fai riferimento a Cloud Storage Data Transfer per scegliere una regione che prevede il i costi più bassi per il trasferimento di dati.

Visualizza o risolvi i problemi dei job nell'interfaccia utente di Dataflow

Dopo aver avviato un job di importazione, puoi visualizzarne i dettagli, tra cui nella sezione Dataflow della console Google Cloud.

Visualizza i dettagli del job Dataflow

Per visualizzare i dettagli di eventuali job di importazione/esportazione eseguiti nell'ultima settimana, inclusi eventuali job attualmente in esecuzione:

1. Vai alla pagina Panoramica del database per il database.
2. Fai clic sulla voce di menu Importa/Esporta nel riquadro a sinistra. Il database La pagina Importa/Esporta mostra un elenco dei job recenti.

3. Nella pagina Importa/Esporta del database, fai clic sul nome del job nella Colonna Nome job Dataflow:

   

   La console Google Cloud mostra i dettagli di Dataflow un lavoro.

Per visualizzare un job eseguito più di una settimana fa:

1. Vai alla pagina dei job Dataflow nella console Google Cloud.

   Vai alla pagina dei job

2. Trova il lavoro nell'elenco, quindi fai clic sul suo nome.

   La console Google Cloud mostra i dettagli di Dataflow un lavoro.

Nota: i job dello stesso tipo per lo stesso database hanno lo stesso nome. Puoi distinguere i job in base ai valori nelle colonne Start time (Ora di inizio) o End time (Ora di fine).

Visualizza i log di Dataflow per il tuo job

Per visualizzare i log di un job Dataflow, vai ai dettagli del job come descritto sopra, poi fai clic su Log a destra del nome del job.

Se un job ha esito negativo, cerca gli errori nei log. Se ci sono errori, l'errore il conteggio delle voci viene visualizzato accanto a Log:

Per visualizzare gli errori del job:

1. Fai clic sul conteggio degli errori accanto a Log.

   La console Google Cloud visualizza i log del job. Potresti dover scorri per vedere gli errori.

2. Individua le voci con l'icona di errore .

3. Fai clic su una singola voce di log per espanderne il contenuto.

Per ulteriori informazioni sulla risoluzione dei problemi dei job Dataflow, consulta Risolvi i problemi della pipeline.

Risolvere i problemi relativi ai job di importazione non riusciti

Se nei log del job vengono visualizzati i seguenti errori:

com.google.cloud.spanner.SpannerException: NOT_FOUND: Session not found

--or--

com.google.cloud.spanner.SpannerException: DEADLINE_EXCEEDED: Deadline expired before operation could complete.

Controlla il Latenza di scrittura del 99% in Monitoring del tuo database Spanner nella nella console Google Cloud. Se mostra valori elevati (più secondi), indica che l'istanza è sovraccarica, con conseguenti scritture timeout e non riesce.

Una causa della latenza elevata è che il job Dataflow è in esecuzione utilizzando troppe dei worker, applicando un carico eccessivo all'istanza Spanner.

Per specificare un limite per il numero di worker Dataflow, invece di utilizzare il metodo Scheda Importa/Esporta nella pagina dei dettagli dell'istanza di Spanner nella console Google Cloud, devi avviare di importazione con Dataflow Modello Avro di Cloud Storage a Cloud Spanner e specificare il numero massimo di worker come descritto di seguito:

.

• Se utilizzi la console Dataflow, il parametro Max worker è che si trova nella sezione Parametri facoltativi della pagina Crea job da modello.

• Se utilizzi gcloud, specifica l'argomento max-workers. Ad esempio:

  gcloud dataflow jobs run my-import-job \
  --gcs-location='gs://dataflow-templates/latest/GCS_Avro_to_Cloud_Spanner' \
  --region=us-central1 \
  --parameters='instanceId=test-instance,databaseId=example-db,inputDir=gs://my-gcs-bucket' \
  --max-workers=10
  

Ottimizza i job di importazione a esecuzione lenta

Se hai seguito i suggerimenti nelle impostazioni iniziali, dovresti in genere non devono essere apportate altre modifiche. Se il job è lento, puoi provare altre ottimizzazioni:

• Ottimizza il job e la posizione dei dati: esegui il job Dataflow. nella stessa regione in cui si trova l'istanza Spanner si trova il bucket Cloud Storage.

• Garantire risorse Dataflow sufficienti: se quote di Compute Engine pertinenti limitare le risorse del job Dataflow, Pagina Dataflow nella console Google Cloud mostra un'icona di avviso e registra messaggi:

  

  In questa situazione, aumentando le quote CPU, indirizzi IP in uso e disco permanente standard potrebbero ridurre del job, ma potresti incorrere in tempi addebiti.

• Controlla l'utilizzo della CPU di Spanner: se noti che la CPU per l'istanza è superiore al 65%, puoi aumentare la capacità di calcolo dell'istanza. La capacità aumenta Le risorse Spanner e il job dovrebbero essere più veloci, ma il traffico è maggiore Spanner addebita dei costi.

Fattori che influiscono sulle prestazioni del job di importazione

Il tempo necessario per completare un job di importazione dipende da diversi fattori.

• Dimensione del database di Spanner: l'elaborazione di più dati richiede più tempo e risorse.

• Schema del database Spanner, tra cui:

  • Il numero di tabelle
  • La dimensione delle righe
  • Il numero di indici secondari
  • Il numero di chiavi esterne
  • Il numero di modifiche in tempo reale

Tieni presente che l'indice e la chiave esterna La creazione continua dopo il job di importazione di Dataflow vengono completate. Le modifiche in tempo reale vengono create prima del completamento del job di importazione, ma dopo che sono stati importati tutti i dati.

• Località dei dati: i dati vengono trasferiti tra Spanner e Cloud Storage usando Dataflow. Possibilmente, tutte e tre si trovano nella stessa regione. Se i componenti non si trovano nello stesso regione, lo spostamento dei dati tra regioni rallenta il job.

• Numero di worker Dataflow: Dataflow ottimale sono necessari per ottenere buone prestazioni. Con la scalabilità automatica, Dataflow sceglie il numero di worker per del lavoro in base alla quantità di lavoro da svolgere. Il numero di i worker saranno tuttavia limitati dalle quote di CPU, indirizzi IP in uso, e un disco permanente standard. L'interfaccia utente di Dataflow mostra un avviso se riscontra limiti di quota. In questa situazione, l'avanzamento è più lento, ma dovrebbe comunque essere completato. La scalabilità automatica può sovraccaricare Spanner causando errori in presenza di grandi quantità di dati da importare.

• Carico esistente su Spanner: un job di importazione aggiunge sulla CPU per un'istanza Spanner. Se l'istanza ha già un carico esistente sostanziale, il job esegue lentamente.

• Quantità di capacità di calcolo di Spanner: se l'utilizzo della CPU per l'istanza è superiore al 65%, il job viene eseguito più lentamente.

Ottimizza i worker per ottenere buone prestazioni di importazione

Quando si avvia un job di importazione di Spanner, Dataflow i worker devono essere impostati su un valore ottimale per ottenere buone prestazioni. Troppi worker sovraccarica Spanner e un numero troppo basso di worker si traduce in un problema le prestazioni di importazione.

Il numero massimo di worker dipende fortemente dalla dimensione dei dati, ma idealmente, l'utilizzo totale della CPU da parte di Spanner dovrebbe essere compreso tra dal 70% al 90%. Questo offre un buon equilibrio tra Spanner dell'efficienza e del completamento dei job senza errori.

Per raggiungere il target di utilizzo nella maggior parte degli schemi e degli scenari, è consigliabile un numero massimo di vCPU worker compreso tra 4 e 6 volte il numero Nodi Spanner.

Ad esempio, per un'istanza Spanner a 10 nodi, utilizzando n1-standard-2 worker, occorre impostare il numero massimo di worker su 25, ottenendo 50 vCPU.