Esportazione dei risultati di una query in Amazon S3
Questo documento descrive come esportare il risultato di una query eseguita su una tabella BigLake nel tuo bucket Amazon Simple Storage Service (Amazon S3).
Per informazioni su come i dati fluiscono tra BigQuery e Amazon S3, consulta Flusso di dati durante l'esportazione dei dati.
Limitazioni
Per un elenco completo delle limitazioni che si applicano alle tabelle BigLake basate su Amazon S3 e Blob Storage, consulta Limitazioni.
Prima di iniziare
Assicurati di disporre delle seguenti risorse:
- Una connessione per accedere al tuo bucket Amazon S3.
- Una tabella BigLake di Amazon S3.
- Il criterio corretto di Identity and Access Management (IAM) di Amazon Web Services (AWS):
- Devi disporre dell'autorizzazione
PutObject
per scrivere dati nel bucket Amazon S3. Per ulteriori informazioni, consulta Creare un criterio AWS IAM per BigQuery.
- Devi disporre dell'autorizzazione
- Se utilizzi il modello di determinazione dei prezzi in base alla capacità, assicurati di aver attivato l'API BigQuery Reservation per il tuo progetto. Per informazioni sui prezzi, consulta la pagina relativa ai prezzi di BigQuery Omni.
Esportare i risultati delle query
BigQuery Omni scrive nella posizione Amazon S3 specificata indipendentemente dai contenuti esistenti. La query di esportazione può sovrascrivere i dati esistenti o combinare il risultato della query con i dati esistenti. Ti consigliamo di esportare il risultato della query in un bucket Amazon S3 vuoto.
Per eseguire una query, seleziona una delle seguenti opzioni:
SQL
Nel campo Editor di query, inserisci una query di esportazione GoogleSQL. GoogleSQL è la sintassi predefinita nella console Google Cloud.
Nella console Google Cloud, vai alla pagina BigQuery.
Nell'editor di query, inserisci la seguente istruzione:
EXPORT DATA WITH CONNECTION `CONNECTION_REGION.CONNECTION_NAME` OPTIONS(uri="s3://BUCKET_NAME/PATH", format="FORMAT", ...) AS QUERY
Sostituisci quanto segue:
CONNECTION_REGION
: la regione in cui è stata creata la connessione.CONNECTION_NAME
: il nome della connessione che hai creato con l'autorizzazione necessaria per scrivere nel bucket Amazon S3.BUCKET_NAME
: il bucket Amazon S3 in cui vuoi scrivere i dati.PATH
: il percorso in cui vuoi scrivere il file esportato. Deve contenere esattamente un carattere jolly*
in qualsiasi punto della directory principale della stringa del percorso, ad esempio../aa/*
,../aa/b*c
,../aa/*bc
e../aa/bc*
. BigQuery sostituisce*
con0000..N
a seconda del numero di file esportati. BigQuery determina il numero e le dimensioni dei file. Se BigQuery decide di esportare due file,*
nel nome file del primo file viene sostituito da000000000000
e*
nel nome file del secondo file viene sostituito da000000000001
.FORMAT
: i formati supportati sonoJSON
,AVRO
,CSV
ePARQUET
.QUERY
: la query per analizzare i dati memorizzati in una tabella BigLake.Fai clic su
Esegui.
Per ulteriori informazioni su come eseguire query, consulta Eseguire una query interattiva.
Java
Prima di provare questo esempio, segui le istruzioni di configurazione Java riportate nella guida rapida all'utilizzo di BigQuery con le librerie client. Per ulteriori informazioni, consulta la documentazione di riferimento dell'API BigQuery Java.
Per autenticarti in BigQuery, configura le Credenziali predefinite dell'applicazione. Per saperne di più, consulta Configurare l'autenticazione per le librerie client.
Risoluzione dei problemi
Se ricevi un errore relativo a quota failure
, controlla se hai riservato la capacità per le tue query. Per ulteriori informazioni sulle prenotazioni degli slot, consulta la sezione Prima di iniziare di questo documento.
Passaggi successivi
- Scopri di più su BigQuery Omni.
- Scopri come esportare i dati delle tabelle.
- Scopri come eseguire query sui dati archiviati in Amazon S3.
- Scopri come configurare i Controlli di servizio VPC per BigQuery Omni.