Introduzione ai trasferimenti Amazon S3

BigQuery Data Transfer Service per Amazon S3 consente di pianificare e gestire job di caricamento ricorrenti da Amazon S3 in BigQuery.

Formati di file supportati

BigQuery Data Transfer Service supporta il caricamento dei dati da Amazon S3 in uno dei seguenti formati:

• Valori separati da virgola (CSV)
• JSON (delimitato da nuova riga)
• Avro
• Parquet
• ORC

Tipi di compressione supportati

BigQuery Data Transfer Service per Amazon S3 supporta il caricamento di dati compressi. La i tipi di compressione supportati da BigQuery Data Transfer Service sono gli stessi di tipi di compressione supportati dai job di caricamento BigQuery. Per ulteriori informazioni le informazioni, vedi Caricamento di dati compressi e non compressi.

Prerequisiti di Amazon S3

Per caricare i dati da un'origine dati Amazon S3, devi:

• Fornisci l'URI Amazon S3 per i tuoi dati di origine
• Disporre dell'ID della tua chiave di accesso
• Disporre della chiave di accesso segreta
• Imposta come minimo il criterio gestito da AWS AmazonS3ReadOnlyAccess sui dati di origine Amazon S3

URI Amazon S3

Quando fornisci l'URI Amazon S3, il percorso deve essere nel seguente formato s3://bucket/folder1/folder2/... È obbligatorio solo il nome del bucket di primo livello. I nomi delle cartelle sono facoltativi. Se specifichi un URI che include solo il bucket tutti i file nel bucket vengono trasferiti e caricati in BigQuery.

Parametrizzazione del runtime del trasferimento di Amazon S3

L'URI Amazon S3 e la tabella di destinazione possono essere entrambi parametrizzati, consentendoti di caricare i dati dai bucket Amazon S3 organizzati per data. Tieni presente che la porzione del bucket dell'URI non può essere parametrizzata. I parametri utilizzati dai trasferimenti Amazon S3 sono gli stessi utilizzati da Cloud Storage trasferimenti.

Per maggiori dettagli, vedi Parametri di runtime nei trasferimenti.

Importazione dati per i trasferimenti Amazon S3

Puoi specificare il modo in cui i dati vengono caricati in BigQuery selezionando un'opzione Scrivi la preferenza nella configurazione di trasferimento quando configurare un trasferimento Amazon S3.

Sono disponibili due tipi di preferenze di scrittura: i trasferimenti incrementali e trasferimenti troncati.

Trasferimenti incrementali

Una configurazione di trasferimento con una scrittura APPEND o WRITE_APPEND la preferenza, chiamata anche trasferimento incrementale, aggiunge in modo incrementale nuovi dati dal precedente trasferimento riuscito a una destinazione BigQuery . Quando viene eseguita una configurazione di trasferimento con una preferenza di scrittura APPEND, il Filtri di BigQuery Data Transfer Service per i file modificati a partire dalla precedente esecuzione di trasferimento riuscita. Per determinare quando viene modificato un file, BigQuery Data Transfer Service esamina i metadati dei file per conoscere l'ora dell'ultima modifica. proprietà. Ad esempio, BigQuery Data Transfer Service esamina la proprietà timestamp updated in un file Cloud Storage. Se BigQuery Data Transfer Service trova i file con l'ora dell'ultima modifica che hanno dopo il timestamp dell'ultimo trasferimento riuscito, BigQuery Data Transfer Service trasferisce questi file in un trasferimento incrementale.

Per dimostrare come funzionano i trasferimenti incrementali, considera quanto segue: Esempio di trasferimento in Cloud Storage. Un utente crea un file in un Bucket Cloud Storage all'ora 2023-07-01T00:00Z denominato file_1. La Il timestamp di updated per file_1 è l'ora in cui è stato creato il file. L'utente quindi crea un trasferimento incrementale dal bucket Cloud Storage, programmata per essere eseguita una volta al giorno alle 03:00Z, a partire dal 2023-07-01T03:00Z.

• Il 01-07-2023T03:00Z inizia la prima esecuzione di trasferimento. Poiché questa è la prima per questa configurazione, BigQuery Data Transfer Service tenta di carica tutti i file corrispondenti all'URI di origine nella destinazione Tabella BigQuery. L'esecuzione del trasferimento ha esito positivo BigQuery Data Transfer Service carica correttamente file_1 nella destinazione Tabella BigQuery.
• La successiva esecuzione di trasferimento, alle 2023-07-02T03:00Z, non rileva file in cui La proprietà timestamp updated è maggiore rispetto all'ultima esecuzione di trasferimento andata a buon fine (01-07-2023T03:00Z). L'esecuzione del trasferimento riesce senza caricare altri dati nella destinazione Tabella BigQuery.

L'esempio precedente mostra come BigQuery Data Transfer Service esamina le Proprietà timestamp updated del file di origine per determinare se sono state apportate modifiche apportate ai file di origine e di trasferire le eventuali modifiche rilevate.

Seguendo lo stesso esempio, supponiamo che l'utente crei un altro file in il bucket Cloud Storage alle ore 2023-07-03T00:00Z, denominato file_2. La Il timestamp di updated per file_2 è l'ora in cui è stato creato il file.

• La successiva esecuzione di trasferimento, alle 2023-07-03T03:00Z, rileva che file_2 ha un Timestamp updated maggiore dell'ultima esecuzione di trasferimento riuscita (2023-07-01T03:00Z). Supponiamo che all'avvio dell'esecuzione del trasferimento non vada a buon fine a causa un errore temporaneo. In questo scenario, file_2 non viene caricato nel tabella BigQuery di destinazione. Ultimo trasferimento riuscito il timestamp dell'esecuzione rimane su 2023-07-01T03:00Z.
• La successiva esecuzione di trasferimento, alle 2023-07-04T03:00Z, rileva che file_2 ha un Timestamp updated maggiore dell'ultima esecuzione di trasferimento riuscita (2023-07-01T03:00Z). Questa volta l'esecuzione del trasferimento viene completata senza problemi, carica correttamente file_2 nella tabella BigQuery di destinazione.
• La successiva esecuzione di trasferimento, alle 2023-07-05T03:00Z, non rileva file in cui Il timestamp updated è maggiore dell'ultima esecuzione di trasferimento riuscita (2023-07-04T03:00Z). L'esecuzione del trasferimento riesce senza caricare altri dati nella tabella BigQuery di destinazione.

L'esempio precedente mostra che quando un trasferimento non va a buon fine, nessun file viene trasferiti nella tabella di destinazione BigQuery. Qualsiasi modifica ai file vengono trasferiti alla successiva esecuzione riuscita. Qualsiasi data trasferimenti riusciti a seguito di un trasferimento non riuscito non provoca duplicati e i dati di Google Cloud. Nel caso di un trasferimento non riuscito, puoi anche scegliere di attivare manualmente un trasferimento. al di fuori del suo orario regolare.

Avviso: BigQuery Data Transfer Service si basa sull'"ora dell'ultima modifica" in ogni file sorgente per determinare quali file trasferire, come si vede nella esempi di trasferimento. La modifica di queste proprietà può causare l'esclusione del trasferimento determinati file o caricare lo stesso file più volte. Questa proprietà può avere nomi diversi in ogni sistema di archiviazione supportato da BigQuery Data Transfer Service. Ad esempio, gli oggetti Cloud Storage chiamano questa proprietà updated.

Trasferimenti troncati

Una configurazione di trasferimento con una scrittura MIRROR o WRITE_TRUNCATE la preferenza, chiamata anche "trasferimento troncato", sovrascrive i dati nella Tabella di destinazione BigQuery durante ogni esecuzione di trasferimento con dati da tutti i file corrispondenti all'URI di origine. MIRROR sovrascrive una nuova copia di nella tabella di destinazione. Se la tabella di destinazione utilizza una partizione decorator, l'esecuzione del trasferimento sovrascrive solo i dati nella partizione specificata. R con un decorator della partizione, ha il formato my_table${run_date}, ad esempio my_table$20230809.

La ripetizione degli stessi trasferimenti incrementali o troncati in un giorno non causa duplicati. Tuttavia, se esegui più trasferimenti diversi che interessano la stessa tabella di destinazione BigQuery, Questo può causare la duplicazione dei dati da parte di BigQuery Data Transfer Service.

Supporto dei caratteri jolly per gli URI Amazon S3

Se i dati di origine sono separati in più file che condividono una base comune puoi utilizzare un carattere jolly nell'URI quando carichi i dati. Un carattere jolly è costituito da un asterisco (*) e può essere utilizzato ovunque nell'URI Amazon S3 tranne il nome del bucket.

Sebbene sia possibile utilizzare più caratteri jolly nell'URI Amazon S3, alcune ottimizzazioni è possibile quando l'URI Amazon S3 specifica un solo carattere jolly:

• Esiste un limite più elevato per il numero massimo di file. per esecuzione di trasferimento.

• Il carattere jolly estenderà i limiti della directory. Ad esempio, l'URI Amazon S3 s3://my-bucket/*.csv corrisponderà al file s3://my-bucket/my-folder/my-subfolder/my-file.csv.

Esempi di URI Amazon S3

Esempio 1

Per caricare un singolo file da Amazon S3 in BigQuery, specifica URI Amazon S3 del file.

s3://my-bucket/my-folder/my-file.csv

Esempio 2

Per caricare tutti i file da un bucket Amazon S3 in BigQuery, specifica solo il nome del bucket, con o senza un carattere jolly.

s3://my-bucket/

o

s3://my-bucket/*

Tieni presente che s3://my-bucket* non è un URI Amazon S3 consentito, come carattere jolly e non possono essere utilizzate nel nome del bucket.

Esempio 3

Per caricare da Amazon S3 tutti i file che condividono un prefisso comune, specifica seguito da un carattere jolly.

s3://my-bucket/my-folder/*

Tieni presente che, a differenza del caricamento di tutti i file da un bucket Amazon S3 di primo livello, il carattere jolly deve essere specificato alla fine dell'URI Amazon S3 per tutti i file da da caricare.

Esempio 4

Per caricare tutti i file da Amazon S3 con un percorso simile, specifica il prefisso comune seguito da un carattere jolly.

s3://my-bucket/my-folder/*.csv

Esempio 5

Tieni presente che i caratteri jolly coprono le directory, quindi anche tutti i file csv in my-folder come nelle sottocartelle di my-folder verranno caricate in BigQuery.

Se questi file di origine sono presenti in una cartella logs:

s3://my-bucket/logs/logs.csv
s3://my-bucket/logs/system/logs.csv
s3://my-bucket/logs/some-application/system_logs.log
s3://my-bucket/logs/logs_2019_12_12.csv

viene identificato come segue:

s3://my-bucket/logs/*

Esempio 6

Se hai questi file di origine, ma vuoi trasferire solo quelli che contengono logs.csv come nome file:

s3://my-bucket/logs.csv
s3://my-bucket/metadata.csv
s3://my-bucket/system/logs.csv
s3://my-bucket/system/users.csv
s3://my-bucket/some-application/logs.csv
s3://my-bucket/some-application/output.csv

il codice seguente identifica i file con logs.csv nel nome:

s3://my-bucket/*logs.csv

Esempio 7

L'uso di più caratteri jolly consente di ottenere un maggiore controllo sui file trasferiti, al costo di limiti inferiori. L'uso di più significa che ogni carattere jolly corrisponderà solo alla fine di un percorso all'interno di una sottodirectory. Ad esempio, per i seguenti file sorgente in Amazon S3:

s3://my-bucket/my-folder1/my-file1.csv
s3://my-bucket/my-other-folder2/my-file2.csv
s3://my-bucket/my-folder1/my-subfolder/my-file3.csv
s3://my-bucket/my-other-folder2/my-subfolder/my-file4.csv

Se l'intenzione è trasferire solo my-file1.csv e my-file2.csv, utilizza seguente come valore per l'URI Amazon S3:

s3://my-bucket/*/*.csv

Poiché nessuno dei due caratteri jolly copre le directory, questo URI limiterebbe il trasferimento solo i file CSV che si trovano in my-folder1 e my-other-folder2. Le sottocartelle non saranno inclusi nel trasferimento.

Chiavi di accesso AWS

L'ID della chiave di accesso e la chiave di accesso segreta vengono utilizzati per accedere ai dati di Amazon S3 su per conto tuo. Come best practice, crea un ID chiave di accesso e un accesso segreto univoci specifica per i trasferimenti di Amazon S3, in modo da fornire un accesso minimo BigQuery Data Transfer Service. Per informazioni sulla gestione delle chiavi di accesso, consulta le Documentazione di riferimento generale di AWS.

Considerazioni sulla coerenza

Quando trasferisci i dati da Amazon S3, è possibile che alcuni dei tuoi dati non verranno trasferiti in BigQuery, in particolare se i file sono stati aggiunti al bucket molto di recente. Ci vorranno circa 10 minuti per rendere disponibile un file a BigQuery Data Transfer Service dopo averlo aggiunto nel bucket. In alcuni casi, tuttavia, potrebbero essere necessari più di 10 minuti.

Importante: per ridurre la possibilità di perdere dati, pianifica la configurazione di Amazon S3 da eseguire almeno 10 minuti dopo l'aggiunta dei file al bucket.

Per ulteriori informazioni sul modello di coerenza Amazon S3, consulta Modello di coerenza dei dati di Amazon S3 nella documentazione di Amazon S3.

Best practice per i costi del trasferimento di dati in uscita

I trasferimenti da Amazon S3 potrebbero non riuscire se la tabella di destinazione non è stata configurato correttamente. Motivi che potrebbero causare una configurazione non corretta include:

• La tabella di destinazione non esiste.
• Lo schema della tabella non è definito.
• Lo schema della tabella non è compatibile con i dati trasferiti.

Per evitare i costi del trasferimento di dati in uscita da Amazon S3, devi prima testare un trasferimento con un sottoinsieme piccolo ma rappresentativo dei file. Piccolo significa che il test dimensioni dei dati e numero di file ridotto.

Prezzi

Per informazioni sui prezzi di BigQuery Data Transfer Service, consulta la sezione Prezzi .

Tieni presente che l'utilizzo di questo servizio può comportare costi al di fuori di Google. Non dimenticare di apporre consulta la pagina dei prezzi di Amazon S3 per maggiori dettagli.

Quote e limiti

BigQuery Data Transfer Service utilizza i job di caricamento per caricare i dati Amazon S3 in in BigQuery. Tutte le quote e limiti sui job di caricamento si applicano a Trasferimenti di Amazon S3, con le seguenti considerazioni aggiuntive:

Valore	Limite
Dimensione massima per esecuzione di trasferimento del job di caricamento	15 TB
Numero massimo di file per esecuzione di trasferimento quando l'URI Amazon S3 include 0 o 1 caratteri jolly	10.000.000 file
Numero massimo di file per esecuzione di trasferimento quando l'URI Amazon S3 include più di un carattere jolly	10.000 file

Passaggi successivi

• Scopri di più sulla configurazione di un trasferimento Amazon S3.
• Scopri di più sui parametri di runtime nei trasferimenti S3.
• Scopri di più su BigQuery Data Transfer Service.