Caricamento dei dati CSV da Cloud Storage
Quando carichi i dati CSV da Cloud Storage, puoi caricarli in una nuova tabella o partizione oppure puoi aggiungerli a una tabella o partizione esistente o sovrascriverli. Quando i dati vengono caricati in BigQuery, convertito in formato a colonne per Condensatore (formato di archiviazione di BigQuery).
Quando carichi i dati da Cloud Storage in una tabella BigQuery, il set di dati che contiene la tabella deve trovarsi nella stessa regione regionale come bucket Cloud Storage.
Per informazioni sul caricamento dei dati CSV da un file locale, vedi Caricare dati in BigQuery da un'origine dati locale.
Provalo
Se non hai mai utilizzato Google Cloud, crea un account per valutare in che modo BigQuery funziona nel mondo reale diversi scenari. I nuovi clienti ricevono anche 300 $ di crediti gratuiti per l'esecuzione, il test e il deployment dei carichi di lavoro.
Prova BigQuery gratuitamenteLimitazioni
Quando carichi dati in: BigQuery da un bucket Cloud Storage:
- Se la località del set di dati è impostata su un valore diverso dall'area multiregionale
US
, il bucket Cloud Storage deve trovarsi nella stessa regione o contenuto nella stessa località (multiregionale) del set di dati. - BigQuery non garantisce la coerenza dei dati esterni fonti. Le modifiche ai dati sottostanti durante l'esecuzione di una query possono comportare comportamenti imprevisti.
- BigQuery non supporta Controllo delle versioni degli oggetti Cloud Storage. Se includi un numero di generazione nell'URI di Cloud Storage, il job di caricamento non riesce.
Quando carichi file CSV in BigQuery, tieni presente quanto segue:
- I file CSV non supportano i dati nidificati o ripetuti.
- Rimuovi i caratteri BOM (Byte Order Mark). Potrebbero causare problemi imprevisti.
- Se usi la compressione gzip, BigQuery non può leggere i dati in parallelo. Caricamento compresso I dati CSV in BigQuery sono più lenti rispetto al caricamento dei dati non compressi. Consulta la sezione Caricamento di dati compressi e non compressi.
- Non puoi includere file compressi e non compressi nello stesso caricamento lavoro.
- La dimensione massima di un file gzip è 4 GB.
- Caricamento dei dati CSV utilizzando il rilevamento automatico dello schema non rileva automaticamente le intestazioni se tutte le colonne sono di tipo stringa. In questo caso, aggiungi una colonna numerica all'input o dichiara lo schema in modo esplicito.
- Quando carichi dati CSV o JSON, i valori nelle colonne
DATE
devono utilizzare il trattino (-
) e la data devono avere il seguente formato:YYYY-MM-DD
(anno-mese-giorno). - Quando carichi dati JSON o CSV, i valori nelle colonne
TIMESTAMP
deve utilizzare un trattino (-
) o una barra (/
) per la parte relativa alla data dell' timestamp e la data deve essere in uno dei seguenti formati:YYYY-MM-DD
(anno-mese-giorno) oYYYY/MM/DD
(anno/mese/giorno). La partehh:mm:ss
(ora-minuto-secondo) del timestamp deve utilizzare un separatore di due punti (:
). - I file devono rispettare i limiti di dimensione dei file CSV descritti in limiti dei job di caricamento.
Prima di iniziare
Concedere ruoli IAM (Identity and Access Management) che concedono agli utenti le risorse necessarie autorizzazioni per eseguire ogni attività in questo documento e creare per archiviare i dati.
Autorizzazioni obbligatorie
Per caricare dati in BigQuery, devi disporre delle autorizzazioni IAM per eseguire un job di caricamento e caricare i dati nelle tabelle e nelle partizioni BigQuery. Se carichi dati da Cloud Storage, devi disporre anche delle autorizzazioni IAM per accedere al bucket che contiene i dati.
Autorizzazioni per caricare i dati in BigQuery
Per caricare i dati in una nuova tabella o partizione BigQuery oppure per aggiungere o sovrascrivere una tabella o una partizione esistente, devi disporre delle seguenti autorizzazioni IAM:
bigquery.tables.create
bigquery.tables.updateData
bigquery.tables.update
bigquery.jobs.create
Ciascuno dei seguenti ruoli IAM predefiniti include le autorizzazioni necessarie per caricare i dati in una tabella o una partizione BigQuery:
roles/bigquery.dataEditor
roles/bigquery.dataOwner
roles/bigquery.admin
(include l'autorizzazionebigquery.jobs.create
)bigquery.user
(include l'autorizzazionebigquery.jobs.create
)bigquery.jobUser
(include l'autorizzazionebigquery.jobs.create
)
Inoltre, se disponi dell'autorizzazione bigquery.datasets.create
, puoi creare e
aggiornare le tabelle utilizzando un job di caricamento nei set di dati che crei.
Per ulteriori informazioni su ruoli e autorizzazioni IAM in BigQuery, vedi Autorizzazioni e ruoli predefiniti.
Autorizzazioni per caricare i dati da Cloud Storage
Per ottenere le autorizzazioni necessarie per caricare i dati da un bucket Cloud Storage,
chiedi all'amministratore di concederti
Ruolo IAM Storage Admin (roles/storage.admin
) nel bucket.
Per saperne di più sulla concessione dei ruoli, consulta Gestire l'accesso a progetti, cartelle e organizzazioni.
Questo ruolo predefinito contiene le autorizzazioni necessarie per caricare i dati da un bucket Cloud Storage. Per visualizzare le autorizzazioni esatte richieste, espandi la sezione Autorizzazioni richieste:
Autorizzazioni obbligatorie
Per caricare i dati da un bucket Cloud Storage, sono necessarie le seguenti autorizzazioni:
-
storage.buckets.get
-
storage.objects.get
-
storage.objects.list (required if you are using a URI wildcard)
Potresti anche riuscire a ottenere queste autorizzazioni con ruoli personalizzati e altri ruoli predefiniti.
Crea un set di dati
Crea un set di dati BigQuery per archiviare i tuoi dati.
Compressione CSV
Puoi utilizzare l'utilità gzip
per comprimere i file CSV. Tieni presente che gzip
esegue
compressione completa dei file, a differenza della compressione
di compressione per altri formati file, ad esempio Avro. Utilizzo di gzip
per
comprimere i file CSV potrebbe avere un impatto sulle prestazioni; per ulteriori informazioni
sui compromessi, vedi
Caricamento di dati compressi e non compressi.
Caricare dati CSV in una tabella
Per caricare i dati CSV da Cloud Storage in una nuova tabella BigQuery, seleziona una delle seguenti opzioni:
Console
Per seguire una guida passo passo per questa attività direttamente nel Editor di Cloud Shell, fai clic su Procedura guidata:
Nella console Google Cloud, vai alla pagina BigQuery.
- Nel riquadro Explorer, espandi il progetto e seleziona un set di dati.
- Nella sezione Informazioni sul set di dati, fai clic su Crea tabella.
- Nel riquadro Crea tabella, specifica i seguenti dettagli:
- Nella sezione Origine, seleziona Google Cloud Storage nell'elenco Crea tabella da.
Poi segui questi passaggi:
- Seleziona un file dal bucket Cloud Storage o inserisci URI Cloud Storage. Non puoi includere più URI nella console Google Cloud, ma sono supportati i caratteri jolly. Il bucket Cloud Storage deve trovarsi nello stesso posizione come il set di dati che contiene la tabella da creare, aggiungere o sovrascrivere.
- In Formato file, seleziona CSV.
- Nella sezione Destinazione, specifica i seguenti dettagli:
- In Set di dati, seleziona il set di dati in cui creare il tabella.
- Nel campo Table (Tabella), inserisci il nome della tabella che vuoi creare.
- Verifica che il campo Tipo di tabella sia impostato su Tabella nativa.
- Nella sezione Schema, inserisci lo schema.
definizione di Kubernetes.
Per attivare il rilevamento automatico di uno schema,
seleziona Rilevamento automatico.
Puoi inserire le informazioni sullo schema manualmente utilizzando uno dei seguenti
utilizza i seguenti metodi:
- Opzione 1: fai clic su Modifica come testo e incolla lo schema sotto forma di array JSON. Quando utilizzi un array JSON, generi lo schema utilizzando
è la stessa procedura utilizzata per la creazione di un file di schema JSON.
Puoi visualizzare lo schema di una tabella esistente in formato JSON inserendo quanto segue:
:
bq show --format=prettyjson dataset.table
- Opzione 2: fai clic su Tipo, e Modalità. Aggiungi campo e inserisci lo schema della tabella. Specifica il Nome di ogni campo,
- Opzione 1: fai clic su Modifica come testo e incolla lo schema sotto forma di array JSON. Quando utilizzi un array JSON, generi lo schema utilizzando
è la stessa procedura utilizzata per la creazione di un file di schema JSON.
Puoi visualizzare lo schema di una tabella esistente in formato JSON inserendo quanto segue:
:
- (Facoltativo) Specifica le impostazioni di partizione e clustering. Per ulteriori informazioni, vedi Creazione di tabelle partizionate e Creazione e utilizzo di tabelle in cluster.
- Fai clic su Opzioni avanzate ed esegui le seguenti operazioni:
- In Write preference (Preferenza di scrittura), lascia selezionata l'opzione Write if empty (Scrivi se vuoto). Questa opzione crea una nuova tabella e vi carica i dati.
- In Numero di errori consentiti, accetta il valore predefinito
0
oppure inserisci il numero massimo di righe contenenti errori che possono essere ignorati. Se il numero di righe con errori supera questo valore, il job restituiscono un messaggioinvalid
e l'operazione non riesce. Questa opzione si applica solo ai file CSV e JSON. - Se vuoi ignorare i valori in una riga che non sono presenti nello schema della tabella: Seleziona Valori sconosciuti.
- Per Delimitatore di campo, scegli il carattere che separa le celle nel file CSV: Virgola, Tab, Barra verticale o Personalizzato. Se Scegli Personalizzato, inserisci il delimitatore in Delimitatore di campo personalizzato . Il valore predefinito è Virgola.
- In Righe di intestazione da saltare, inserisci il numero di righe di intestazione da saltare
nella parte superiore del file CSV. Il valore predefinito è
0
. - Per Nuovi righe tra virgolette, seleziona Consenti caratteri di fine riga tra virgolette per consentire
le sezioni di dati tra virgolette che contengono caratteri di nuova riga in un file CSV. La
il valore predefinito è
false
. - Per Righe frastagliate, seleziona Consenti righe frastagliate per accettare righe nel file CSV.
file a cui mancano le colonne finali facoltative. I valori mancanti sono
trattati come null. Se deselezionata, i record con colonne finali mancanti
vengono considerati record non validi e, se ci sono troppi record non validi,
viene restituito un errore non valido nel risultato del job. Il valore predefinito è
false
. - In Crittografia, fai clic su Chiave gestita dal cliente per utilizzare una Chiave Cloud Key Management Service. Se lasci l'impostazione Chiave gestita da Google, BigQuery cripta i dati at-rest.
- Fai clic su Crea tabella.
SQL
Utilizza la
LOAD DATA
Istruzione DDL.
L'esempio seguente carica un file CSV nella nuova tabella mytable
:
Nella console Google Cloud, vai alla pagina BigQuery.
Nell'editor query, inserisci la seguente istruzione:
LOAD DATA OVERWRITE mydataset.mytable (x INT64,y STRING) FROM FILES ( format = 'CSV', uris = ['gs://bucket/path/file.csv']);
Fai clic su
Esegui.
Per ulteriori informazioni su come eseguire query, consulta Eseguire una query interattiva.
bq
Utilizza il comando bq load
, specifica CSV
utilizzando il
--source_format
flag e includi un URI Cloud Storage.
Puoi includere un singolo URI, un elenco di URI separati da virgole o un URI contenente un carattere jolly.
Fornisci lo schema in linea, in un file di definizione dello schema, oppure utilizza
rilevamento automatico dello schema. Se non specifichi
schema, --autodetect
è false
e la destinazione
esistente, viene utilizzato lo schema della tabella di destinazione.
(Facoltativo) Fornisci il flag --location
e imposta il valore su
località.
Altri flag facoltativi sono:
--allow_jagged_rows
: se specificato, accetta le righe nei file CSV mancanti di colonne facoltative finali. I valori mancanti vengono trattati come null. Se questa opzione è deselezionata, i record con colonne finali mancanti sono considerati non validi record; se sono presenti troppi record non validi, viene restituito un errore non valido nel risultato del job. Il valore predefinito èfalse
.--allow_quoted_newlines
: se specificato, consente le sezioni di dati tra virgolette che contengono caratteri di nuova riga in un file CSV. Il valore predefinito èfalse
.--field_delimiter
: il carattere che indica il confine tra colonne nei dati.\t
etab
sono consentiti per i delimitatori di tabulazione. Il valore predefinito è,
.--null_marker
: una stringa personalizzata facoltativa che rappresenta un valore NULL in Dati CSV.--skip_leading_rows
: specifica il numero di righe di intestazione da saltare nella parte superiore del file CSV. Il valore predefinito è0
.--quote
: le virgolette da utilizzare per racchiudere i record. Il valore predefinito è"
. Per non indicare virgolette, utilizza una stringa vuota.--max_bad_records
: un numero intero che specifica il numero massimo di errori consentiti prima dell'esito negativo dell'intero job. Il valore predefinito è0
. Alle ore vengono restituiti cinque errori di qualsiasi tipo, indipendentemente dal Valore--max_bad_records
.--ignore_unknown_values
: se specificato, consente e ignora gli extra, valori non riconosciuti nei dati CSV o JSON.--autodetect
: se specificato, attiva il rilevamento automatico dello schema per CSV e Dati JSON.--time_partitioning_type
: abilita il partizionamento in base al tempo in una tabella e imposta il tipo di partizione. I valori possibili sonoHOUR
,DAY
,MONTH
eYEAR
. Questo flag è facoltativo quando crei partizionata in base a una colonnaDATE
,DATETIME
oTIMESTAMP
. La il tipo di partizione predefinito per il partizionamento basato sul tempo èDAY
. Non puoi modificare la specifica di partizionamento su una tabella esistente.--time_partitioning_expiration
: un numero intero che specifica (in secondi) quando occorre eliminare una partizione temporale. La scadenza valuta con la data UTC della partizione più il valore intero.--time_partitioning_field
: la colonnaDATE
oTIMESTAMP
utilizzata per creare una tabella partizionata. Se il partizionamento basato sul tempo è abilitato senza viene creata una tabella partizionata per data di importazione.--require_partition_filter
: quando è abilitata, questa opzione richiede agli utenti per includere una clausolaWHERE
che specifichi le partizioni su cui eseguire la query. La richiesta di un filtro di partizionamento può ridurre i costi e migliorare le prestazioni. Per saperne di più, consulta Esecuzione di query su tabelle partizionate.--clustering_fields
: un elenco separato da virgole di massimo quattro nomi di colonna utilizzati per creare una tabella raggruppata.--destination_kms_key
: la chiave Cloud KMS per la crittografia dei file e i dati della tabella.--column_name_character_map
: definisce l'ambito e la gestione dei nei nomi delle colonne, con l'opzione di abilitare nomi di colonne flessibili. Richiede l'opzione--autodetect
per i file CSV. Per ulteriori informazioni, vediload_option_list
Per ulteriori informazioni sul comando
bq load
, consulta:Per saperne di più sulle tabelle partizionate, consulta:
Per ulteriori informazioni sulle tabelle in cluster, consulta:
Per ulteriori informazioni sulla crittografia delle tabelle, consulta:
Per caricare i dati CSV in BigQuery, inserisci il comando seguente:
bq --location=location load \ --source_format=format \ dataset.table \ path_to_source \ schema
Dove:
- location è la tua posizione. Il flag
--location
è facoltativo. Ad esempio, se utilizzi BigQuery nella regione di Tokyo, puoi impostare il valore del flag suasia-northeast1
. Puoi impostare un valore predefinito per la località utilizzando il file.bigqueryrc. - format è pari a
CSV
. - dataset è un set di dati esistente.
- table è il nome della tabella in cui stai caricando i dati.
- path_to_source è un URI Cloud Storage completo oppure un elenco di URI separati da virgole. Sono supportati anche i caratteri jolly.
- schema è uno schema valido. Lo schema può essere un file JSON locale o può essere digitato in linea all'interno del comando. Puoi utilizzare anche
--autodetect
anziché fornire una definizione dello schema.
Esempi:
Il seguente comando carica i dati da gs://mybucket/mydata.csv
in un
tabella denominata mytable
in mydataset
. Lo schema è definito in un ambiente
file di schema denominato myschema.json
.
bq load \
--source_format=CSV \
mydataset.mytable \
gs://mybucket/mydata.csv \
./myschema.json
Il seguente comando carica i dati da gs://mybucket/mydata.csv
in una tabella denominata mytable
in mydataset
. Lo schema è definito in un ambiente
file di schema denominato myschema.json
. Il file CSV include due righe di intestazione.
Se il campo --skip_leading_rows
non è specificato, si presume il comportamento predefinito
il file non contiene intestazioni.
bq load \
--source_format=CSV \
--skip_leading_rows=2
mydataset.mytable \
gs://mybucket/mydata.csv \
./myschema.json
Il seguente comando carica i dati da gs://mybucket/mydata.csv
in un
tabella partizionata per data di importazione denominata mytable
in mydataset
. Lo schema
è definito in un file di schema locale denominato myschema.json
.
bq load \
--source_format=CSV \
--time_partitioning_type=DAY \
mydataset.mytable \
gs://mybucket/mydata.csv \
./myschema.json
Il seguente comando carica i dati da gs://mybucket/mydata.csv
in una nuova tabella partizionata denominata mytable
in mydataset
. La tabella è partizionata
nella colonna mytimestamp
. Lo schema viene definito in un file di schema locale
denominato myschema.json
.
bq load \
--source_format=CSV \
--time_partitioning_field mytimestamp \
mydataset.mytable \
gs://mybucket/mydata.csv \
./myschema.json
Il seguente comando carica i dati da gs://mybucket/mydata.csv
in un
tabella denominata mytable
in mydataset
. Lo schema viene rilevato automaticamente.
bq load \
--autodetect \
--source_format=CSV \
mydataset.mytable \
gs://mybucket/mydata.csv
Il seguente comando carica i dati da gs://mybucket/mydata.csv
in una tabella denominata mytable
in mydataset
. Lo schema è definito in linea
formato field:data_type,field:data_type
.
bq load \
--source_format=CSV \
mydataset.mytable \
gs://mybucket/mydata.csv \
qtr:STRING,sales:FLOAT,year:STRING
Il seguente comando carica i dati da più file in gs://mybucket/
in una tabella denominata mytable
in mydataset
. L'URI Cloud Storage utilizza un'espressione generica. Lo schema viene rilevato automaticamente.
bq load \
--autodetect \
--source_format=CSV \
mydataset.mytable \
gs://mybucket/mydata*.csv
Il seguente comando carica dati da più file in gs://mybucket/
in una tabella denominata mytable
in mydataset
. Il comando include una virgola
elenco separato di URI di Cloud Storage con caratteri jolly. Lo schema è
definito in un file di schema locale denominato myschema.json
.
bq load \
--source_format=CSV \
mydataset.mytable \
"gs://mybucket/00/*.csv","gs://mybucket/01/*.csv" \
./myschema.json
API
Crea un job
load
che punti ai dati di origine in Cloud Storage.(Facoltativo) Specifica la tua località in la proprietà
location
nella sezionejobReference
della risorsa job.La proprietà
source URIs
deve essere completamente idonea, nel formatogs://bucket/object
. Ogni URI può contenere un carattere "*" carattere jolly.Specifica il formato dei dati CSV impostando la proprietà
sourceFormat
suCSV
.Per controllare lo stato del job, chiama
jobs.get(job_id*)
, dove job_id è l'ID del job restituito dalla richiesta iniziale.- Se
status.state = DONE
, il job è stato completato correttamente. - Se è presente la proprietà
status.errorResult
, la richiesta non è riuscita. e l'oggetto includerà informazioni che descrivono cosa non ha funzionato. Quando una richiesta non va a buon fine, non viene creata alcuna tabella e non vengono caricati dati. - Se il campo
status.errorResult
non è presente, il job è stato completato correttamente. anche se potrebbero essersi verificati alcuni errori non irreversibili, come problemi importando alcune righe. Gli errori non irreversibili sono elencati nel job restituito dell'oggettostatus.errors
.
- Se
Note API:
I job di caricamento sono atomici e coerenti, Se un job di caricamento non riesce, nessuno dei dati e, se un job di caricamento ha esito positivo, saranno disponibili tutti i dati.
Come best practice, genera un ID univoco e passalo come
jobReference.jobId
durante la chiamata ajobs.insert
per creare un job di caricamento. Questo è più efficace per gli errori di rete perché il client può eseguire il polling o riprova sull'ID job noto.Chiamare
jobs.insert
su un determinato ID job è idempotente. Puoi riprovare come tutte le volte che desideri per lo stesso ID job e al massimo una di queste operazioni avranno esito positivo.
C#
Prima di provare questo esempio, segui le istruzioni per la configurazione di C# nel Guida rapida di BigQuery con librerie client. Per ulteriori informazioni, consulta API C# BigQuery documentazione di riferimento.
Per eseguire l'autenticazione su BigQuery, configura Credenziali predefinite dell'applicazione. Per saperne di più, consulta Configurare l'autenticazione per le librerie client.
Vai
Prima di provare questo esempio, segui le istruzioni di configurazione Go riportate nella guida rapida all'utilizzo delle librerie client di BigQuery. Per ulteriori informazioni, consulta la documentazione di riferimento dell'API BigQuery Go.
Per eseguire l'autenticazione su BigQuery, configura Credenziali predefinite dell'applicazione. Per ulteriori informazioni, vedi Configura l'autenticazione per le librerie client.
Java
Prima di provare questo esempio, segui le istruzioni per la configurazione di Java nel Guida rapida di BigQuery con librerie client. Per ulteriori informazioni, consulta API Java BigQuery documentazione di riferimento.
Per eseguire l'autenticazione su BigQuery, configura Credenziali predefinite dell'applicazione. Per ulteriori informazioni, vedi Configura l'autenticazione per le librerie client.
Node.js
Prima di provare questo esempio, segui le istruzioni di configurazione Node.js riportate nella guida rapida all'utilizzo delle librerie client di BigQuery. Per ulteriori informazioni, consulta API Node.js BigQuery documentazione di riferimento.
Per eseguire l'autenticazione su BigQuery, configura Credenziali predefinite dell'applicazione. Per ulteriori informazioni, vedi Configura l'autenticazione per le librerie client.
PHP
Prima di provare questo esempio, segui le istruzioni per la configurazione di PHP nel Guida rapida di BigQuery con librerie client. Per ulteriori informazioni, consulta API PHP BigQuery documentazione di riferimento.
Per eseguire l'autenticazione su BigQuery, configura Credenziali predefinite dell'applicazione. Per ulteriori informazioni, vedi Configura l'autenticazione per le librerie client.
Python
Prima di provare questo esempio, segui le istruzioni per la configurazione di Python nel Guida rapida di BigQuery con librerie client. Per ulteriori informazioni, consulta API Python BigQuery documentazione di riferimento.
Per eseguire l'autenticazione su BigQuery, configura Credenziali predefinite dell'applicazione. Per saperne di più, consulta Configurare l'autenticazione per le librerie client.
Utilizza la Client.load_table_from_uri() per caricare i dati da un file CSV in Cloud Storage. Fornisci una risposta esplicita della definizione dello schema impostando LoadJobConfig.schema proprietà in un elenco SchemaField di oggetti strutturati.
Ruby
Prima di provare questo esempio, segui le istruzioni per la configurazione di Ruby nel Guida rapida di BigQuery con librerie client. Per ulteriori informazioni, consulta la documentazione di riferimento dell'API BigQuery Ruby.
Per eseguire l'autenticazione su BigQuery, configura Credenziali predefinite dell'applicazione. Per saperne di più, consulta Configurare l'autenticazione per le librerie client.
Caricare dati CSV in una tabella che utilizza il partizionamento temporale in base a colonne
Per caricare i dati CSV da Cloud Storage in una tabella BigQuery che usa il partizionamento temporale basato su colonne:
Go
Prima di provare questo esempio, segui le istruzioni per la configurazione di Go nel Guida rapida di BigQuery con librerie client. Per ulteriori informazioni, consulta API Go BigQuery documentazione di riferimento.
Per eseguire l'autenticazione su BigQuery, configura Credenziali predefinite dell'applicazione. Per saperne di più, consulta Configurare l'autenticazione per le librerie client.
Java
Prima di provare questo esempio, segui le istruzioni per la configurazione di Java nel Guida rapida di BigQuery con librerie client. Per ulteriori informazioni, consulta API Java BigQuery documentazione di riferimento.
Per eseguire l'autenticazione su BigQuery, configura Credenziali predefinite dell'applicazione. Per ulteriori informazioni, vedi Configura l'autenticazione per le librerie client.
Node.js
Prima di provare questo esempio, segui le istruzioni per la configurazione di Node.js nel Guida rapida di BigQuery con librerie client. Per ulteriori informazioni, consulta la documentazione di riferimento dell'API BigQuery Node.js.
Per eseguire l'autenticazione su BigQuery, configura Credenziali predefinite dell'applicazione. Per ulteriori informazioni, vedi Configura l'autenticazione per le librerie client.
Python
Prima di provare questo esempio, segui le istruzioni per la configurazione di Python nel Guida rapida di BigQuery con librerie client. Per ulteriori informazioni, consulta API Python BigQuery documentazione di riferimento.
Per eseguire l'autenticazione su BigQuery, configura Credenziali predefinite dell'applicazione. Per ulteriori informazioni, vedi Configura l'autenticazione per le librerie client.
Aggiunta o sovrascrittura di una tabella con dati CSV
Puoi caricare dati aggiuntivi in una tabella dai file di origine o aggiungendo i risultati della query.
Nella console Google Cloud, utilizza l'opzione Preferenza di scrittura per specificare l'azione da eseguire quando carichi i dati da un file di origine o da un risultato di query.
Quando carichi dati aggiuntivi in una tabella, hai le seguenti opzioni:
Opzione console | flag strumento bq | Proprietà API BigQuery | Descrizione |
---|---|---|---|
Scrivi se vuota | Non supportata | WRITE_EMPTY |
Scrive i dati solo se la tabella è vuota. |
Aggiungi a tabella | --noreplace o --replace=false ; se
--[no]replace non è specificato, il valore predefinito è append |
WRITE_APPEND |
(valore predefinito) Aggiunge i dati alla fine della tabella. |
Sovrascrivi tabella | --replace o --replace=true |
WRITE_TRUNCATE |
Cancella tutti i dati esistenti in una tabella prima di scrivere i nuovi dati. Questa azione elimina anche lo schema della tabella, la sicurezza a livello di riga e rimuove eventuali Chiave Cloud KMS. |
Se carichi i dati in una tabella esistente, il job di caricamento può aggiungere i dati o sovrascrivere la tabella.
Console
Nella console Google Cloud, vai alla pagina BigQuery.
- Nel riquadro Explorer, espandi il progetto e seleziona un set di dati.
- Nella sezione Informazioni sul set di dati, fai clic su Crea tabella.
- Nel riquadro Crea tabella, specifica i seguenti dettagli:
- Nella sezione Origine, seleziona Google Cloud Storage nell'elenco Crea tabella da.
Poi segui questi passaggi:
- Seleziona un file dal bucket Cloud Storage o inserisci URI Cloud Storage. Non puoi includere più URI nella console Google Cloud, ma con i caratteri jolly sono supportati. Il bucket Cloud Storage deve trovarsi nello stesso posizione come il set di dati che contiene la tabella da creare, aggiungere o sovrascrivere.
- Per Formato file, seleziona CSV.
- Nella sezione Destinazione, specifica i seguenti dettagli:
- In Set di dati, seleziona il set di dati in cui creare il tabella.
- Nel campo Table (Tabella), inserisci il nome della tabella che vuoi creare.
- Verifica che il campo Tipo di tabella sia impostato su Tabella nativa.
- Nella sezione Schema, inserisci lo schema.
definizione di Kubernetes.
Per attivare il rilevamento automatico di uno schema:
Seleziona Rilevamento automatico.
Puoi inserire le informazioni sullo schema manualmente utilizzando uno dei seguenti
utilizza i seguenti metodi:
- Opzione 1: fai clic su Modifica come testo e incolla lo schema sotto forma di
un array JSON. Quando utilizzi un array JSON, generi lo schema utilizzando
è la stessa procedura utilizzata per la creazione di un file di schema JSON.
Puoi visualizzare lo schema di una tabella esistente in formato JSON inserendo quanto segue:
:
bq show --format=prettyjson dataset.table
- Opzione 2: fai clic su Tipo, e Modalità. Aggiungi campo e inserisci lo schema della tabella. Specifica il Nome di ogni campo,
- Opzione 1: fai clic su Modifica come testo e incolla lo schema sotto forma di
un array JSON. Quando utilizzi un array JSON, generi lo schema utilizzando
è la stessa procedura utilizzata per la creazione di un file di schema JSON.
Puoi visualizzare lo schema di una tabella esistente in formato JSON inserendo quanto segue:
:
- (Facoltativo) Specifica le impostazioni di partizione e clustering. Per ulteriori informazioni, vedi Creazione di tabelle partizionate e Creazione e utilizzo di tabelle in cluster. Tu impossibile convertire una tabella in una tabella partizionata o in cluster aggiungendo o sovrascriverlo. La console Google Cloud non supporta aggiungendo o sovrascrivendo tabelle partizionate o in cluster in un job di caricamento.
- Fai clic su Opzioni avanzate ed esegui le seguenti operazioni:
- In Preferenza di scrittura, scegli Aggiungi alla tabella o Sovrascrivi dalla tabella.
- In Numero di errori consentiti, accetta il valore predefinito
0
oppure inserisci il numero massimo di righe contenenti errori che possono essere ignorati. Se il numero di righe con errori supera questo valore, il job restituiscono un messaggioinvalid
e l'operazione non riesce. Questa opzione si applica solo ai file CSV e JSON. - Se vuoi ignorare i valori in una riga che non sono presenti nello schema della tabella: Seleziona Valori sconosciuti.
- Per Delimitatore di campo, scegli il carattere che separa le celle nel file CSV: Virgola, Tab, Barra verticale o Personalizzato. Se Scegli Personalizzato, inserisci il delimitatore in Delimitatore di campo personalizzato . Il valore predefinito è Virgola.
- In Righe di intestazione da saltare, inserisci il numero di righe di intestazione da saltare
nella parte superiore del file CSV. Il valore predefinito è
0
. - Per Nuovi righe tra virgolette, seleziona Consenti caratteri di fine riga tra virgolette per consentire
le sezioni di dati tra virgolette che contengono caratteri di nuova riga in un file CSV. La
il valore predefinito è
false
. - Per Righe frastagliate, seleziona Consenti righe frastagliate per accettare righe nel file CSV.
file a cui mancano le colonne finali facoltative. I valori mancanti sono
trattati come null. Se non è selezionata, i record con colonne finali mancanti vengono trattati come record non validi e, se sono presenti troppi record non validi, nel risultato del job viene restituito un errore non valido. Il valore predefinito è
false
. - In Crittografia, fai clic su Chiave gestita dal cliente per utilizzare una Chiave Cloud Key Management Service. Se lasci l'impostazione Chiave gestita da Google, BigQuery cripta i dati at-rest.
- Fai clic su Crea tabella.
SQL
Utilizza la
LOAD DATA
Istruzione DDL.
Nell'esempio seguente, un file CSV viene aggiunto alla tabella mytable
:
Nella console Google Cloud, vai alla pagina BigQuery.
Nell'editor query, inserisci la seguente istruzione:
LOAD DATA INTO mydataset.mytable FROM FILES ( format = 'CSV', uris = ['gs://bucket/path/file.csv']);
Fai clic su
Esegui.
Per ulteriori informazioni su come eseguire le query, consulta Eseguire una query interattiva.
bq
Usa il comando bq load
, specifica CSV
tramite il
--source_format
e includi un URI Cloud Storage.
Puoi includere un singolo URI, un elenco di URI separati da virgole o un URI
contenente un carattere jolly.
Fornisci lo schema in linea, in un file di definizione dello schema, oppure utilizza
rilevamento automatico dello schema. Se non specifichi
schema, --autodetect
è false
e la destinazione
esistente, viene utilizzato lo schema della tabella di destinazione.
Specifica il flag --replace
per sovrascrivere
tabella. Utilizza il flag --noreplace
per aggiungere dati alla tabella. Se non è presente alcun flag
specificato, il valore predefinito è l'aggiunta di dati.
È possibile modificare lo schema della tabella quando aggiungi o sovrascriverla. Per ulteriori informazioni sulle modifiche allo schema supportate durante un caricamento consulta l'articolo Modifica degli schemi delle tabelle.
(Facoltativo) Fornisci il flag --location
e imposta il valore su
località.
Altri flag facoltativi includono:
--allow_jagged_rows
: se specificato, accetta le righe nei file CSV mancanti di colonne facoltative finali. I valori mancanti vengono trattati come null. Se questa opzione è deselezionata, i record con colonne finali mancanti sono considerati non validi record; se sono presenti troppi record non validi, viene restituito un errore non valido nel risultato del job. Il valore predefinito èfalse
.--allow_quoted_newlines
: se specificato, consente le sezioni di dati tra virgolette che contengono caratteri di nuova riga in un file CSV. Il valore predefinito èfalse
.--field_delimiter
: il carattere che indica il confine tra colonne nei dati.\t
etab
sono consentiti per i delimitatori di tabulazione. Il valore predefinito è,
.--null_marker
: una stringa personalizzata facoltativa che rappresenta un valore NULL in Dati CSV.--skip_leading_rows
: specifica il numero di righe di intestazione da saltare nella parte superiore del file CSV. Il valore predefinito è0
.--quote
: le virgolette da utilizzare per racchiudere i record. Il valore predefinito è"
. Per non indicare virgolette, utilizza una stringa vuota.--max_bad_records
: un numero intero che specifica il numero massimo di errori consentiti prima dell'esito negativo dell'intero job. Il valore predefinito è0
. Alle ore vengono restituiti cinque errori di qualsiasi tipo, indipendentemente dal Valore--max_bad_records
.--ignore_unknown_values
: se specificato, consente e ignora gli extra, valori non riconosciuti nei dati CSV o JSON.--autodetect
: se specificato, attiva il rilevamento automatico dello schema per i dati CSV e JSON.--destination_kms_key
: la chiave Cloud KMS per la crittografia dei file e i dati della tabella.
bq --location=location load \ --[no]replace \ --source_format=format \ dataset.table \ path_to_source \ schema
dove:
- location è la tua località.
Il flag
--location
è facoltativo. Puoi impostare un valore predefinito per utilizzando il file.bigqueryrc. - format è pari a
CSV
. - dataset è un set di dati esistente.
- table è il nome della tabella in cui vengono caricati i dati.
- path_to_source è un URI Cloud Storage completo o un elenco di URI separati da virgole. Sono supportati anche i caratteri jolly.
- schema è uno schema valido. Lo schema può essere un file JSON locale,
o può essere digitato in linea come parte del comando. Puoi utilizzare anche
--autodetect
anziché fornire una definizione dello schema.
Esempi:
Il comando seguente carica i dati da gs://mybucket/mydata.csv
e
sovrascrive una tabella denominata mytable
in mydataset
. Lo schema è definito
mediante il rilevamento automatico degli schemi.
bq load \
--autodetect \
--replace \
--source_format=CSV \
mydataset.mytable \
gs://mybucket/mydata.csv
Il comando seguente carica i dati da gs://mybucket/mydata.csv
e
accoda dati a una tabella denominata mytable
in mydataset
. Lo schema è
definita mediante un file di schema JSON: myschema.json
.
bq load \
--noreplace \
--source_format=CSV \
mydataset.mytable \
gs://mybucket/mydata.csv \
./myschema.json
API
Crea un job
load
che indichi i dati di origine in Cloud Storage.(Facoltativo) Specifica la tua località in la proprietà
location
nella sezionejobReference
della risorsa job.La proprietà
source URIs
devono essere pienamente qualificati, nel formatogs://bucket/object
. Puoi Includere più URI sotto forma di elenco separato da virgole. Tieni presente che caratteri jolly sono .Specifica il formato dei dati impostando la proprietà
configuration.load.sourceFormat
suCSV
.Specifica la preferenza di scrittura impostando il parametro
configuration.load.writeDisposition
proprietà aWRITE_TRUNCATE
oWRITE_APPEND
.
Vai
Prima di provare questo esempio, segui le istruzioni di configurazione Go riportate nella guida rapida all'utilizzo delle librerie client di BigQuery. Per ulteriori informazioni, consulta API Go BigQuery documentazione di riferimento.
Per eseguire l'autenticazione su BigQuery, configura Credenziali predefinite dell'applicazione. Per ulteriori informazioni, vedi Configura l'autenticazione per le librerie client.
Java
Prima di provare questo esempio, segui le istruzioni per la configurazione di Java nel Guida rapida di BigQuery con librerie client. Per ulteriori informazioni, consulta API Java BigQuery documentazione di riferimento.
Per eseguire l'autenticazione su BigQuery, configura Credenziali predefinite dell'applicazione. Per ulteriori informazioni, vedi Configura l'autenticazione per le librerie client.
Node.js
Prima di provare questo esempio, segui le istruzioni di configurazione Node.js riportate nella guida rapida all'utilizzo delle librerie client di BigQuery. Per ulteriori informazioni, consulta API Node.js BigQuery documentazione di riferimento.
Per eseguire l'autenticazione su BigQuery, configura Credenziali predefinite dell'applicazione. Per ulteriori informazioni, vedi Configura l'autenticazione per le librerie client.
Per sostituire le righe in una tabella esistente, imposta writeDisposition
nel parametro metadata
su 'WRITE_TRUNCATE'
.
Prima di provare questo esempio, segui le istruzioni per la configurazione di PHP nel Guida rapida di BigQuery con librerie client. Per ulteriori informazioni, consulta la documentazione di riferimento dell'API BigQuery PHP.
Per eseguire l'autenticazione su BigQuery, configura Credenziali predefinite dell'applicazione. Per ulteriori informazioni, vedi Configura l'autenticazione per le librerie client.
Python
Prima di provare questo esempio, segui le istruzioni per la configurazione di Python nel Guida rapida di BigQuery con librerie client. Per ulteriori informazioni, consulta la documentazione di riferimento dell'API BigQuery Python.
Per eseguire l'autenticazione su BigQuery, configura Credenziali predefinite dell'applicazione. Per ulteriori informazioni, vedi Configura l'autenticazione per le librerie client.
Per sostituire le righe in una tabella esistente, imposta LoadJobConfig.write_disposition
alla proprietà SourceFormat
costante WRITE_TRUNCATE
.
Caricamento dei dati CSV partizionati in hive
BigQuery supporta il caricamento di dati CSV partizionati ad hive archiviati su Cloud Storage e completerà le colonne di partizionamento hive come colonne in nella tabella gestita da BigQuery di destinazione. Per ulteriori informazioni, vedi Caricamento di dati partizionati esternamente da Cloud Storage.
Dettagli del caricamento dei dati CSV
Questa sezione descrive in che modo BigQuery gestisce varie opzioni di formattazione CSV.
Codifica
BigQuery prevede che i dati CSV siano codificati in UTF-8. Se disponi File CSV con altri tipi di codifica supportati, devi specificare esplicitamente il in modo che BigQuery possa convertire correttamente i dati in UTF-8.
BigQuery supporta i seguenti tipi di codifica per i file CSV:
- UTF-8
- ISO-8859-1
- UTF-16BE (UTF-16 Big Endian)
- UTF-16LE (UTF-16 Little Endian)
- UTF-32BE (UTF-32 Big Endian)
- UTF-32LE (UTF-32 Little Endian)
Se non specifichi una codifica o se specifichi la codifica UTF-8 quando il file CSV
il file non è codificato in UTF-8, BigQuery tenta di convertire i dati
fino alla codifica UTF-8. In genere, se il file CSV è codificato in ISO-8859-1, i dati verranno caricati correttamente, ma potrebbero non corrispondere esattamente a quanto previsto. Se il file CSV
con codifica UTF-16BE, UTF-16LE, UTF-32BE o UTF-32LE, il caricamento potrebbe non riuscire.
Per evitare errori imprevisti, specifica la codifica corretta utilizzando il metodo
Flag --encoding
.
Se BigQuery non può convertire un carattere diverso dall'ASCII 0
BigQuery lo converte nel carattere standard
Carattere Unicode sostitutivo: .
Delimitatori di campo
I delimitatori nei file CSV possono essere costituiti da qualsiasi carattere a un byte. Se il file sorgente utilizza la codifica ISO-8859-1, qualsiasi carattere può essere un delimitatore. Se il file sorgente utilizza la codifica UTF-8, qualsiasi carattere nell'intervallo decimale 1-127 (U+0001-U+007F) possono essere utilizzate senza modifiche. Puoi inserire un carattere ISO-8859-1 all'esterno di questo intervallo come delimitatore, che verrà interpretato da BigQuery in modo corretto. Tuttavia, se utilizzi un carattere multibyte come delimitatore, alcuni dei i byte verranno interpretati in modo errato come parte del valore del campo.
In genere, si consiglia di utilizzare un delimitatore standard, ad esempio una tabulazione, barra verticale o virgola. Il valore predefinito è una virgola.
Tipi di dati
Booleano: BigQuery può analizzare una qualsiasi delle seguenti coppie per Dati booleani: 1 o 0, vero o falso, t o f, sì o no oppure y o n (tutte le maiuscole insensibile). Il rilevamento automatico dello schema consente di rilevare automaticamente qualsiasi valore, ad eccezione di 0 e 1.Byte. Le colonne con tipi BYTES devono essere codificate come Base64.
Data: Le colonne con tipi DATE devono essere nel formato YYYY-MM-DD
.
Data e ora. Le colonne con tipo DATETIME devono essere nel formato YYYY-MM-DD
HH:MM:SS[.SSSSSS]
.
Geografia. Le colonne con tipo GEOGRAPHY devono contenere stringhe in uno dei seguenti formati:
- Testo noto (WKT)
- WKB (Ben noto) binario.
- GeoJSON
Se utilizzi WKB, il valore deve essere codificato in formato esadecimale.
Il seguente elenco mostra esempi di dati validi:
- Durata:
POINT(1 2)
- GeoJSON:
{ "type": "Point", "coordinates": [1, 2] }
- WKB con codifica esadecimale:
0101000000feffffffffffef3f0000000000000040
Prima di caricare i dati GEOGRAPHY, leggi anche Caricamento di dati geospaziali.
Intervallo. Le colonne con tipi INTERVAL
devono essere nel formato
Y-M D H:M:S[.F]
, dove:
- Y = anno. L'intervallo supportato è compreso tra 0 e 10.000.
- M = mese. L'intervallo supportato è 1-12.
- D = giorno. L'intervallo supportato è 1-[ultimo giorno del mese indicato].
- H = ora.
- M = minuto.
- S = secondo.
- [.F] = Frazioni di un secondo fino a sei cifre, con precisione in microsecondi.
Puoi indicare un valore negativo anteponendo un trattino (-).
L'elenco seguente mostra esempi di dati validi:
10-6 0 0:0:0
0-0 -5 0:0:0
0-0 0 0:0:1.25
Per caricare dati INTERVAL, devi utilizzare il metodo
Comando e utilizzo di bq load
il flag --schema
per specificare uno schema. Non puoi caricare i dati INTERVAL utilizzando la console.
JSON. Le virgolette vengono convertite in caratteri di escape utilizzando la sequenza di due caratteri ""
. Per maggiori informazioni
informazioni, vedi un esempio
caricando dati JSON da un file CSV
Ora. Le colonne con tipi TIME devono essere nel formato HH:MM:SS[.SSSSSS]
.
Timestamp: BigQuery accetta vari formati di timestamp. Il timestamp deve includere una parte relativa alla data e una all'ora.
La parte della data può essere formattata come
YYYY-MM-DD
oYYYY/MM/DD
.La parte del timestamp deve essere formattata nel formato
HH:MM[:SS[.SSSSSS]]
(secondi e le frazioni di secondo sono facoltative).La data e l'ora devono essere separate da uno spazio o da "T".
Facoltativamente, la data e l'ora possono essere seguite da una differenza dal fuso orario UTC o dal fuso orario UTC indicatore (
Z
). Per ulteriori informazioni, vedi Fusi orari.
Ad esempio, uno qualsiasi dei seguenti valori di timestamp è valido:
- 2018-08-19 12:11
- 2018-08-19 12:11:35
- 19-08-2018 12:11:35.22
- 19/08/2018 12:11
- 05-07-2018 12:54:00 UTC
- 19-08-2018 07:11:35.220 -05:00
- 2018-08-19T12:11:35.220Z
Se fornisci uno schema, BigQuery accetta anche il tempo di epoca Unix per i valori di timestamp. Tuttavia, il rilevamento automatico dello schema non rileva questo caso e considera il valore come un tipo numerico o di stringa.
Esempi di valori di timestamp dell'epoca Unix:
- 1534680695
- 1,534680695e11
INTERVALLO. Rappresentati in file CSV nel formato
[LOWER_BOUND, UPPER_BOUND)
,
dove LOWER_BOUND
e UPPER_BOUND
sono stringhe DATE
, DATETIME
o TIMESTAMP
valide. NULL
e UNBOUNDED
che rappresentano valori di inizio o fine illimitati.
Di seguito sono riportati alcuni esempi di valori CSV per RANGE<DATE>
:
"[2020-01-01, 2021-01-01)"
"[UNBOUNDED, 2021-01-01)"
"[2020-03-01, NULL)"
"[UNBOUNDED, UNBOUNDED)"
Rilevamento automatico dello schema
In questa sezione viene descritto il comportamento rilevamento automatico dello schema durante il caricamento dei file CSV.
Delimitatore CSV
BigQuery rileva i seguenti delimitatori:
- virgola ( , )
- barra verticale ( | )
- Tabulazione (\t)
Intestazione CSV
BigQuery deduce le intestazioni confrontando la prima riga del file con altre righe del file. Se la prima riga contiene solo stringhe e altre righe contengono altri tipi di dati, BigQuery presuppone che la prima riga è una riga di intestazione. BigQuery assegna i nomi delle colonne in base ai nomi dei campi nella riga di intestazione. I nomi potrebbero essere modificati per soddisfare le regole di denominazione delle colonne in BigQuery. Ad esempio, gli spazi verranno sostituiti da trattini bassi.
Altrimenti, BigQuery presuppone che la prima riga sia una riga di dati e
assegna nomi generici di colonna come string_field_1
. Tieni presente che dopo una tabella
i nomi delle colonne non possono essere aggiornati nello schema, sebbene sia possibile
cambia i nomi
manualmente
dopo la creazione della tabella. Un'altra opzione è fornire uno schema esplicito
invece di utilizzare il rilevamento automatico.
Potresti avere un file CSV con una riga di intestazione, in cui tutti i campi di dati sono
stringhe. In questo caso, BigQuery non rileverà automaticamente
la prima riga contiene un'intestazione. Utilizza l'opzione --skip_leading_rows
per saltare il passaggio
riga di intestazione. In caso contrario, l'intestazione verrà importata come dati. Guarda anche
fornendo uno schema esplicito in questo caso, in modo da poter assegnare i nomi delle colonne.
Nuove righe tra virgolette in CSV
BigQuery rileva i caratteri di nuova riga tra virgolette all'interno di un campo CSV e non interpreta il carattere di nuova riga tra virgolette come un limite di riga.
Risolvere gli errori di analisi
Se si verifica un problema durante l'analisi dei file CSV,
la risorsa errors
del job di caricamento è
compilati con i dettagli dell'errore.
In genere, questi errori identificano l'inizio della riga problematica con un byte
sfalsato. Per i file non compressi puoi utilizzare gcloud storage
con
--recursive
per accedere alla riga pertinente.
Ad esempio, esegui il comando bq load
e ricevi un errore:
bq load --skip_leading_rows=1 \ --source_format=CSV \ mydataset.mytable \ gs://my-bucket/mytable.csv \ 'Number:INTEGER,Name:STRING,TookOffice:STRING,LeftOffice:STRING,Party:STRING'
L'errore nell'output è simile al seguente:
Waiting on bqjob_r5268069f5f49c9bf_0000018632e903d7_1 ... (0s) Current status: DONE BigQuery error in load operation: Error processing job 'myproject:bqjob_r5268069f5f49c9bf_0000018632e903d7_1': Error while reading data, error message: Error detected while parsing row starting at position: 1405. Error: Data between close quote character (") and field separator. File: gs://my-bucket/mytable.csv Failure details: - gs://my-bucket/mytable.csv: Error while reading data, error message: Error detected while parsing row starting at position: 1405. Error: Data between close quote character (") and field separator. File: gs://my-bucket/mytable.csv - Error while reading data, error message: CSV processing encountered too many errors, giving up. Rows: 22; errors: 1; max bad: 0; error percent: 0
In base all'errore precedente, nel file è presente un errore di formato.
Per visualizzare i contenuti del file, esegui il comando gcloud storage cat
:
gcloud storage cat 1405-1505 gs://my-bucket/mytable.csv --recursive
L'output è simile al seguente:
16,Abraham Lincoln,"March 4, 1861","April 15, "1865,Republican 18,Ulysses S. Grant,"March 4, 1869", ...
In base all'output del file, il problema è una citazione errata nella
"April 15, "1865
.
File CSV compressi
Il debug degli errori di analisi è più difficile per i file CSV compressi, in quanto
l'offset di byte riportato si riferisce alla posizione nel file non compresso.
Il seguente comando gcloud storage cat
legge il file in streaming da Cloud Storage, lo decomprime, identifica lo scarto di byte appropriato e stampa la riga con l'errore di formato:
gcloud storage cat gs://my-bucket/mytable.csv.gz | gunzip - | tail -c +1406 | head -n 1
L'output è simile al seguente:
16,Abraham Lincoln,"March 4, 1861","April 15, "1865,Republican
Opzioni CSV
Per modificare il modo in cui BigQuery analizza i dati CSV, specifica opzioni aggiuntive nella console Google Cloud, nello strumento a riga di comando bq o nell'API.
Per ulteriori informazioni sul formato CSV, vedi RFC 4180.
Opzione CSV | Opzione console | flag strumento bq | Proprietà API BigQuery | Descrizione |
---|---|---|---|---|
Delimitatore di campo | Delimitatore di campo: virgola, tabulazione, barra verticale, personalizzato | -F o --field_delimiter |
fieldDelimiter
(Java,
Python)
|
(Facoltativo) Il separatore per i campi di un file CSV. Il separatore può essere qualsiasi carattere ISO-8859-1 a singolo byte. BigQuery converte la stringa nella codifica ISO-8859-1 e utilizza il primo byte la stringa codificata per suddividere i dati nel loro stato binario non elaborato. BigQuery supporta anche la sequenza di escape "\t" per specificare separatore di tabulazione. Il valore predefinito è una virgola (","). |
Righe di intestazione | Righe di intestazione da saltare | --skip_leading_rows |
skipLeadingRows
(Java,
Python)
|
(Facoltativo) Un numero intero che indica il numero di righe di intestazione nell'origine e i dati di Google Cloud. |
Numero di record non validi consentiti | Numero di errori consentiti | --max_bad_records |
maxBadRecords
(Java,
Python)
|
(Facoltativo) Il numero massimo di record non validi che BigQuery ignorarlo durante l'esecuzione del job. Se il numero di record non validi supera questo , nel risultato del job viene restituito un errore non valido. Il valore predefinito è 0, il che richiede che tutti i record siano validi. |
Caratteri di nuova riga | Consenti caratteri di fine riga con virgolette | --allow_quoted_newlines |
allowQuotedNewlines
(Java,
Python)
|
(Facoltativo) Indica se consentire le sezioni di dati tra virgolette che contengono caratteri di nuova riga in un file CSV. Il valore predefinito è false. |
Valori null personalizzati | Nessuno | --null_marker |
nullMarker
(Java,
Python)
|
(Facoltativo) Specifica una stringa che rappresenta un valore nullo in un file CSV. Ad esempio, se specifichi "\N", BigQuery interpreta "\N" come valore nullo durante il caricamento di un file CSV. Il valore predefinito è vuoto stringa. Se imposti la proprietà su un valore personalizzato, BigQuery genera un errore se è presente una stringa vuota per tutti i tipi di dati tranne per STRING e BYTE. Per le colonne STRING e BYTE, BigQuery interpreta la stringa vuota come un valore vuoto. |
Colonne facoltative finali | Consenti righe incomplete | --allow_jagged_rows |
allowJaggedRows
(Java,
Python)
|
(Facoltativo) Accetta le righe che mancano delle colonne finali facoltative. La i valori mancanti vengono trattati come null. Se il valore è false, vengono registrati i record con mancanti le colonne finali vengono trattate come record errati e se ce ne sono , nel risultato del job viene restituito un errore non valido. Il valore predefinito è false. Applicabile solo al file CSV, ignorato per gli altri formati. |
Valori sconosciuti | Ignora valori sconosciuti | --ignore_unknown_values |
ignoreUnknownValues
(Java,
Python)
|
(Facoltativo) Indica se BigQuery deve consentire valori aggiuntivi
che non sono rappresentati nello schema della tabella. Se true, i valori aggiuntivi
vengono ignorati. Se false, i record con colonne aggiuntive vengono trattati come record non validi e, se sono presenti troppi record non validi, viene restituito un errore non valido nel risultato del job. Il valore predefinito è false. La
La proprietà sourceFormat determina quale proprietà BigQuery
considera un valore aggiuntivo:
|
Citazione | Carattere virgolette: Virgoletta doppia, Virgoletta singola, Nessuna, Personalizzata | --quote |
quote
(Java,
Python)
|
(Facoltativo) Il valore utilizzato per citare le sezioni di dati in un file CSV.
BigQuery converte la stringa nella codifica ISO-8859-1 e
poi utilizza il primo byte della stringa codificata per suddividere i dati nel suo
non elaborato, stato binario. Il valore predefinito sono le virgolette doppie (""'). Se i tuoi dati
non contiene sezioni tra virgolette, imposta il valore della proprietà su un valore vuoto
stringa. Se i dati contengono caratteri di nuova riga tra virgolette, devi impostare anche
la proprietà allowQuotedNewlines a true . A
includi le virgolette specifiche all'interno di un valore tra virgolette, anteponile
con virgolette corrispondenti aggiuntive. Ad esempio, se vuoi
l'interpretazione letterale del carattere predefinito " ". ", usa " " ". |
Codifica | Nessuno | -E o --encoding |
encoding
(Java,
Python) |
(Facoltativo) La codifica dei caratteri dei dati. I valori supportati sono
UTF-8, ISO-8859-1, UTF-16BE, UTF-16LE, UTF-32BE o UTF-32LE.
Il valore predefinito è UTF-8. BigQuery
decodifica i dati dopo che i dati binari non elaborati sono stati suddivisi utilizzando
valori di quote e fieldDelimiter
proprietà. |
Carattere di controllo ASCII | Nessuno | --preserve_ascii_control_characters |
Nessuno | (Facoltativo) Se vuoi consentire ASCII 0 e un altro tipo di controllo ASCII
caratteri, quindi imposta --preserve_ascii_control_characters su
true ai tuoi job di caricamento. |