Utilizzo del rilevamento automatico dello schema
Rilevamento automatico dello schema
Il rilevamento automatico dello schema consente a BigQuery di dedurre lo schema per i dati CSV, JSON o di Fogli Google. Il rilevamento automatico dello schema è disponibile quando carichi i dati in BigQuery e quando esegui una query su un'origine dati esterna.
Quando il rilevamento automatico è abilitato, BigQuery deducono il tipo di dati per ogni colonna. BigQuery seleziona un file casuale nell'origine dati
e analizza fino alle prime 500 righe di dati da utilizzare come campione rappresentativo.
BigQuery esamina quindi ogni campo e tenta di assegnargli un tipo di dato in base ai valori del campione. Se tutte le righe di una colonna sono vuote, per impostazione predefinita il rilevamento automatico utilizzerà il tipo di dato STRING
per la colonna.
Se non attivi il rilevamento automatico dello schema per i dati CSV, JSON o di Fogli Google, devi fornire lo schema manualmente durante la creazione della tabella.
Non è necessario attivare il rilevamento automatico dello schema per i file di esportazione Avro, Parquet, ORC, Firestore o Datastore. Questi formati file sono autodescrittivi, pertanto BigQuery deduce automaticamente lo schema della tabella dai dati di origine. Per i file Parquet, Avro e Orc, se vuoi puoi fornire uno schema esplicito per sostituire lo schema dedotto.
Puoi visualizzare lo schema rilevato per una tabella nei seguenti modi:
- Utilizza la console Google Cloud.
- Utilizza il comando
bq show
dello strumento a riga di comando bq.
Quando BigQuery rileva gli schemi, in rare occasioni potrebbe cambiare il nome di un campo per renderlo compatibile con la sintassi di GoogleSQL.
Per informazioni sulle conversioni dei tipi di dati, consulta quanto segue:
- Conversione del tipo di dati quando si caricano i dati da Datastore
- Conversione del tipo di dati durante il caricamento dei dati da Firestore
- Conversioni in Avro
- Conversioni Parquet
- Conversioni ORC
Caricamento dei dati utilizzando il rilevamento automatico dello schema
Per attivare il rilevamento automatico dello schema durante il caricamento dei dati, utilizza uno di questi approcci:
- Nella console Google Cloud, nella sezione Schema, per Rilevamento automatico, seleziona l'opzione Parametri di schema e input.
- Nello strumento a riga di comando bq, utilizza il comando
bq load
con il parametro--autodetect
.
Quando il rilevamento automatico dello schema è abilitato, BigQuery tenta di dedurre automaticamente lo schema per i file CSV e JSON.
La logica di rilevamento automatico deducono i tipi di campi dello schema leggendo fino alle prime 500 righe di dati. Le righe iniziali vengono ignorate se è presente il flag --skip_leading_rows
. I tipi di campo si basano sulle righe con il maggior numero di campi.
Pertanto, il rilevamento automatico dovrebbe funzionare come previsto, a condizione che esista almeno una riga di dati con valori in ogni colonna/campo.
Il rilevamento automatico dello schema non viene utilizzato con file Avro, file Parquet, file ORC, file di esportazione di Firestore o file di esportazione di Datastore. Quando carichi questi file in BigQuery, lo schema della tabella viene recuperato automaticamente dai dati di origine autodescrittivi.
Per utilizzare il rilevamento automatico dello schema quando carichi dati JSON o CSV:
Console
Nella console Google Cloud, vai alla pagina BigQuery.
Nel riquadro Spazio di esplorazione, espandi il progetto e seleziona un set di dati.
Espandi l'opzione
Azioni e fai clic su Apri.Nel riquadro dei dettagli, fai clic su Crea tabella
.Nella sezione Origine della pagina Crea tabella:
- In Crea tabella da, seleziona il tipo di origine che preferisci.
Nel campo di origine, cerca il bucket File/Cloud Storage o inserisci l'URI Cloud Storage. Tieni presente che non puoi includere più URI nella console Google Cloud, ma sono supportati i caratteri jolly. Il bucket Cloud Storage deve trovarsi nella stessa posizione del set di dati contenente la tabella che stai creando.
In Formato file, seleziona CSV o JSON.
Nella sezione Destinazione della pagina Crea tabella:
Per Nome set di dati, scegli il set di dati appropriato.
Nel campo Nome tabella, inserisci il nome della tabella che stai creando.
Verifica che Tipo di tabella sia impostato su Tabella nativa.
Fai clic su Crea tabella.
bq
Esegui il comando bq load
con il parametro --autodetect
.
(Facoltativo) Fornisci il flag --location
e imposta il valore sulla tua
posizione.
Il seguente comando carica un file utilizzando il rilevamento automatico dello schema:
bq --location=LOCATION load \ --autodetect \ --source_format=FORMAT \ DATASET.TABLE \ PATH_TO_SOURCE
Sostituisci quanto segue:
LOCATION
: il nome della tua località. Il--location
flag è facoltativo. Ad esempio, se utilizzi BigQuery nella regione di Tokyo, imposta il valore del flag suasia-northeast1
. Puoi impostare un valore predefinito per la posizione utilizzando il file.bigqueryrc.FORMAT
:NEWLINE_DELIMITED_JSON
oCSV
.DATASET
: il set di dati che contiene la tabella in cui stai caricando i dati.TABLE
: il nome della tabella in cui stai caricando i dati.PATH_TO_SOURCE
: è la posizione del file CSV o JSON.
Esempi:
Inserisci il seguente comando per caricare myfile.csv
dalla tua macchina locale in una tabella denominata mytable
archiviata in un set di dati denominato
mydataset
.
bq load --autodetect --source_format=CSV mydataset.mytable ./myfile.csv
Inserisci il seguente comando per caricare myfile.json
dalla tua macchina locale in una tabella denominata mytable
archiviata in un set di dati denominato
mydataset
.
bq load --autodetect --source_format=NEWLINE_DELIMITED_JSON \
mydataset.mytable ./myfile.json
API
Crea un job
load
che indichi i dati di origine. Per informazioni sulla creazione dei job, consulta Eseguire job BigQuery in modo programmatico. Specifica la tua località nella proprietàlocation
nella sezionejobReference
.Specifica il formato dei dati impostando la proprietà
sourceFormat
. Per utilizzare il rilevamento automatico dello schema, questo valore deve essere impostato suNEWLINE_DELIMITED_JSON
oCSV
.Utilizza la proprietà
autodetect
per impostare il rilevamento automatico dello schema sutrue
.
Vai
Prima di provare questo esempio, segui le istruzioni di configurazione Go riportate nella guida rapida all'utilizzo di BigQuery con le librerie client. Per ulteriori informazioni, consulta la documentazione di riferimento dell'API BigQuery Go.
Per autenticarti in BigQuery, configura le Credenziali predefinite dell'applicazione. Per saperne di più, consulta Configurare l'autenticazione per le librerie client.
Java
Prima di provare questo esempio, segui le istruzioni di configurazione Java riportate nella guida rapida all'utilizzo di BigQuery con le librerie client. Per ulteriori informazioni, consulta la documentazione di riferimento dell'API BigQuery Java.
Per autenticarti in BigQuery, configura le Credenziali predefinite dell'applicazione. Per saperne di più, consulta Configurare l'autenticazione per le librerie client.
Node.js
Prima di provare questo esempio, segui le istruzioni di configurazione Node.js riportate nella guida rapida all'utilizzo di BigQuery con le librerie client. Per ulteriori informazioni, consulta la documentazione di riferimento dell'API BigQuery Node.js.
Per autenticarti in BigQuery, configura le Credenziali predefinite dell'applicazione. Per saperne di più, consulta Configurare l'autenticazione per le librerie client.
PHP
Prima di provare questo esempio, segui le istruzioni di configurazione PHP riportate nella guida rapida all'utilizzo di BigQuery con le librerie client. Per ulteriori informazioni, consulta la documentazione di riferimento dell'API BigQuery PHP.
Per autenticarti in BigQuery, configura le Credenziali predefinite dell'applicazione. Per saperne di più, consulta Configurare l'autenticazione per le librerie client.
Python
Per attivare il rilevamento automatico dello schema, imposta la proprietà
LoadJobConfig.autodetect
su True
.
Prima di provare questo esempio, segui le istruzioni di configurazione Python riportate nella guida rapida all'utilizzo di BigQuery con le librerie client. Per ulteriori informazioni, consulta la documentazione di riferimento dell'API BigQuery Python.
Per autenticarti in BigQuery, configura le Credenziali predefinite dell'applicazione. Per saperne di più, consulta Configurare l'autenticazione per le librerie client.
Ruby
Prima di provare questo esempio, segui le istruzioni di configurazione Ruby riportate nella guida rapida all'utilizzo di BigQuery con le librerie client. Per ulteriori informazioni, consulta la documentazione di riferimento dell'API BigQuery Ruby.
Per autenticarti in BigQuery, configura le Credenziali predefinite dell'applicazione. Per saperne di più, consulta Configurare l'autenticazione per le librerie client.
Rilevamento automatico dello schema per le origini dati esterne
Il rilevamento automatico dello schema può essere utilizzato con origini dati esterne CSV, JSON e Fogli Google. Quando il rilevamento automatico dello schema è abilitato, BigQuery fa un tentativo secondo il criterio del massimo impegno per dedurre automaticamente lo schema dai dati di origine. Se non attivi il rilevamento automatico dello schema per queste origini, devi fornire uno schema esplicito.
Non è necessario attivare il rilevamento automatico dello schema quando esegui query su file Avro, Parquet, ORC, Firestore Export o Datastore Export esterni. Questi formati di file sono autodescrittivi, pertanto BigQuery deduce automaticamente lo schema della tabella dai dati di origine. Per i file Parquet, Avro e Orc, puoi optionally fornire uno schema esplicito per sostituire lo schema dedotto.
Utilizzando la console Google Cloud, puoi attivare il rilevamento automatico dello schema contrassegnando l'opzione Parametri di schema e input per Rilevamento automatico.
Utilizzando lo strumento a riga di comando bq, puoi attivare il rilevamento automatico dello schema quando crei un file di definizione della tabella per i dati CSV, JSON o di Fogli Google. Quando utilizzi lo strumento bq per creare un
file di definizione della tabella, passa il flag --autodetect
al comando mkdef
per attivare il rilevamento automatico dello schema o passa il flag --noautodetect
per disattivare il rilevamento automatico.
Quando utilizzi il flag --autodetect
, l'impostazione autodetect
viene impostata su true
nel file di definizione della tabella. Quando utilizzi il flag --noautodetect
, l'impostazione autodetect
è impostata su false
. Se non fornisci una definizione di schema per l'origine dati esterna quando crei una definizione di tabella e non utilizzi il flag --noautodetect
o --autodetect
, l'impostazione autodetect
è predefinita su true
.
Quando crei un file di definizione della tabella utilizzando l'API, imposta il valore della proprietà autodetect
su true
o false
. L'impostazione di autodetect
su true
attiva il rilevamento automatico. L'impostazione di autodetect
su false
disattiva il rilevamento automatico.
Dettagli sul rilevamento automatico
Oltre a rilevare i dettagli dello schema, il rilevamento automatico riconosce quanto segue:
Compressione
BigQuery riconosce la compressione dei file compatibile con gzip quando apre un file.
Valori di data e ora
BigQuery rileva i valori di data e ora in base alla formattazione degli dati di origine.
I valori nelle colonne DATE
devono essere nel seguente formato: YYYY-MM-DD
.
I valori nelle colonne TIME
devono essere nel seguente formato: HH:MM:SS[.SSSSSS]
(il componente frazionario di secondo è facoltativo).
Per le colonne TIMESTAMP
, BigQuery rileva un'ampia gamma di formati di timestamp, tra cui, a titolo esemplificativo:
YYYY-MM-DD HH:MM
YYYY-MM-DD HH:MM:SS
YYYY-MM-DD HH:MM:SS.SSSSSS
YYYY/MM/DD HH:MM
Un timestamp può contenere anche un offset UTC o l'indicatore di zona UTC ("Z").
Ecco alcuni esempi di valori che BigQuery rileverà automaticamente come valori timestamp:
- 2018-08-19 12:11
- 19-08-2018 12:11:35.22
- 19/08/2018 12:11
- 2018-08-19 07:11:35.220 -05:00
Se BigQuery non riconosce il formato, carica la colonna come tipo di dati stringa. In questo caso, potrebbe essere necessario pre-elaborare i dati di origine prima di caricarli. Ad esempio, se esporti i dati CSV da un foglio di lavoro, imposta il formato della data in modo che corrisponda a uno degli esempi mostrati qui. In alternativa, puoi trasformare i dati dopo averli caricati in BigQuery.
Rilevamento automatico dello schema per i dati CSV
Delimitatore CSV
BigQuery rileva i seguenti delimitatori:
- virgola ( , )
- Barra verticale ( | )
- Tabulazione ( \t)
Intestazione CSV
BigQuery deducono le intestazioni confrontando la prima riga del file con le altre righe del file. Se la prima riga contiene solo stringhe e le altre righe contengono altri tipi di dati, BigQuery presuppone che la prima riga sia una riga di intestazione. BigQuery assegna i nomi delle colonne in base ai nomi dei campi nella riga di intestazione. I nomi potrebbero essere modificati per soddisfare le regole di denominazione delle colonne in BigQuery. Ad esempio, gli spazi verranno sostituiti da trattini bassi.
In caso contrario, BigQuery presume che la prima riga sia una riga di dati e assegna nomi di colonne generici come string_field_1
. Tieni presente che, dopo aver creato una tabella, i nomi delle colonne non possono essere aggiornati nello schema, anche se puoi modificarli manualmente dopo la creazione della tabella. Un'altra opzione è fornire uno schema esplicito
invece di utilizzare il rilevamento automatico.
Potresti avere un file CSV con una riga di intestazione in cui tutti i campi di dati sono stringhe. In questo caso, BigQuery non rileverà automaticamente che la prima riga è un'intestazione. Utilizza l'opzione --skip_leading_rows
per saltare la riga dell'intestazione. In caso contrario, l'intestazione verrà importata come dati. In questo caso, ti consigliamo anche di fornire uno schema esplicito per poter assegnare i nomi delle colonne.
Nuove righe con virgolette nel file CSV
BigQuery rileva i caratteri di nuova riga tra virgolette all'interno di un campo CSV e non interpreta il carattere di nuova riga tra virgolette come confine di riga.
Rilevamento automatico dello schema per i dati JSON
Campi JSON nidificati e ripetuti
BigQuery deducono i campi nidificati e ripetuti nei file JSON. Se un valore di campo è un oggetto JSON, BigQuery carica la colonna come tipo RECORD
. Se il valore di un campo è un array, BigQuery carica la colonna come ripetuta. Per un esempio di dati JSON con dati nidificati e ripetuti, consulta
Caricare dati JSON nidificati e ripetuti.
Conversione di stringhe
Se attivi il rilevamento automatico dello schema, BigQuery converte
le stringhe in tipi booleani, numerici o data/ora, se possibile. Ad esempio,
utilizzando i seguenti dati JSON, il rilevamento automatico dello schema converte il campo id
in una colonna INTEGER
:
{ "name":"Alice","id":"12"}
{ "name":"Bob","id":"34"}
{ "name":"Charles","id":"45"}
Per ulteriori informazioni, consulta Caricare dati JSON da Cloud Storage.
Rilevamento automatico dello schema per Fogli Google
Per Fogli, BigQuery rileva automaticamente se la prima riga è una riga di intestazione, in modo simile al rilevamento automatico per i file CSV. Se la prima riga viene identificata come intestazione, BigQuery assegna i nomi delle colonne in base ai nomi dei campi nella riga di intestazione e la salta. I nomi potrebbero essere modificati per soddisfare le regole di denominazione per le colonne in BigQuery. Ad esempio, gli spazi verranno sostituiti da trattini bassi.
Sicurezza delle tabelle
Per controllare l'accesso alle tabelle in BigQuery, consulta Introduzione ai controlli di accesso alle tabelle.