Specifica di uno schema
BigQuery ti consente di specificare lo schema di una tabella quando carichi dati in una tabella e quando crei una tabella vuota. In alternativa, puoi utilizzare il rilevamento automatico dello schema per i formati di dati supportati.
Quando carichi i file di esportazione Avro, Parquet, ORC, Firestore o di esportazione del datastore, lo schema viene recuperato automaticamente dai dati di origine autodescritti.
Puoi specificare lo schema di una tabella nei seguenti modi:
- Utilizzare la console Google Cloud.
- Utilizza l'istruzione SQL
CREATE TABLE
. - In linea utilizzando lo strumento a riga di comando bq.
- Crea un file di schema in formato JSON.
- Richiama il metodo
jobs.insert
e configura la proprietàschema
nella configurazione del jobload
. - Chiama il metodo
tables.insert
e configura lo schema nella risorsa della tabella utilizzando la proprietàschema
.
Dopo aver caricato i dati o creato una tabella vuota, puoi modificare la definizione dello schema della tabella.
Componenti dello schema
Quando specifichi uno schema di tabella, devi fornire il nome e il tipo di dati di ogni colonna. Puoi anche fornire la descrizione, la modalità e il valore predefinito di una colonna.
Nomi delle colonne
Il nome di una colonna può contenere lettere (a-z, A-Z), numeri (0-9) o trattini bassi (_) e deve iniziare con una lettera o un trattino basso. Se utilizzi nomi di colonna flessibili, BigQuery supporta l'inizio del nome di una colonna con un numero. Presta attenzione quando avvii colonne con un numero, poiché l'utilizzo di nomi di colonna flessibili con l'API BigQuery Storage Read o l'API BigQuery Storage Write richiede una gestione speciale. Per ulteriori informazioni sul supporto dei nomi delle colonne flessibili, consulta i nomi delle colonne flessibili.
I nomi delle colonne possono avere una lunghezza massima di 300 caratteri. I nomi di colonna non possono utilizzare nessuno dei seguenti prefissi:
_TABLE_
_FILE_
_PARTITION
_ROW_TIMESTAMP
__ROOT__
_COLIDENTIFIER
Non sono consentiti nomi di colonna duplicati anche se le maiuscole e le minuscole sono diverse. Ad esempio, una
colonna denominata Column1
è considerata identica a una colonna denominata column1
. Per ulteriori informazioni sulle regole di denominazione delle colonne, consulta Nomi delle colonne nel riferimento di GoogleSQL.
Se il nome di una tabella (ad esempio test
) è uguale a uno dei nomi di colonna
(ad esempio test
), l'espressione SELECT
interpreta la colonna test
come
una STRUCT
contenente tutte le altre colonne della tabella. Per evitare questo conflitto, usa
uno dei seguenti metodi:
Evita di utilizzare lo stesso nome per una tabella e le relative colonne.
Assegna alla tabella un alias diverso. Ad esempio, la seguente query assegna un alias di tabella
t
alla tabellaproject1.dataset.test
:SELECT test FROM project1.dataset.test AS t;
Includi il nome della tabella quando fai riferimento a una colonna. Ad esempio:
SELECT test.test FROM project1.dataset.test;
Nomi delle colonne flessibili
Hai maggiore flessibilità nella scelta dei nomi per le colonne, tra cui l'accesso esteso ai caratteri in lingue diverse dall'inglese e a simboli aggiuntivi.
I nomi di colonna flessibili supportano i seguenti caratteri:
- Qualsiasi lettera in qualsiasi lingua, come rappresentata dall'espressione regolare Unicode
\p{L}
. - Qualsiasi carattere numerico in qualsiasi lingua, come rappresentato dall'espressione regolare Unicode
\p{N}
. - Qualsiasi carattere di punteggiatura del connettore, inclusi i trattini bassi, come rappresentato dall'espressione regolare Unicode
\p{Pc}
. - Un trattino o un trattino come rappresentati dall'espressione regolare Unicode
\p{Pd}
. - Qualsiasi contrassegno destinato ad accompagnare un altro carattere come rappresentato dall'espressione regolare Unicode
\p{M}
. Ad esempio accenti, dieresi o riquadri di accompagnamento. - I seguenti caratteri speciali:
- La e commerciale (
&
) rappresentata dall'espressione regolare Unicode\u0026
. - Un segno di percentuale (
%
) come rappresentato dall'espressione regolare Unicode\u0025
. - Un segno di uguale (
=
) come rappresentato dall'espressione regolare Unicode\u003D
. - Un segno più (
+
) come rappresentato dall'espressione regolare Unicode\u002B
. - Due punti (
:
) come rappresentati dall'espressione regolare Unicode\u003A
. - Un apostrofo (
'
) come rappresentato dall'espressione regolare Unicode\u0027
. - Un segno di minore (
<
) come rappresentato dall'espressione regolare Unicode\u003C
. - Un segno di maggiore di (
>
) come rappresentato dall'espressione regolare Unicode\u003E
. - Un segno numerico (
#
) come rappresentato dall'espressione regolare Unicode\u0023
. - Una linea verticale (
|
) come rappresentata dall'espressione regolare Unicode\u007c
. - Spazio vuoto.
- La e commerciale (
I nomi di colonna flessibili non supportano i seguenti caratteri speciali:
- Un punto esclamativo (
!
) come rappresentato dall'espressione regolare Unicode\u0021
. - Una virgoletta (
"
) rappresentata dall'espressione regolare Unicode\u0022
. - Un simbolo del dollaro (
$
) come rappresentato dall'espressione regolare Unicode\u0024
. - Una parentesi aperta (
(
) come rappresentata dall'espressione regolare Unicode\u0028
. - Una parentesi chiusa (
)
) come rappresentata dall'espressione regolare Unicode\u0029
. - Un asterisco (
*
) come rappresentato dall'espressione regolare Unicode\u002A
. - Una virgola (
,
) come rappresentata dall'espressione regolare Unicode\u002C
. - Un punto (
.
) come rappresentato dall'espressione regolare Unicode\u002E
. - Una barra (
/
) come rappresentata dall'espressione regolare Unicode\u002F
. - Un punto e virgola (
;
) come rappresentato dall'espressione regolare Unicode\u003B
. - Un punto interrogativo (
?
) come rappresentato dall'espressione regolare Unicode\u003F
. - Un simbolo di chiocciola (
@
) come rappresentato dall'espressione regolare Unicode\u0040
. - Una parentesi quadra aperta (
[
) come rappresentata dall'espressione regolare Unicode\u005B
. - Una barra rovesciata (
\
) come rappresentata dall'espressione regolare Unicode\u005C
. - Una parentesi quadra chiusa (
]
) come rappresentata dall'espressione regolare Unicode\u005D
. - Un accento circonflesso (
^
) come rappresentato dall'espressione regolare Unicode\u005E
. - Un accento grave (
`
) come rappresentato dall'espressione regolare Unicode\u0060
. - Una parentesi graffa aperta {
{
) come rappresentata dall'espressione regolare Unicode\u007B
. - Una parentesi graffa chiusa (
}
) come rappresentata dall'espressione regolare Unicode\u007D
. - Una tilde (
~
) come rappresentata dall'espressione regolare Unicode\u007E
.
Per linee guida aggiuntive, consulta Nomi delle colonne.
I caratteri delle colonne espansi sono supportati sia dall'API BigQuery Storage Read che dall'API BigQuery Storage Write. Per utilizzare l'elenco espanso di caratteri Unicode con l'API BigQuery Storage Read, devi impostare un flag. Puoi utilizzare l'attributo displayName
per recuperare il nome della colonna. L'esempio seguente mostra come impostare un flag con il client Python:
from google.cloud.bigquery_storage import types
requested_session = types.ReadSession()
#set avro serialization options for flexible column.
options = types.AvroSerializationOptions()
options.enable_display_name_attribute = True
requested_session.read_options.avro_serialization_options = options
Per utilizzare l'elenco ampliato di caratteri Unicode con l'API BigQuery Storage Write, devi fornire lo schema con la notazione column_name
, a meno che non utilizzi l'oggetto writer JsonStreamWriter
. L'esempio seguente mostra come fornire
lo schema:
syntax = "proto2";
package mypackage;
// Source protos located in github.com/googleapis/googleapis
import "google/cloud/bigquery/storage/v1/annotations.proto";
message FlexibleSchema {
optional string item_name_column = 1
[(.google.cloud.bigquery.storage.v1.column_name) = "name-列"];
optional string item_description_column = 2
[(.google.cloud.bigquery.storage.v1.column_name) = "description-列"];
}
In questo esempio, item_name_column
e item_description_column
sono nomi segnaposto che devono essere conformi alla convenzione di denominazione per il buffer di protocollo. Tieni presente che le annotazioni column_name
hanno sempre la precedenza sui
nomi dei segnaposto.
- Per impostazione predefinita, il caricamento dei dati Parquet non supporta i nomi di colonna flessibili. Per registrarti a questa anteprima, compila il modulo di registrazione. Tieni presente che dopo la registrazione nell'anteprima, eventuali nomi di colonna non validi (ad esempio la confronto dei nomi di colonna) restituiscono un errore. Per i progetti non registrati, la richiesta di caricamento sostituisce i caratteri non validi con trattini bassi anziché restituire un errore.
- Il caricamento dei dati CSV utilizzando il rilevamento automatico dello schema non supporta i nomi di colonna flessibili per impostazione predefinita. Per registrarti a questa anteprima, compila il modulo di registrazione. Tieni presente che dopo la registrazione nell'anteprima, eventuali nomi di colonna non validi (ad esempio la confronto dei nomi di colonna) restituiscono un errore. Per i progetti non registrati, la richiesta di caricamento sostituisce i caratteri non validi con trattini bassi anziché restituire un errore.
I nomi di colonna Unicode non sono supportati dalle seguenti funzionalità di BigQuery:
Descrizioni delle colonne
Ogni colonna può includere una descrizione facoltativa. La descrizione è una stringa con una lunghezza massima di 1024 caratteri.
Valori predefiniti
Il valore predefinito di una colonna deve essere un valore letterale o una delle seguenti funzioni:
CURRENT_DATE
CURRENT_DATETIME
CURRENT_TIME
CURRENT_TIMESTAMP
GENERATE_UUID
RAND
SESSION_USER
ST_GEOGPOINT
Tipi di dati GoogleSQL
GoogleSQL ti consente di specificare i seguenti tipi di dati nello schema. Il tipo di dati è obbligatorio.
Nome | Tipo di dati | Descrizione |
---|---|---|
Numero intero | INT64 |
Valori numerici senza componenti frazionari |
Virgola mobile | FLOAT64 |
Valori numerici approssimativi con componenti frazionari |
Numerico | NUMERIC |
Valori numerici esatti con componenti frazionari |
BigNumeric | BIGNUMERIC |
Valori numerici esatti con componenti frazionari |
Booleano | BOOL |
TRUE o FALSE (senza distinzione tra maiuscole e minuscole) |
Stringa | STRING |
Dati dei caratteri a lunghezza variabile (Unicode) |
Byte | BYTES |
Dati binari a lunghezza variabile |
Date | DATE |
Una data di calendario logico |
Data/Ora | DATETIME |
Un anno, un mese, un giorno, un'ora, un minuto, un secondo e un secondo |
Ora | TIME |
Un'ora, indipendentemente da una data specifica |
Timestamp | TIMESTAMP |
Un momento specifico assoluto con una precisione in microsecondi |
Struct (record) | STRUCT |
Contenitore di campi ordinati, ciascuno con un tipo (obbligatorio) e un nome campo (facoltativo) |
Area geografica | GEOGRAPHY |
Un punto sulla superficie terrestre (un insieme di punti, linee e poligoni sullo sferoide di riferimento WGS84, con bordi geodetici) |
JSON | JSON |
Rappresenta JSON, un formato di interscambio dati leggero |
RANGE (anteprima) | RANGE |
Un intervallo di valori DATE , DATETIME o TIMESTAMP |
Per ulteriori informazioni sui tipi di dati in GoogleSQL, consulta Tipi di dati di GoogleSQL.
Puoi anche dichiarare un tipo di array quando esegui query sui dati. Per ulteriori informazioni, consulta Utilizzare gli array.
Modalità
BigQuery supporta le seguenti modalità per le colonne. La modalità è
facoltativa. Se la modalità non è specificata, il valore predefinito della colonna sarà NULLABLE
.
Modalità | Descrizione |
---|---|
Ammette valori Null | La colonna consente i valori NULL (valore predefinito) |
Obbligatorio | Valori non consentiti NULL |
Ripetuto | La colonna contiene un array di valori del tipo specificato |
Per ulteriori informazioni sulle modalità, consulta mode
nella TableFieldSchema
.
Modalità di arrotondamento
Quando una colonna è di tipo NUMERIC
o BIGNUMERIC
, puoi impostare
l'opzione della colonna rounding_mode
,
che determina in che modo i valori nella colonna vengono arrotondati quando scritti nella tabella. Puoi impostare l'opzione rounding_mode
su una colonna di primo livello o su un campo STRUCT
. Sono supportate le seguenti modalità di arrotondamento:
"ROUND_HALF_AWAY_FROM_ZERO"
: questa modalità (predefinita) arrotonda i casi a metà strada da zero."ROUND_HALF_EVEN"
: questa modalità arrotonda le richieste a metà strada alla cifra pari più vicina.
Non puoi impostare l'opzione rounding_mode
per una colonna di tipo NUMERIC
o BIGNUMERIC
. Per saperne di più su questi tipi, consulta
i tipi decimali.
Nell'esempio seguente viene creata una tabella e vengono inseriti i valori arrotondati in base alla modalità di arrotondamento della colonna:
CREATE TABLE mydataset.mytable ( x NUMERIC(5,2) OPTIONS (rounding_mode='ROUND_HALF_EVEN'), y NUMERIC(5,2) OPTIONS (rounding_mode='ROUND_HALF_AWAY_FROM_ZERO') ); INSERT mydataset.mytable (x, y) VALUES (NUMERIC "1.025", NUMERIC "1.025"), (NUMERIC "1.0251", NUMERIC "1.0251"), (NUMERIC "1.035", NUMERIC "1.035"), (NUMERIC "-1.025", NUMERIC "-1.025");
La tabella mytable
ha il seguente aspetto:
+-------+-------+ | x | y | +-------+-------+ | 1.02 | 1.03 | | 1.03 | 1.03 | | 1.04 | 1.04 | | -1.02 | -1.03 | +-------+-------+
Per ulteriori informazioni, consulta roundingMode
in
TableFieldSchema
.
Specifica gli schemi
Quando carichi i dati o crei una tabella vuota, puoi specificare lo schema della tabella utilizzando la console Google Cloud o lo strumento a riga di comando bq. La specifica di uno schema è supportata quando carichi file CSV e JSON (delimitato da nuova riga). Quando carichi i dati di esportazione Avro, Parquet, ORC, Firestore o i dati di esportazione Datastore, lo schema viene recuperato automaticamente dai dati di origine autodescritti.
Per specificare uno schema della tabella:
Console
Nella console Google Cloud, puoi specificare uno schema utilizzando l'opzione Aggiungi campo o Modifica come testo.
Nella console Google Cloud, apri la pagina BigQuery.
Nel riquadro Spazio di esplorazione, espandi il progetto e seleziona un set di dati.
Espandi l'opzione
Azioni e fai clic su Apri.Nel riquadro dei dettagli, fai clic su Crea tabella
.Nella pagina Crea tabella, nella sezione Origine, seleziona Tabella vuota.
Nella sezione Destinazione della pagina Crea tabella:
In Nome set di dati, scegli il set di dati appropriato
Nel campo Nome tabella, inserisci il nome della tabella che stai creando.
Verifica che l'opzione Tipo di tabella sia impostata su Tabella nativa.
Nella sezione Schema, inserisci la definizione di schema.
- Opzione 1: utilizza Aggiungi campo e specifica nome, tipo e modalità di ciascun campo.
- Opzione 2: fai clic su Modifica come testo e incolla lo schema sotto forma di array JSON. Quando utilizzi un array JSON, generi lo schema seguendo la stessa procedura utilizzata per creare un file di schema JSON.
Fai clic su Crea tabella.
SQL
Utilizza l'istruzione CREATE TABLE
.
Specifica lo schema utilizzando l'opzione colonna.
L'esempio seguente crea una nuova tabella denominata newtable
con le colonne
x, y, z di tipo numero intero, stringa e booleano:
Nella console Google Cloud, vai alla pagina BigQuery.
Nell'Editor query, inserisci la seguente istruzione:
CREATE TABLE IF NOT EXISTS mydataset.newtable (x INT64, y STRING, z BOOL) OPTIONS( description = 'My example table');
Fai clic su
Esegui.
Per ulteriori informazioni su come eseguire le query, consulta Eseguire una query interattiva.
bq
Fornisci lo schema incorporato nel formato field:data_type,field:data_type
utilizzando uno dei seguenti comandi:
- Se stai caricando i dati, usa il comando
bq load
. - Se stai creando una tabella vuota, utilizza il comando
bq mk
.
Quando specifichi lo schema nella riga di comando, non puoi includere i tipi RECORD
(STRUCT
) o RANGE
, non puoi includere una descrizione della colonna e non puoi specificare la modalità della colonna. Per impostazione predefinita, tutte le modalità sono NULLABLE
. Per
includere descrizioni, modalità, tipi RECORD
e tipi RANGE
, fornisci invece un
file di schema JSON.
Per caricare i dati in una tabella utilizzando una definizione di schema in linea, inserisci il comando load
e specifica il formato dei dati utilizzando il flag --source_format
.
Se carichi dati in una tabella di un progetto diverso da quello predefinito, includi l'ID progetto nel seguente formato:
project_id:dataset.table_name
.
(Facoltativo) Fornisci il flag --location
e imposta il valore sulla tua
località.
bq --location=location load \ --source_format=format \ project_id:dataset.table_name \ path_to_source \ schema
Sostituisci quanto segue:
location
: il nome della tua località. Il flag--location
è facoltativo. Ad esempio, se utilizzi BigQuery nella regione di Tokyo, puoi impostare il valore del flag suasia-northeast1
. Puoi impostare un valore predefinito per la località utilizzando il file.bigqueryrc.format
:NEWLINE_DELIMITED_JSON
oCSV
.project_id
: il tuo ID progetto.dataset
: il set di dati contenente la tabella in cui stai caricando i dati.table_name
: nome della tabella in cui vengono caricati i dati.path_to_source
: la posizione del file di dati CSV o JSON sulla tua macchina locale o in Cloud Storage.schema
: la definizione dello schema incorporato.
Esempio:
Inserisci il seguente comando per caricare i dati da un file CSV locale denominato
myfile.csv
in mydataset.mytable
nel tuo progetto predefinito. Lo schema è specificato in linea.
bq load \
--source_format=CSV \
mydataset.mytable \
./myfile.csv \
qtr:STRING,sales:FLOAT,year:STRING
Per ulteriori informazioni sul caricamento dei dati in BigQuery, consulta Introduzione al caricamento dei dati.
Per specificare una definizione di schema in linea quando crei una tabella vuota, inserisci il comando bq mk
con il flag --table
o -t
. Se stai creando una tabella in un progetto diverso da quello predefinito, aggiungi l'ID progetto al comando nel seguente formato: project_id:dataset.table
.
bq mk --table project_id:dataset.table schema
Sostituisci quanto segue:
project_id
: il tuo ID progetto.dataset
: un set di dati nel tuo progetto.table
: il nome della tabella che stai creando.schema
: una definizione di schema integrata.
Ad esempio, il seguente comando crea una tabella vuota denominata mytable
nel progetto predefinito. Lo schema è specificato in linea.
bq mk --table mydataset.mytable qtr:STRING,sales:FLOAT,year:STRING
Per scoprire di più sulla creazione di una tabella vuota, consulta Creazione di una tabella vuota con una definizione di schema.
C#
Per specificare lo schema di una tabella quando carichi dati in una tabella:
Per specificare uno schema quando crei una tabella vuota:
Go
Per specificare lo schema di una tabella quando carichi dati in una tabella:
Per specificare uno schema quando crei una tabella vuota:
Java
Per specificare lo schema di una tabella quando carichi dati in una tabella:
Per specificare uno schema quando crei una tabella vuota:
Python
Per specificare lo schema di una tabella quando carichi dati in una tabella, configura la proprietà LoadJobConfig.schema.
Per specificare uno schema quando crei una tabella vuota, configura la proprietà Table.schema.
Specificare un file di schema JSON
Se preferisci, puoi specificare lo schema utilizzando un file JSON anziché una definizione dello schema in linea. Un file di schema JSON è costituito da un array JSON che contiene quanto segue:
- Il nome della colonna
- Il tipo di dati della colonna.
- (Facoltativo) La modalità della colonna (se non specificata, la modalità predefinita è
NULLABLE
) - Facoltativo: i campi della colonna se è di tipo
STRUCT
- (Facoltativo) Descrizione della colonna
- Facoltativo: i tag di criteri della colonna, utilizzati per il controllo dell'accesso a livello di campo
- (Facoltativo) Lunghezza massima dei valori della colonna per i tipi
STRING
oBYTES
- (Facoltativo) La precisione
della colonna per i tipi
NUMERIC
oBIGNUMERIC
- (Facoltativo) Scala
della colonna per i tipi
NUMERIC
oBIGNUMERIC
- Facoltativo: la collazione
della colonna per i tipi
STRING
- (Facoltativo) Il valore predefinito della colonna
- (Facoltativo) La modalità di arrotondamento della colonna, se di tipo
NUMERIC
oBIGNUMERIC
Creazione di un file di schema JSON
Per creare un file di schema JSON, inserisci TableFieldSchema
per ogni colonna. I campi name
e type
sono obbligatori. Tutti gli altri campi sono facoltativi.
[ { "name": string, "type": string, "mode": string, "fields": [ { object (TableFieldSchema) } ], "description": string, "policyTags": { "names": [ string ] }, "maxLength": string, "precision": string, "scale": string, "collation": string, "defaultValueExpression": string, "roundingMode": string }, { "name": string, "type": string, ... } ]
Se la colonna è di tipo RANGE<T>
, utilizza il campo rangeElementType
per descrivere T
, dove T
deve essere DATE
, DATETIME
o TIMESTAMP
.
[ { "name": "duration", "type": "RANGE", "mode": "NULLABLE", "rangeElementType": { "type": "DATE" } } ]
L'array JSON è indicato dalle parentesi iniziale e finale []
. Ogni voce di colonna deve essere separata da una virgola: },
.
Per scrivere uno schema di tabella esistente in un file locale:
bq
bq show \ --schema \ --format=prettyjson \ project_id:dataset.table > path_to_file
Sostituisci quanto segue:
project_id
: il tuo ID progetto.dataset
: un set di dati nel tuo progetto.table
: il nome di uno schema di tabella esistente.path_to_file
: la posizione del file locale in cui stai scrivendo lo schema della tabella.
Python
Prima di provare questo esempio, segui le istruzioni di configurazione di Python disponibili nella guida rapida di BigQuery sull'utilizzo delle librerie client. Per saperne di più, consulta la documentazione di riferimento dell'API BigQuery Python.
Per eseguire l'autenticazione in BigQuery, configura Credenziali predefinite dell'applicazione. Per maggiori informazioni, consulta Configurare l'autenticazione per le librerie client.
Per scrivere un file JSON di schema da una tabella utilizzando la libreria client Python, chiama il metodo Client.schema_to_json.Puoi utilizzare il file di output come punto di partenza per il tuo file di schema JSON. Se utilizzi questo approccio, assicurati che il file contenga solo l'array JSON che rappresenta lo schema della tabella.
Ad esempio, il seguente array JSON rappresenta uno schema di tabella di base. Questo
schema ha tre colonne: qtr
(REQUIRED
STRING
), rep
(NULLABLE
STRING
)
e sales
(NULLABLE
FLOAT
).
[ { "name": "qtr", "type": "STRING", "mode": "REQUIRED", "description": "quarter" }, { "name": "rep", "type": "STRING", "mode": "NULLABLE", "description": "sales representative" }, { "name": "sales", "type": "FLOAT", "mode": "NULLABLE", "defaultValueExpression": "2.55" } ]
Utilizzare un file di schema JSON
Dopo aver creato il file JSON dello schema, puoi specificarlo utilizzando lo strumento a riga di comando bq. Non puoi utilizzare un file di schema con la console Google Cloud o l'API.
Fornisci il file dello schema:
- Se stai caricando i dati, usa il comando
bq load
. - Se stai creando una tabella vuota, utilizza il comando
bq mk
.
Quando fornisci un file di schema JSON, questo deve essere archiviato in una posizione leggibile a livello locale. Non puoi specificare un file di schema JSON archiviato in Cloud Storage o Google Drive.
Specificare un file di schema quando carichi i dati
Per caricare i dati in una tabella utilizzando una definizione di schema JSON:
bq
bq --location=location load \ --source_format=format \ project_id:dataset.table \ path_to_data_file \ path_to_schema_file
Sostituisci quanto segue:
location
: il nome della tua località. Il flag--location
è facoltativo. Ad esempio, se utilizzi BigQuery nella regione di Tokyo, puoi impostare il valore del flag suasia-northeast1
. Puoi impostare un valore predefinito per la località utilizzando il file.bigqueryrc.format
:NEWLINE_DELIMITED_JSON
oCSV
.project_id
: il tuo ID progetto.dataset
: il set di dati contenente la tabella in cui stai caricando i dati.table
: il nome della tabella in cui stai caricando i dati.path_to_data_file
: la posizione del file di dati CSV o JSON sulla tua macchina locale o in Cloud Storage.path_to_schema_file
: il percorso del file di schema sulla macchina locale.
Esempio:
Inserisci il seguente comando per caricare i dati da un file CSV locale denominato
myfile.csv
in mydataset.mytable
nel tuo progetto predefinito. Lo schema è specificato in myschema.json
nella directory attuale.
bq load --source_format=CSV mydataset.mytable ./myfile.csv ./myschema.json
Python
Prima di provare questo esempio, segui le istruzioni di configurazione di Python disponibili nella guida rapida di BigQuery sull'utilizzo delle librerie client. Per saperne di più, consulta la documentazione di riferimento dell'API BigQuery Python.
Per eseguire l'autenticazione in BigQuery, configura Credenziali predefinite dell'applicazione. Per maggiori informazioni, consulta Configurare l'autenticazione per le librerie client.
Per caricare uno schema di tabella da un file JSON utilizzando la libreria client Python, chiama il metodo schema_from_json.Specificare un file di schema durante la creazione di una tabella
Per creare una tabella vuota in un set di dati esistente utilizzando un file di schema JSON:
bq
bq mk --table project_id:dataset.table path_to_schema_file
Sostituisci quanto segue:
project_id
: il tuo ID progetto.dataset
: un set di dati nel tuo progetto.table
: il nome della tabella che stai creando.path_to_schema_file
: il percorso del file di schema sulla macchina locale.
Ad esempio, il comando seguente crea una tabella denominata mytable
in mydataset
nel progetto predefinito. Lo schema è specificato in myschema.json
nella directory corrente:
bq mk --table mydataset.mytable ./myschema.json
Python
Prima di provare questo esempio, segui le istruzioni di configurazione di Python disponibili nella guida rapida di BigQuery sull'utilizzo delle librerie client. Per saperne di più, consulta la documentazione di riferimento dell'API BigQuery Python.
Per eseguire l'autenticazione in BigQuery, configura Credenziali predefinite dell'applicazione. Per maggiori informazioni, consulta Configurare l'autenticazione per le librerie client.
Per caricare uno schema di tabella da un file JSON utilizzando la libreria client Python, chiama il metodo schema_from_json.Specificare uno schema nell'API
Specifica uno schema della tabella utilizzando l'API:
Per specificare uno schema quando carichi i dati, chiama il metodo
jobs.insert
e configura la proprietàschema
nella risorsaJobConfigurationLoad
.Per specificare uno schema quando crei una tabella, chiama il metodo
tables.insert
e configura la proprietàschema
nella risorsaTable
.
La specifica di uno schema mediante l'API è simile alla procedura per la creazione di un file di schema JSON.
Sicurezza della tabella
Per controllare l'accesso alle tabelle in BigQuery, consulta Introduzione ai controlli di accesso alle tabelle.
Passaggi successivi
- Scopri come specificare le colonne nidificate e ripetute in una definizione di schema.
- Scopri di più sul rilevamento automatico dello schema.
- Scopri di più sul caricamento di dati in BigQuery.
- Scopri di più su come creare e utilizzare le tabelle.