Caricamento di dati ORC da Cloud Storage
Questa pagina fornisce una panoramica del caricamento dei dati ORC da Cloud Storage in BigQuery.
ORC è un formato di dati open source orientato a colonne, ampiamente usato in Apache Hadoop all'interno dell'ecosistema Google Cloud.
Quando carichi dati ORC da Cloud Storage, puoi caricarli in un nuovo tabella o partizione oppure puoi aggiungere o sovrascrivere una tabella o della partizione di testo. Quando i dati vengono caricati in BigQuery, convertito in formato a colonne per Condensatore (formato di archiviazione di BigQuery).
Quando carichi i dati da Cloud Storage in una tabella BigQuery, il set di dati che contiene la tabella deve trovarsi nella stessa regione regionale come bucket Cloud Storage.
Per informazioni sul caricamento dei dati ORC da un file locale, vedi Caricare dati in BigQuery da un'origine dati locale.
Limitazioni
Quando carichi dati in: BigQuery da un bucket Cloud Storage:
- Se la località del set di dati è impostata su un valore diverso dall'area multiregionale
US
, il bucket Cloud Storage deve trovarsi nella stessa regione o contenuto nella stessa località (multiregionale) del set di dati. - BigQuery non garantisce la coerenza dei dati esterni fonti. Le modifiche ai dati sottostanti durante l'esecuzione di una query possono comportare comportamenti imprevisti.
- BigQuery non supporta Controllo delle versioni degli oggetti Cloud Storage. Se includi un numero di generazione nell'URI di Cloud Storage, il job di caricamento non riesce.
Prima di iniziare
Concedi ruoli IAM (Identity and Access Management) che concedono agli utenti le risorse necessarie autorizzazioni per eseguire ogni attività in questo documento e creare per archiviare i dati.
Autorizzazioni obbligatorie
Per caricare dati in BigQuery, devi disporre delle autorizzazioni IAM per eseguire un job di caricamento e caricare i dati nelle tabelle e nelle partizioni BigQuery. Se carichi dati da Cloud Storage, devi disporre anche delle autorizzazioni IAM per accedere al bucket che contiene i dati.
Autorizzazioni per caricare i dati in BigQuery
Per caricare i dati in una nuova tabella o partizione BigQuery oppure per aggiungere o sovrascrivere una tabella o una partizione esistente, devi disporre delle seguenti autorizzazioni IAM:
bigquery.tables.create
bigquery.tables.updateData
bigquery.tables.update
bigquery.jobs.create
Ciascuno dei seguenti ruoli IAM predefiniti include le autorizzazioni necessarie per caricare i dati in una tabella o una partizione BigQuery:
roles/bigquery.dataEditor
roles/bigquery.dataOwner
roles/bigquery.admin
(include l'autorizzazionebigquery.jobs.create
)bigquery.user
(include l'autorizzazionebigquery.jobs.create
)bigquery.jobUser
(include l'autorizzazionebigquery.jobs.create
)
Inoltre, se disponi dell'autorizzazione bigquery.datasets.create
, puoi creare e
aggiornare le tabelle utilizzando un job di caricamento nei set di dati che crei.
Per ulteriori informazioni su ruoli e autorizzazioni IAM in BigQuery, vedi Autorizzazioni e ruoli predefiniti.
Autorizzazioni per caricare i dati da Cloud Storage
Per ottenere le autorizzazioni necessarie per caricare i dati da un bucket Cloud Storage,
chiedi all'amministratore di concederti
Ruolo IAM Storage Admin (roles/storage.admin
) nel bucket.
Per saperne di più sulla concessione dei ruoli, consulta Gestire l'accesso.
Questo ruolo predefinito contiene le autorizzazioni necessarie per caricare i dati da un bucket Cloud Storage. Per vedere le autorizzazioni esatte obbligatorie, espandi la sezione Autorizzazioni obbligatorie:
Autorizzazioni obbligatorie
Per caricare i dati da un bucket Cloud Storage, sono necessarie le seguenti autorizzazioni:
-
storage.buckets.get
-
storage.objects.get
-
storage.objects.list (required if you are using a URI wildcard)
Potresti anche riuscire a ottenere queste autorizzazioni con ruoli personalizzati altri ruoli predefiniti.
Crea un set di dati
Crea un set di dati BigQuery per archiviare i tuoi dati.
Schemi ORC
Quando carichi file ORC in BigQuery, lo schema della tabella viene automaticamente dai dati di origine autodescrittivi. Quando BigQuery recupera lo schema dai dati di origine, viene utilizzato l'ultimo file in ordine alfabetico.
Ad esempio, hai i seguenti file ORC in Cloud Storage:
gs://mybucket/00/ a.orc z.orc gs://mybucket/01/ b.orc
L'esecuzione di questo comando nello strumento a riga di comando bq carica tutti i file (come
elenco separato da virgole) e lo schema deriva da mybucket/01/b.orc
:
bq load \ --source_format=ORC \ dataset.table \ "gs://mybucket/00/*.orc","gs://mybucket/01/*.orc"
Quando BigQuery rileva lo schema, alcuni tipi di dati ORC vengono
convertiti in tipi di dati BigQuery per renderli compatibili
Sintassi GoogleSQL. Tutti i campi nello schema rilevato sono
NULLABLE
Per ulteriori informazioni, vedi
Conversioni ORC.
Quando carichi più file ORC con schemi diversi, (con lo stesso nome e lo stesso livello nidificato) specificati in più campi gli schemi devono essere mappati allo stesso tipo di dati BigQuery convertito di ogni definizione di schema.
Per fornire uno schema per la creazione di tabelle esterne, impostareferenceFileSchemaUri
nell'API BigQuery o il parametro --reference_file_schema_uri
nello strumento a riga di comando bq
all'URL del file di riferimento.
Ad esempio, --reference_file_schema_uri="gs://mybucket/schema.orc"
.
Compressione ORC
BigQuery supporta i seguenti codec di compressione Contenuto del file ORC:
Zlib
Snappy
LZO
LZ4
I dati nei file ORC non rimangono compressi dopo essere stati caricati
in BigQuery. L'archiviazione dei dati viene riportata in byte logici o fisici
byte, a seconda
modello di fatturazione dello spazio di archiviazione del set di dati.
Per ottenere informazioni sull'utilizzo dello spazio di archiviazione, esegui una query
INFORMATION_SCHEMA.TABLE_STORAGE
visualizzazione.
Caricare dati ORC in una nuova tabella
Puoi caricare i dati ORC in una nuova tabella:
- Utilizzo della console Google Cloud
- Utilizzo del comando
bq load
dello strumento a riga di comando bq - Chiamata al metodo API
jobs.insert
e configurazione di un jobload
- Utilizzo delle librerie client
Per caricare dati ORC da Cloud Storage in un nuovo BigQuery tabella:
Console
Nella console Google Cloud, vai alla pagina BigQuery.
- Nel riquadro Explorer, espandi il progetto e seleziona un set di dati.
- Nella sezione Informazioni sul set di dati, fai clic su Crea tabella.
- Nel riquadro Crea tabella, specifica i seguenti dettagli:
- Nella sezione Origine, seleziona Google Cloud Storage nell'elenco Crea tabella da.
Poi segui questi passaggi:
- Seleziona un file dal bucket Cloud Storage o inserisci URI Cloud Storage. Non puoi includere più URI nella console Google Cloud, ma con i caratteri jolly sono supportati. Il bucket Cloud Storage deve trovarsi nello stesso posizione come il set di dati che contiene la tabella da creare, aggiungere o sovrascrivere.
- In Formato file, seleziona ORC.
- Nella sezione Destinazione, specifica i seguenti dettagli:
- In Set di dati, seleziona il set di dati in cui creare il tabella.
- Nel campo Tabella, inserisci il nome della tabella da creare.
- Verifica che il campo Tipo di tabella sia impostato su Tabella nativa.
- Nella sezione Schema non è necessaria alcuna azione. Lo schema è autodescritti nei file ORC.
- (Facoltativo) Specifica le impostazioni di partizione e clustering. Per ulteriori informazioni, vedi Creazione di tabelle partizionate e Creazione e utilizzo di tabelle in cluster.
- Fai clic su Opzioni avanzate ed esegui le seguenti operazioni:
- In Write preference (Preferenza di scrittura), lascia selezionata l'opzione Write if empty (Scrivi se vuoto). Questo crea una nuova tabella e carica i dati al suo interno.
- Se vuoi ignorare i valori in una riga che non sono presenti nello schema della tabella: Seleziona Valori sconosciuti.
- In Crittografia, fai clic su Chiave gestita dal cliente per utilizzare una Chiave Cloud Key Management Service. Se lasci l'impostazione Chiave gestita da Google, BigQuery cripta i dati at-rest.
- Fai clic su Crea tabella.
SQL
Utilizza la
LOAD DATA
Istruzione DDL.
L'esempio seguente carica un file ORC nella nuova tabella mytable
:
Nella console Google Cloud, vai alla pagina BigQuery.
Nell'editor query, inserisci la seguente istruzione:
LOAD DATA OVERWRITE mydataset.mytable FROM FILES ( format = 'ORC', uris = ['gs://bucket/path/file.orc']);
Fai clic su
Esegui.
Per ulteriori informazioni su come eseguire le query, consulta Eseguire una query interattiva.
bq
Usa il comando bq load
, specifica ORC come source_format
e includi un
URI Cloud Storage.
Puoi includere un singolo URI, un elenco di URI separati da virgole o un URI
contenente un carattere jolly.
(Facoltativo) Fornisci il flag --location
e imposta il valore su
località.
Altri flag facoltativi includono:
--time_partitioning_type
: abilita il partizionamento in base al tempo in una tabella e imposta il tipo di partizione. I valori possibili sonoHOUR
,DAY
,MONTH
eYEAR
. Questo flag è facoltativo quando crei partizionata in base a una colonnaDATE
,DATETIME
oTIMESTAMP
. La il tipo di partizione predefinito per il partizionamento basato sul tempo èDAY
. Non puoi modificare la specifica di partizionamento su una tabella esistente.--time_partitioning_expiration
: un numero intero che specifica (in secondi) quando occorre eliminare una partizione temporale. La scadenza valuta con la data UTC della partizione più il valore intero.--time_partitioning_field
: la colonnaDATE
oTIMESTAMP
utilizzata per una tabella partizionata. Se il partizionamento basato sul tempo è abilitato senza viene creata una tabella partizionata per data di importazione.--require_partition_filter
: quando è abilitata, questa opzione richiede agli utenti per includere una clausolaWHERE
che specifichi le partizioni su cui eseguire la query. La richiesta di un filtro di partizionamento può ridurre i costi e migliorare le prestazioni. Per ulteriori informazioni, vedi Esecuzione di query su tabelle partizionate.--clustering_fields
: un elenco separato da virgole di massimo quattro nomi di colonna utilizzato per creare una tabella in cluster.--destination_kms_key
: la chiave Cloud KMS per la crittografia dei file e i dati della tabella.Per saperne di più sulle tabelle partizionate, consulta:
Per ulteriori informazioni sulle tabelle in cluster, consulta:
Per ulteriori informazioni sulla crittografia delle tabelle, consulta:
Per caricare dati ORC in BigQuery, inserisci il seguente comando:
bq --location=location load \ --source_format=format \ dataset.table \ path_to_source
Dove:
- location è la tua posizione. Il flag
--location
è facoltativo. Ad esempio, se utilizzi BigQuery nella regione di Tokyo, puoi impostare il valore del flag suasia-northeast1
. Puoi impostare un valore predefinito per la località utilizzando il valore file.bigqueryrc. - format è pari a
ORC
. - dataset è un set di dati esistente.
- table è il nome della tabella in cui vengono caricati i dati.
- path_to_source ha ottenuto la qualificazione URI Cloud Storage oppure un elenco di URI separati da virgole. Caratteri jolly sono supportate.
Esempi:
Il seguente comando carica i dati da gs://mybucket/mydata.orc
in un
tabella denominata mytable
in mydataset
.
bq load \
--source_format=ORC \
mydataset.mytable \
gs://mybucket/mydata.orc
Il seguente comando carica i dati da gs://mybucket/mydata.orc
in un nuovo
tabella partizionata per data di importazione denominata mytable
in mydataset
.
bq load \
--source_format=ORC \
--time_partitioning_type=DAY \
mydataset.mytable \
gs://mybucket/mydata.orc
Il seguente comando carica i dati da gs://mybucket/mydata.orc
in un
tabella partizionata denominata mytable
in mydataset
. La tabella è partizionata
nella colonna mytimestamp
.
bq load \
--source_format=ORC \
--time_partitioning_field mytimestamp \
mydataset.mytable \
gs://mybucket/mydata.orc
Il seguente comando carica dati da più file in gs://mybucket/
in una tabella denominata mytable
in mydataset
. L'URI Cloud Storage utilizza un
carattere jolly.
bq load \
--source_format=ORC \
mydataset.mytable \
gs://mybucket/mydata*.orc
Il seguente comando carica dati da più file in gs://mybucket/
in una tabella denominata mytable
in mydataset
. Il comando include una virgola
elenco separato di URI di Cloud Storage con caratteri jolly.
bq load --autodetect \
--source_format=ORC \
mydataset.mytable \
"gs://mybucket/00/*.orc","gs://mybucket/01/*.orc"
API
Crea un job
load
che punti ai dati di origine in Cloud Storage.(Facoltativo) Specifica la tua località in la proprietà
location
nella sezionejobReference
di risorse di lavoro.La proprietà
source URIs
deve essere completamente idonea, nel formatogs://bucket/object
. Ogni URI può contenere un carattere "*" carattere jolly.Specifica il formato dei dati ORC impostando la proprietà
sourceFormat
suORC
.Per controllare lo stato del lavoro, chiama
jobs.get(job_id*)
, dove job_id è l'ID del job restituito dal richiesta.- Se
status.state = DONE
, il job è stato completato correttamente. - Se è presente la proprietà
status.errorResult
, la richiesta non è riuscita. e include informazioni che descrivono cosa non ha funzionato. Quando una richiesta non va a buon fine, non viene creata alcuna tabella e non vengono caricati dati. - Se il campo
status.errorResult
non è presente, il job è stato completato correttamente. anche se potrebbero essersi verificati alcuni errori non irreversibili, come problemi importando alcune righe. Gli errori non irreversibili sono elencati nel job restituito dell'oggettostatus.errors
.
- Se
Note API:
I job di caricamento sono atomici e coerenti, Se un job di caricamento non riesce, nessuno dei dati e, se un job di caricamento ha esito positivo, saranno disponibili tutti i dati.
Come best practice, genera un ID univoco e passalo come
jobReference.jobId
durante la chiamata ajobs.insert
per creare un job di caricamento. Questo è più efficace per gli errori di rete perché il client può eseguire il polling o riprova sull'ID job noto.Chiamare
jobs.insert
su un determinato ID job è idempotente. Puoi riprovare come tutte le volte che desideri per lo stesso ID job e al massimo una di queste operazioni eseguite correttamente.
C#
Prima di provare questo esempio, segui le istruzioni per la configurazione di C# nel Guida rapida di BigQuery con librerie client. Per ulteriori informazioni, consulta API C# BigQuery documentazione di riferimento.
Per eseguire l'autenticazione su BigQuery, configura Credenziali predefinite dell'applicazione. Per ulteriori informazioni, vedi Configura l'autenticazione per le librerie client.
Vai
Prima di provare questo esempio, segui le istruzioni per la configurazione di Go nel Guida rapida di BigQuery con librerie client. Per ulteriori informazioni, consulta API Go BigQuery documentazione di riferimento.
Per eseguire l'autenticazione su BigQuery, configura Credenziali predefinite dell'applicazione. Per ulteriori informazioni, vedi Configura l'autenticazione per le librerie client.
Java
Node.js
Prima di provare questo esempio, segui le istruzioni per la configurazione di Node.js nel Guida rapida di BigQuery con librerie client. Per ulteriori informazioni, consulta API Node.js BigQuery documentazione di riferimento.
Per eseguire l'autenticazione su BigQuery, configura Credenziali predefinite dell'applicazione. Per ulteriori informazioni, vedi Configura l'autenticazione per le librerie client.
PHP
Prima di provare questo esempio, segui le istruzioni per la configurazione di PHP nel Guida rapida di BigQuery con librerie client. Per ulteriori informazioni, consulta API PHP BigQuery documentazione di riferimento.
Per eseguire l'autenticazione su BigQuery, configura Credenziali predefinite dell'applicazione. Per ulteriori informazioni, vedi Configura l'autenticazione per le librerie client.
Python
Prima di provare questo esempio, segui le istruzioni per la configurazione di Python nel Guida rapida di BigQuery con librerie client. Per ulteriori informazioni, consulta API Python BigQuery documentazione di riferimento.
Per eseguire l'autenticazione su BigQuery, configura Credenziali predefinite dell'applicazione. Per ulteriori informazioni, vedi Configura l'autenticazione per le librerie client.
Ruby
Prima di provare questo esempio, segui le istruzioni per la configurazione di Ruby nel Guida rapida di BigQuery con librerie client. Per ulteriori informazioni, consulta API Ruby BigQuery documentazione di riferimento.
Per eseguire l'autenticazione su BigQuery, configura Credenziali predefinite dell'applicazione. Per ulteriori informazioni, vedi Configura l'autenticazione per le librerie client.
Aggiunta o sovrascrittura di una tabella con dati ORC
Puoi caricare dati aggiuntivi in una tabella dai file di origine o aggiungendo i risultati della query.
Nella console Google Cloud, utilizza l'opzione Preferenza di scrittura per specificare quale azione eseguire quando carichi i dati da un file di origine o da una query o il risultato finale.
Quando carichi dati aggiuntivi in una tabella, hai a disposizione le seguenti opzioni:
Opzione della console | flag strumento bq | Proprietà API BigQuery | Descrizione |
---|---|---|---|
Scrivi se vuota | Non supportata | WRITE_EMPTY |
Scrive i dati solo se la tabella è vuota. |
Aggiungi a tabella | --noreplace o --replace=false ; se
--[no]replace non è specificato. Il valore predefinito è Aggiungi |
WRITE_APPEND |
(valore predefinito) Aggiunge i dati alla fine della tabella. |
Sovrascrivi tabella | --replace o --replace=true |
WRITE_TRUNCATE |
Cancella tutti i dati esistenti in una tabella prima di scrivere i nuovi dati. Questa azione elimina anche lo schema della tabella, la sicurezza a livello di riga e rimuove eventuali Chiave Cloud KMS. |
Se carichi i dati in una tabella esistente, il job di caricamento può aggiungere i dati o sovrascrivere la tabella.
Puoi aggiungere o sovrascrivere una tabella:
- Utilizzo della console Google Cloud
- Utilizzo del comando
bq load
dello strumento a riga di comando bq - Chiamata al metodo API
jobs.insert
e configurazione di un jobload
- Utilizzo delle librerie client
Per aggiungere o sovrascrivere una tabella con dati ORC:
Console
Nella console Google Cloud, vai alla pagina BigQuery.
- Nel riquadro Explorer, espandi il progetto e seleziona un set di dati.
- Nella sezione Informazioni sul set di dati, fai clic su Crea tabella.
- Nel riquadro Crea tabella, specifica i seguenti dettagli:
- Nella sezione Origine, seleziona Google Cloud Storage nell'elenco Crea tabella da.
Poi segui questi passaggi:
- Seleziona un file dal bucket Cloud Storage o inserisci URI Cloud Storage. Non puoi includere più URI nella console Google Cloud, ma con i caratteri jolly sono supportati. Il bucket Cloud Storage deve trovarsi nello stesso posizione come il set di dati che contiene la tabella da creare, aggiungere o sovrascrivere.
- In Formato file, seleziona ORC.
- Nella sezione Destinazione, specifica i seguenti dettagli:
- In Set di dati, seleziona il set di dati in cui creare il tabella.
- Nel campo Tabella, inserisci il nome della tabella da creare.
- Verifica che il campo Tipo di tabella sia impostato su Tabella nativa.
- Nella sezione Schema non è necessaria alcuna azione. Lo schema è autodescritti nei file ORC.
- (Facoltativo) Specifica le impostazioni di partizione e clustering. Per ulteriori informazioni, vedi Creazione di tabelle partizionate e Creazione e utilizzo di tabelle in cluster. Tu impossibile convertire una tabella in una tabella partizionata o in cluster aggiungendo o sovrascriverlo. La console Google Cloud non supporta aggiungendo o sovrascrivendo tabelle partizionate o in cluster in un job di caricamento.
- Fai clic su Opzioni avanzate ed esegui le seguenti operazioni:
- In Preferenza di scrittura, scegli Aggiungi alla tabella o Sovrascrivi dalla tabella.
- Se vuoi ignorare i valori in una riga che non sono presenti nello schema della tabella: Seleziona Valori sconosciuti.
- In Crittografia, fai clic su Chiave gestita dal cliente per utilizzare una Chiave Cloud Key Management Service. Se lasci l'impostazione Chiave gestita da Google, BigQuery cripta i dati at-rest.
- Fai clic su Crea tabella.
SQL
Utilizza la
LOAD DATA
Istruzione DDL.
L'esempio seguente aggiunge un file ORC alla tabella mytable
:
Nella console Google Cloud, vai alla pagina BigQuery.
Nell'editor query, inserisci la seguente istruzione:
LOAD DATA INTO mydataset.mytable FROM FILES ( format = 'ORC', uris = ['gs://bucket/path/file.orc']);
Fai clic su
Esegui.
Per ulteriori informazioni su come eseguire le query, consulta Eseguire una query interattiva.
bq
Inserisci il comando bq load
con il flag --replace
per sovrascrivere
tabella. Utilizza il flag --noreplace
per aggiungere dati alla tabella. Se non è presente alcun flag
specificato, il valore predefinito è l'aggiunta di dati. Fornisci il flag --source_format
e lo imposti su ORC
. Perché gli schemi ORC vengono recuperati automaticamente
dai dati di origine autodescrittivi, non è necessario fornire uno schema
definizione di Kubernetes.
(Facoltativo) Fornisci il flag --location
e imposta il valore su
località.
Altri flag facoltativi includono:
--destination_kms_key
: la chiave Cloud KMS per la crittografia dei file e i dati della tabella.
bq --location=location load \ --[no]replace \ --source_format=format \ dataset.table \ path_to_source
Dove:
- location è la tua località.
Il flag
--location
è facoltativo. Puoi impostare un valore predefinito per posizione utilizzando file.bigqueryrc. - format è pari a
ORC
. - dataset è un set di dati esistente.
- table è il nome della tabella in cui vengono caricati i dati.
- path_to_source ha ottenuto la qualificazione URI Cloud Storage oppure un elenco di URI separati da virgole. Caratteri jolly sono supportate.
Esempi:
Il comando seguente carica i dati da gs://mybucket/mydata.orc
e
sovrascrive una tabella denominata mytable
in mydataset
.
bq load \
--replace \
--source_format=ORC \
mydataset.mytable \
gs://mybucket/mydata.orc
Il comando seguente carica i dati da gs://mybucket/mydata.orc
e
accoda dati a una tabella denominata mytable
in mydataset
.
bq load \
--noreplace \
--source_format=ORC \
mydataset.mytable \
gs://mybucket/mydata.orc
Per informazioni sull'aggiunta e la sovrascrittura delle tabelle partizionate mediante a riga di comando bq, consulta: Aggiunta e sovrascrittura di tabella partizionata partizionate.
API
Crea un job
load
che punti ai dati di origine in Cloud Storage.(Facoltativo) Specifica località nella proprietà
location
nella sezionejobReference
del risorse di lavoro.La proprietà
source URIs
devono essere pienamente qualificati, nel formatogs://bucket/object
. Puoi Includere più URI sotto forma di elenco separato da virgole. Tieni presente che caratteri jolly sono .Specifica il formato dei dati impostando il parametro
configuration.load.sourceFormat
aORC
.Specifica la preferenza di scrittura impostando il parametro
configuration.load.writeDisposition
proprietà aWRITE_TRUNCATE
oWRITE_APPEND
.
C#
Prima di provare questo esempio, segui le istruzioni per la configurazione di C# nel Guida rapida di BigQuery con librerie client. Per ulteriori informazioni, consulta API C# BigQuery documentazione di riferimento.
Per eseguire l'autenticazione su BigQuery, configura Credenziali predefinite dell'applicazione. Per ulteriori informazioni, vedi Configura l'autenticazione per le librerie client.
Vai
Prima di provare questo esempio, segui le istruzioni per la configurazione di Go nel Guida rapida di BigQuery con librerie client. Per ulteriori informazioni, consulta API Go BigQuery documentazione di riferimento.
Per eseguire l'autenticazione su BigQuery, configura Credenziali predefinite dell'applicazione. Per ulteriori informazioni, vedi Configura l'autenticazione per le librerie client.
Java
Node.js
Prima di provare questo esempio, segui le istruzioni per la configurazione di Node.js nel Guida rapida di BigQuery con librerie client. Per ulteriori informazioni, consulta API Node.js BigQuery documentazione di riferimento.
Per eseguire l'autenticazione su BigQuery, configura Credenziali predefinite dell'applicazione. Per ulteriori informazioni, vedi Configura l'autenticazione per le librerie client.
PHP
Prima di provare questo esempio, segui le istruzioni per la configurazione di PHP nel Guida rapida di BigQuery con librerie client. Per ulteriori informazioni, consulta API PHP BigQuery documentazione di riferimento.
Per eseguire l'autenticazione su BigQuery, configura Credenziali predefinite dell'applicazione. Per ulteriori informazioni, vedi Configura l'autenticazione per le librerie client.
Python
Prima di provare questo esempio, segui le istruzioni per la configurazione di Python nel Guida rapida di BigQuery con librerie client. Per ulteriori informazioni, consulta API Python BigQuery documentazione di riferimento.
Per eseguire l'autenticazione su BigQuery, configura Credenziali predefinite dell'applicazione. Per ulteriori informazioni, vedi Configura l'autenticazione per le librerie client.
Per sostituire le righe in una tabella esistente, imposta LoadJobConfig.write_disposition proprietà al WRITE_TRUNCATE.Ruby
Prima di provare questo esempio, segui le istruzioni per la configurazione di Ruby nel Guida rapida di BigQuery con librerie client. Per ulteriori informazioni, consulta API Ruby BigQuery documentazione di riferimento.
Per eseguire l'autenticazione su BigQuery, configura Credenziali predefinite dell'applicazione. Per ulteriori informazioni, vedi Configura l'autenticazione per le librerie client.
Carica i dati ORC partizionati in hive
BigQuery supporta il caricamento di dati ORC partizionati hive archiviati su Cloud Storage e compila le colonne di partizionamento hive come colonne in nella tabella gestita da BigQuery di destinazione. Per ulteriori informazioni, vedi Caricamento di dati partizionati esternamente da Cloud Storage.
Conversioni ORC
BigQuery converte i tipi di dati ORC nei seguenti Tipi di dati BigQuery:
Tipi primitivi
Tipo di dati BigQuery | Note | |
---|---|---|
boolean | BOOLEANO | |
byte | INTEGER | |
corti | INTEGER | |
int | INTEGER | |
Lungo | INTEGER | |
numero in virgola mobile | FLOAT | |
double | FLOAT | |
string | STRINGA | Solo UTF-8 |
Varchar | STRINGA | Solo UTF-8 |
carattere | STRINGA | Solo UTF-8 |
binario | BYTES | |
data | DATA | Tentativo di conversione di qualsiasi valore nei dati ORC inferiore a
-719162 giorni o più di 2932896 giorni restituisce un errore invalid date
value . Se ciò ti riguarda, contatta
Assistenza per
valori non supportati convertiti al valore minimo di BigQuery
di 0001-01-01 o del valore massimo di 9999-12-31 ,
in base alle necessità. |
timestamp | TIMESTAMP |
ORC supporta la precisione in nanosecondi, ma BigQuery converte i valori inferiori al microsecondo in microsecondi quando i dati vengono lette. Tentativo di conversione di qualsiasi valore nei dati ORC inferiore a
-719162 giorni o più di 2932896 giorni restituisce un errore |
decimal | NUMERIC, BIGNUMERIC o STRING | Vedi Tipo decimale. |
Tipo decimale
Decimal
tipi logici possono essere convertiti in NUMERIC
, BIGNUMERIC
o STRING
tipi. Il tipo convertito dipende
sui parametri di precisione e scala del tipo logico decimal
e
tipi di target decimali specificati. Specifica il tipo di target decimale come segue:
- Per un job di caricamento utilizzando la proprietà
API
jobs.insert
: utilizzaJobConfigurationLoad.decimalTargetTypes
. - Per un job di caricamento utilizzando la proprietà
bq load
nello strumento a riga di comando bq: usa--decimal_target_types
flag. - Per una query su una tabella con origini esterne:
usa
ExternalDataConfiguration.decimalTargetTypes
. - Per una tabella esterna permanente creata con DDL:
utilizza l'opzione
decimal_target_types
.
Tipi complessi
Tipo di dati BigQuery | Note | |
---|---|---|
struct | RECORD |
|
mappa<K,V> | RECORD | Una mappa ORC<K,V> viene convertito in un RECORD ripetuto che contiene due campi: una chiave dello stesso tipo di dati del K e un valore dello stesso tipo di dati di V. Entrambi sono NULLABLE. |
list | campi ripetuti | Gli elenchi nidificati e di mappe non sono supportati. |
unione | RECORD |
|
Nomi delle colonne
Il nome di una colonna può contenere lettere (a-z, A-Z), numeri (0-9) o trattini bassi (_) e deve iniziare con una lettera o un trattino basso. Se utilizzi la colonna flessibile , BigQuery supporta l'inizio del nome della colonna con un numero. Presta attenzione quando inizi colonne con un numero, poiché utilizzi l'impostazione i nomi delle colonne con l'API BigQuery Storage Read o L'API BigQuery StorageWrite richiede una gestione speciale. Per ulteriori informazioni supporto flessibile per nomi di colonna, consulta nomi di colonne flessibili.
I nomi delle colonne hanno una lunghezza massima di 300 caratteri. I nomi di colonna non possono utilizzare nessuno dei seguenti prefissi:
_TABLE_
_FILE_
_PARTITION
_ROW_TIMESTAMP
__ROOT__
_COLIDENTIFIER
Non sono consentiti nomi di colonna duplicati anche se l'uso delle maiuscole e delle minuscole è diverso. Ad esempio, un
una colonna denominata Column1
è considerata identica a una colonna denominata column1
. A
per ulteriori informazioni sulle regole di denominazione delle colonne, consulta Colonna
nomi utente nel
Riferimento GoogleSQL.
Se il nome di una tabella (ad esempio test
) corrisponde al nome di una delle sue colonne
(ad esempio, test
), l'espressione SELECT
interpreta la colonna test
come
un STRUCT
contenente tutte le altre colonne della tabella. Per evitare questa collisione, utilizza
uno dei seguenti metodi:
Evita di utilizzare lo stesso nome per una tabella e le sue colonne.
Assegna alla tabella un alias diverso. Ad esempio, la seguente query assegna un alias di tabella
t
per la tabellaproject1.dataset.test
:SELECT test FROM project1.dataset.test AS t;
Includi il nome della tabella quando fai riferimento a una colonna. Ad esempio:
SELECT test.test FROM project1.dataset.test;
Nomi delle colonne flessibili
Hai maggiore flessibilità nel assegnare un nome alle colonne, incluso l'accesso esteso ai caratteri in lingue diverse dall'inglese nonché a simboli aggiuntivi.
I nomi delle colonne flessibili supportano i seguenti caratteri:
- Qualsiasi lettera in qualsiasi lingua, rappresentata dall'espressione regolare Unicode
\p{L}
- Qualsiasi carattere numerico in qualsiasi lingua, come rappresentato dalla regola Unicode
espressione
\p{N}
- Qualsiasi carattere di punteggiatura del connettore, inclusi i trattini bassi, come rappresentato
dall'espressione regolare Unicode
\p{Pc}
- Un trattino o un trattino come rappresentato dall'espressione regolare Unicode.
\p{Pd}
- Qualsiasi marchio destinato ad accompagnare un altro carattere, come rappresentato dal
Espressione regolare Unicode
\p{M}
Ad esempio, accenti, dieresi o contenuti che includono riquadri. - I seguenti caratteri speciali:
- Una e commerciale (
&
) rappresentata dalla regola Unicode dell'espressione\u0026
. - Un segno di percentuale (
%
) come rappresentato dalla regola Unicode dell'espressione\u0025
. - Un segno di uguale (
=
) come rappresentato dalla regola Unicode dell'espressione\u003D
. - Un segno più (
+
) come rappresentato dalla regola Unicode dell'espressione\u002B
. - I due punti (
:
) come rappresentati dalla regola Unicode dell'espressione\u003A
. - Un apostrofo (
'
) come rappresentato dalla regola Unicode dell'espressione\u0027
. - Un segno di minore (
<
) rappresentato dalla regola Unicode dell'espressione\u003C
. - Un segno di maggiore (
>
) rappresentato dalla regola Unicode dell'espressione\u003E
. - Un segno numerico (
#
) come rappresentato dalla regola Unicode dell'espressione\u0023
. - Una linea verticale (
|
) rappresentata dalla barra Unicode regolare dell'espressione\u007c
. - Spazio vuoto.
- Una e commerciale (
I nomi delle colonne flessibili non supportano i seguenti caratteri speciali:
- Un punto esclamativo (
!
) come rappresentato dal simbolo Unicode dell'espressione\u0021
. - Una virgoletta (
"
) rappresentata dalla regola Unicode dell'espressione\u0022
. - Un simbolo del dollaro (
$
) rappresentato dalla regola Unicode dell'espressione\u0024
. - Una parentesi aperta (
(
) rappresentata dalla regolare Unicode dell'espressione\u0028
. - Una parentesi chiusa (
)
) rappresentata dalla regolare Unicode dell'espressione\u0029
. - Un asterisco (
*
) come rappresentato dalla regola Unicode dell'espressione\u002A
. - Una virgola (
,
) come rappresentata dal valore regolare Unicode dell'espressione\u002C
. - Un punto (
.
) come rappresentato dalla regola Unicode dell'espressione\u002E
. - Una barra (
/
) rappresentata dalla barra Unicode regolare dell'espressione\u002F
. - Un punto e virgola (
;
) come rappresentato dalla regola Unicode dell'espressione\u003B
. - Un punto interrogativo (
?
) come rappresentato dalla regola Unicode dell'espressione\u003F
. - Una chiocciola (
@
) come rappresentata dalla forma regolare Unicode dell'espressione\u0040
. - Una parentesi quadra aperta (
[
) rappresentata dalla barra Unicode regolare dell'espressione\u005B
. - Una barra rovesciata (
\
) rappresentata dalla barra Unicode regolare dell'espressione\u005C
. - Una parentesi quadra chiusa (
]
) rappresentata dalla barra Unicode regolare dell'espressione\u005D
. - Un accento circonflesso (
^
) come rappresentato dalla regolare Unicode dell'espressione\u005E
. - Un accento grave (
`
) come rappresentato dalla regola Unicode dell'espressione\u0060
. - Una parentesi graffa aperta {
{
) rappresentata dalla regola Unicode dell'espressione\u007B
. - Una parentesi graffa chiusa (
}
) rappresentata dalla regola Unicode dell'espressione\u007D
. - Una tilde (
~
) rappresentata dall'espressione regolare Unicode\u007E
.
Per ulteriori linee guida, vedi Nomi delle colonne.
I caratteri della colonna espansi sono supportati dall'API BigQuery Storage Read
e l'API BigQuery StorageWrite. Per utilizzare l'elenco espanso di caratteri Unicode
con l'API BigQuery Storage Read, devi impostare un flag. Puoi utilizzare lo
displayName
per recuperare il nome della colonna. Nell'esempio che segue
mostra come impostare un flag con il client Python:
from google.cloud.bigquery_storage import types
requested_session = types.ReadSession()
#set avro serialization options for flexible column.
options = types.AvroSerializationOptions()
options.enable_display_name_attribute = True
requested_session.read_options.avro_serialization_options = options
Per usare l'elenco espanso di caratteri Unicode con l'API BigQuery StorageWrite,
devi fornire lo schema con la notazione column_name
, a meno che non utilizzi
l'oggetto writer JsonStreamWriter
. L'esempio seguente mostra come
indica lo schema:
syntax = "proto2";
package mypackage;
// Source protos located in github.com/googleapis/googleapis
import "google/cloud/bigquery/storage/v1/annotations.proto";
message FlexibleSchema {
optional string item_name_column = 1
[(.google.cloud.bigquery.storage.v1.column_name) = "name-列"];
optional string item_description_column = 2
[(.google.cloud.bigquery.storage.v1.column_name) = "description-列"];
}
In questo esempio, item_name_column
e item_description_column
sono
nomi segnaposto che devono essere conformi alle
denominazione del buffer di protocollo
convenzione. Tieni presente che le annotazioni column_name
hanno sempre la precedenza sulle
i nomi dei segnaposto.
- Il caricamento dei dati Parquet non supporta nomi di colonne flessibili per impostazione predefinita. Per iscriverti a questa anteprima, completa la modulo di registrazione. Tieni presente che dopo la registrazione all'anteprima, eventuali nomi di colonna non validi (ad esempio, le regole di confronto dei nomi di colonna) restituiscono un errore. Per i progetti non registrati, la richiesta di caricamento sostituisce i caratteri non validi con trattini bassi che restituisce un errore.
- Caricamento dei dati CSV utilizzando il rilevamento automatico dello schema non supporta nomi di colonne flessibili per impostazione predefinita. Per iscriverti a questa anteprima, completa la modulo di registrazione. Tieni presente che, dopo la registrazione all'anteprima, eventuali nomi di colonna non validi (ad esempio, regole di confronto dei nomi di colonna) restituiscono un errore. Per i progetti non registrata, la richiesta di caricamento sostituisce i caratteri non validi con trattini bassi anziché restituire un errore.
Limitazioni
I nomi delle colonne flessibili hanno un supporto limitato per le tabelle esterne. Colonna flessibile sono supportati solo per le tabelle Apache Iceberg e Delta Lake con colonna la mappatura dei nomi abilitata. Non sono supportate per altre tabelle esterne.
NULL
valori
Tieni presente che per i job di caricamento, BigQuery ignora gli elementi NULL
per il parametro
Tipo composto list
, altrimenti verrebbe tradotto in NULL
ARRAY
che non possono rimanere in una tabella (vedi
Tipi di dati per
dettagli).
Per ulteriori informazioni sui tipi di dati ORC, consulta Specifica Apache ORCTM v1.