Utilizza dati partizionati esternamente
Puoi utilizzare le tabelle esterne di BigQuery per eseguire query su dati partizionati nei seguenti datastore:
I dati partizionati esterni devono utilizzare un layout di partizionamento Hive predefinito ed essere in uno dei seguenti formati:
- Avro
- CSV
- JSON
- ORC
- Parquet
Per eseguire query su dati partizionati esternamente, devi creare una tabella BigLake o una tabella esterna. Consigliamo di utilizzare le tabelle BigLake perché consentono di applicare una sicurezza granulare a livello di tabella. Per informazioni su BigLake e sulle tabelle esterne, consulta Introduzione alle tabelle BigLake e Introduzione alle tabelle esterne.
Puoi abilitare il supporto del partizionamento Hive impostando le opzioni appropriate nel file di definizione della tabella. Per istruzioni sull'esecuzione di query sulle tabelle partizionate gestite, consulta Introduzione alle tabelle partizionate.
Schema di partizione
Le seguenti sezioni spiegano il layout Hive partizionato predefinito e le modalità di rilevamento dello schema supportate da BigQuery.
Per evitare di leggere i file non necessari e migliorare le prestazioni, puoi utilizzare i filtri predicati sulle chiavi di partizione nelle query.
Layout di dati supportati
Le chiavi di partizione Hive vengono visualizzate come colonne normali quando esegui query sui dati da Cloud Storage. I dati devono seguire un layout partizionato Hive predefinito. Ad esempio, i seguenti file seguono il layout predefinito: le coppie chiave-valore sono configurate come directory con il segno uguale (=) come separatore e le chiavi di partizione sono sempre nello stesso ordine:
gs://my_bucket/my_table/dt=2019-10-31/lang=en/my_filename
gs://my_bucket/my_table/dt=2018-10-31/lang=fr/my_filename
Il prefisso dell'URI di origine comune in questo esempio è gs://my_bucket/my_table
.
Layout di dati non supportati
Se i nomi delle chiavi di partizione non sono codificati nel percorso della directory, il rilevamento dello schema di partizione non riesce. Ad esempio, considera il seguente percorso, che non codifica i nomi delle chiavi di partizione:
gs://my_bucket/my_table/2019-10-31/en/my_filename
Anche i file in cui lo schema non è in un ordine coerente non riusciranno a essere rilevati. Ad esempio, considera i seguenti due file con codifiche delle chiavi di partizione invertite:
gs://my_bucket/my_table/dt=2019-10-31/lang=en/my_filename
gs://my_bucket/my_table/lang=fr/dt=2018-10-31/my_filename
Modalità di rilevamento
BigQuery supporta tre modalità di rilevamento dello schema di partizione Hive:
AUTO
: i nomi e i tipi di chiavi vengono rilevati automaticamente. È possibile rilevare i seguenti tipi:STRINGS
: i nomi delle chiavi vengono convertiti automaticamente nel tipoSTRING
.CUSTOM
: lo schema della chiave di partizione è codificato come specificato nel prefisso dell'URI di origine.
Schema della chiave di partizione personalizzata
Per utilizzare uno schema CUSTOM
, devi specificare lo schema nel campo Prefisso URI di origine. L'utilizzo di uno schema CUSTOM
consente di specificare il tipo per ogni chiave di partizione.
I valori devono essere analizzati validamente come il tipo specificato, altrimenti la query ha esito negativo.
Ad esempio, se imposti il flag source_uri_prefix
su
gs://my_bucket/my_table/{dt:DATE}/{val:STRING}
,
BigQuery tratta val
come STRING, dt
come DATE e
utilizza gs://my_bucket/my_table
come prefisso dell'URI di origine per i file corrispondenti.
Eliminazione delle partizioni
Quando possibile, BigQuery elimina le partizioni utilizzando predicati di query sulle chiavi di partizione. In questo modo BigQuery evita di leggere file non necessari, migliorando le prestazioni.
Predicare filtri sulle chiavi di partizione nelle query
Quando crei una tabella partizionata esternamente, puoi richiedere l'utilizzo di filtri dei predicati sulle chiavi di partizione abilitando l'opzione requirePartitionFilter
in HivePartitioningOptions.
Quando questa opzione è abilitata, i tentativi di eseguire query sulla tabella partizionata esternamente
senza specificare una clausola WHERE
producono il seguente errore:
Cannot query over table <table_name> without a filter over column(s)
<partition key names> that can be used for partition elimination
.
Limitazioni
- Il supporto del partizionamento Hive viene creato presupponendo un prefisso URI di origine comune per tutti gli URI che terminano immediatamente prima della codifica della partizione, come segue:
gs://BUCKET/PATH_TO_TABLE/
. - Si presume che la struttura di directory di una tabella partizionata Hive abbia le stesse chiavi di partizionamento nello stesso ordine, con un massimo di dieci chiavi di partizione per tabella.
- I dati devono seguire un layout di partizionamento Hive predefinito.
- Le chiavi di partizionamento Hive e le colonne nei file sottostanti non possono sovrapporsi.
L'assistenza è solo per GoogleSQL.
Si applicano tutte le limitazioni per l'esecuzione di query su origini dati esterne archiviate su Cloud Storage.
Passaggi successivi
- Scopri di più sulle tabelle partizionate.
- Scopri come utilizzare SQL in BigQuery.