Crea una tabella esterna di Bigtable
Questa pagina descrive come creare una tabella esterna permanente di BigQuery da utilizzare per eseguire query sui dati archiviati in Bigtable. L'esecuzione di query sui dati in Bigtable è disponibile in tutte le località Bigtable.
Prima di iniziare
Prima di creare una tabella esterna, raccogli alcune informazioni e assicurati di disporre dell'autorizzazione per creare la tabella.
Ruoli obbligatori
Per creare una tabella esterna da utilizzare per eseguire query sui dati Bigtable, devi essere un'entità nel ruolo Amministratore Bigtable (roles/bigtable.admin
) per l'istanza contenente la tabella di origine.
Devi anche disporre dell'autorizzazione bigquery.tables.create
Identity and Access Management (IAM) BigQuery.
Ciascuno dei seguenti ruoli predefiniti di Identity and Access Management include questa autorizzazione:
- Editor dati BigQuery (
roles/bigquery.dataEditor
) - Proprietario dati BigQuery (
roles/bigquery.dataOwner
) - Amministratore BigQuery (
roles/bigquery.admin
)
Se non sei un'entità in uno di questi ruoli, chiedi all'amministratore di concederti l'accesso o di creare la tabella esterna per te.
Per ulteriori informazioni sui ruoli e sulle autorizzazioni di Identity and Access Management in BigQuery, vedi Autorizzazioni e ruoli predefiniti. Per visualizzare le informazioni sulle autorizzazioni di Bigtable, vedi Controllo dell'accesso con Identity and Access Management.
crea o identifica un set di dati
Prima di creare una tabella esterna, devi creare un set di dati che contenga la tabella esterna. Puoi anche usare un set di dati esistente.
(Facoltativo) Designa o crea un cluster
Se prevedi di eseguire query frequentemente sugli stessi dati che gestiscono la tua applicazione di produzione, ti consigliamo di designare un cluster nell'istanza Bigtable da utilizzare esclusivamente per l'analisi BigQuery. Questo isola il traffico dal cluster o dai cluster che utilizzi per le letture e le scritture dell'applicazione. Per scoprire di più sulla replica e sulla creazione di istanze con più di un cluster, consulta Informazioni sulla replica.
Identifica o crea un profilo dell'app
Prima di creare una tabella esterna, decidi quale profilo app Bigtable deve utilizzare BigQuery per leggere i dati. Ti consigliamo di utilizzare un profilo dell'app da te designato per essere utilizzato solo con BigQuery.
Se nell'istanza Bigtable è presente un cluster dedicato all'accesso BigQuery, configura il profilo dell'app per utilizzare il routing a cluster singolo al cluster.
Per informazioni sul funzionamento dei profili app Bigtable, vedi Informazioni sui profili app. Per scoprire come creare un nuovo profilo app, vedi Creare e configurare profili app.
Recupera l'URI Bigtable
Per creare una tabella esterna per un'origine dati Bigtable, devi fornire l'URI Bigtable. Per recuperare l'URI di Bigtable, segui questi passaggi:
Apri la pagina Bigtable nella console.
Recupera i seguenti dettagli sull'origine dati Bigtable:
- Il tuo ID progetto
- ID istanza Bigtable
- L'ID del profilo dell'app Bigtable che prevedi di utilizzare
- Il nome della tabella Bigtable
Scrivi l'URI di Bigtable utilizzando il seguente formato, dove:
- project_id è il progetto contenente la tua istanza Bigtable
- instance_id è l'ID dell'istanza Bigtable
- (Facoltativo) app_profile è l'ID profilo dell'app che vuoi utilizzare
- table_name è il nome della tabella su cui stai eseguendo la query
https://googleapis.com/bigtable/projects/project_id/instances/instance_id[/appProfiles/app_profile]/tables/table_name
Crea tabelle esterne permanenti
Quando crei una tabella esterna permanente in BigQuery collegata a un'origine dati Bigtable, esistono due opzioni per specificare il formato della tabella esterna:
- Se utilizzi l'API o lo strumento a riga di comando bq, puoi creare un file di definizione della tabella che definisce lo schema e i metadati per la tabella esterna.
- Se utilizzi SQL, puoi utilizzare l'opzione
uri
dell'istruzioneCREATE EXTERNAL TABLE
per specificare la tabella Bigtable da cui eseguire il pull dei dati e l'opzionebigtable_options
per specificare lo schema della tabella.
I dati della tabella esterna non vengono archiviati nella tabella BigQuery. Poiché la tabella è permanente, puoi utilizzare i controlli dell'accesso a livello di set di dati per condividerla con altri utenti che hanno anche accesso all'origine dati Bigtable sottostante.
Per creare una tabella permanente, scegli uno dei seguenti metodi.
SQL
Puoi creare una tabella esterna permanente eseguendo l'istruzione DDL CREATE EXTERNAL TABLE
.
Devi specificare esplicitamente lo schema della tabella come parte delle opzioni dell'istruzione.
Nella console Google Cloud, vai alla pagina BigQuery.
Nell'editor query, inserisci la seguente istruzione:
CREATE EXTERNAL TABLE DATASET.NEW_TABLE OPTIONS ( format = 'CLOUD_BIGTABLE', uris = ['URI'], bigtable_options = BIGTABLE_OPTIONS );
Sostituisci quanto segue:
DATASET
: il set di dati in cui creare la tabella esterna di Bigtable.NEW_TABLE
: il nome della tabella esterna di Bigtable.URI
: l'URI della tabella Bigtable da utilizzare come origine dati. Questo URI deve seguire il formato descritto in Recupero dell'URI di Bigtable.BIGTABLE_OPTIONS
: lo schema della tabella Bigtable in formato JSON. Per un elenco delle opzioni di definizione delle tabelle Bigtable, consultaBigtableOptions
nel riferimento dell'API REST.
Fai clic su
Esegui.
Per ulteriori informazioni su come eseguire le query, vedi Eseguire una query interattiva.
Un'istruzione per creare una tabella Bigtable esterna potrebbe essere simile alla seguente:
CREATE EXTERNAL TABLE mydataset.BigtableTable
OPTIONS (
format = 'CLOUD_BIGTABLE',
uris = ['https://googleapis.com/bigtable/projects/myproject/instances/myBigtableInstance/tables/table1'],
bigtable_options =
"""
{
columnFamilies: [
{
"familyId": "familyId1",
"type": "INTEGER",
"encoding": "BINARY"
}
],
readRowkeyAsString: true
}
"""
);
bq
Puoi creare una tabella nello strumento a riga di comando bq utilizzando il comando bq mk
. Quando utilizzi lo strumento a riga di comando bq per creare una tabella collegata a un'origine dati esterna, identifichi lo schema della tabella utilizzando un file di definizione della tabella.
Utilizza il comando
bq mk
per creare una tabella permanente.bq mk \ --external_table_definition=DEFINITION_FILE \ DATASET.TABLE
Sostituisci quanto segue:
DEFINITION_FILE
: percorso del file di definizione della tabella sulla macchina locale.DATASET
: il nome del set di dati che contiene la tabella.TABLE
: il nome della tabella che stai creando.
API
Utilizza il metodo API tables.insert
e crea un ExternalDataConfiguration
nella risorsa Table
che passi.
Per la proprietà sourceUris
nella risorsa Table
,
specifica un solo URI Bigtable. Deve essere un URL HTTPS valido.
Per la proprietà sourceFormat
, specifica "BIGTABLE"
.
Java
Prima di provare questo esempio, segui le istruzioni per la configurazione di Java nella guida rapida di BigQuery sull'utilizzo delle librerie client. Per maggiori informazioni, consulta la documentazione di riferimento dell'API Java di BigQuery.
Per eseguire l'autenticazione su BigQuery, configura Credenziali predefinite dell'applicazione. Per maggiori informazioni, consulta Configurare l'autenticazione per le librerie client.
Esegui query su tabelle esterne
Per ulteriori informazioni, consulta Query sui dati di Bigtable.
Schema generato
Per impostazione predefinita, BigQuery espone i valori di una famiglia di colonne come un array di colonne e, al suo interno, un array di valori scritti con timestamp diversi. Questo schema conserva il layout naturale dei dati in Bigtable, ma le query SQL possono essere complesse. È possibile promuovere le colonne in campi secondari all'interno della famiglia di colonne padre e leggere solo il valore più recente di ogni cella. Rappresenta entrambi gli array nello schema predefinito come valori scalari.
Esempio
Stai memorizzando i profili utente per un social network fittizio. Un modello dei dati per
questa operazione potrebbe essere una famiglia di colonne profile
con singole
colonne per gender
, age
e email
:
rowkey | profile:gender| profile:age| profile:email
-------| --------------| -----------| -------------
alice | female | 30 | alice@gmail.com
Utilizzando lo schema predefinito, una query GoogleSQL per contare il numero di utenti di sesso maschile oltre i 30 è:
SELECT COUNT(1) FROM `dataset.table` OMIT RECORD IF NOT SOME(profile.column.name = "gender" AND profile.column.cell.value = "male") OR NOT SOME(profile.column.name = "age" AND INTEGER(profile.column.cell.value) > 30)
L'esecuzione di query sui dati è meno complessa se gender
e age
sono esposti come
campi secondari. Per esporli come campi secondari, elenca gender
e age
come colonne con nome
nella famiglia di colonne profile
quando definisci la tabella. Puoi anche indicare a BigQuery di esporre i valori più recenti di questa famiglia di colonne, perché in genere interessa solo l'ultimo valore (e possibilmente l'unico valore).
Dopo aver esposto le colonne come campi secondari, la query GoogleSQL per contare il numero di utenti di sesso maschile oltre i 30 è:
SELECT COUNT(1) FROM `dataset.table` WHERE profile.gender.cell.value="male" AND profile.age.cell.value > 30
Nota che a gender
e age
viene fatto riferimento direttamente come campi. La configurazione JSON per questa configurazione è:
"bigtableOptions": { "readRowkeyAsString": "true", "columnFamilies": [ { "familyId": "profile", "onlyReadLatest": "true", "columns": [ { "qualifierString": "gender", "type": "STRING" }, { "qualifierString": "age", "type": "INTEGER" } ] } ] }
Codifica dei valori
Bigtable archivia i dati come byte non elaborati, indipendentemente dalla codifica dei dati. Tuttavia, i valori in byte sono di uso limitato nell'analisi delle query SQL. Bigtable offre due tipi base di decodifica scalare: testo e HBase-binario.
Il formato testo presuppone che tutti i valori vengano memorizzati come stringhe di testo alfanumeriche.
Ad esempio, un numero intero 768 verrà memorizzato come stringa "768". La codifica binaria presuppone che siano stati utilizzati metodi della classe Bytes.toBytes
di HBase per codificare i dati e applica un metodo di decodifica appropriato.
Regioni e zone supportate
L'esecuzione di query sui dati in Bigtable è disponibile in tutte le zone Bigtable supportate. Puoi trovare l'elenco delle zone qui. Per le istanze multi-cluster, BigQuery instrada il traffico in base alle impostazioni del profilo di app Bigtable.
Limitazioni
Per informazioni sulle limitazioni che si applicano alle tabelle esterne, consulta Limitazioni delle tabelle esterne.
Ambiti per le istanze Compute Engine
Quando crei un'istanza Compute Engine, puoi specificare un elenco di ambiti per l'istanza. Gli ambiti controllano l'accesso dell'istanza ai prodotti Google Cloud, tra cui Bigtable. Le applicazioni in esecuzione sulla VM usano l'account di servizio per chiamare le API Google Cloud.
Se configuri un'istanza di Compute Engine da eseguire come account di servizio e questo account di servizio accede a una tabella esterna collegata a un'origine dati Bigtable, devi aggiungere all'istanza l'ambito di accesso ai dati di sola lettura di Bigtable (https://www.googleapis.com/auth/bigtable.data.readonly
). Per ulteriori informazioni, consulta Creazione di un'istanza Compute Engine per Bigtable.
Per informazioni sull'applicazione degli ambiti a un'istanza Compute Engine, consulta Modifica dell'account di servizio e degli ambiti di accesso per un'istanza. Per ulteriori informazioni sugli account di servizio Compute Engine, consulta Account di servizio.
Passaggi successivi
- Scopri di più sulla progettazione dello schema Bigtable.
- Leggi l'introduzione alle origini dati esterne.