Il plug-in dell'origine BigQuery ti consente di collegarti e caricare i dati dalle tabelle BigQuery. I dati di una tabella BigQuery vengono esportati in una posizione temporanea in Cloud Storage e poi letti nella pipeline da lì.
Prima di iniziare
In genere Cloud Data Fusion ha due account di servizio:
- Account di servizio in fase di progettazione: Cloud Data Fusion API Service Agent
- Service account di esecuzione: Account di servizio Compute Engine
Prima di utilizzare il plug-in dell'origine batch BigQuery, concedi i seguenti ruoli o autorizzazioni a ogni account di servizio.
Cloud Data Fusion API Service Agent
Questo account di servizio dispone già di tutte le autorizzazioni richieste e non è necessario aggiungere autorizzazioni aggiuntive. Come riferimento, ha le seguenti autorizzazioni:
bigquery.datasets.get
bigquery.tables.create
bigquery.tables.get
bigquery.tables.updateData
bigquery.tables.update
bigquery.tables.export
Se utilizzi un account di servizio dello spazio dei nomi oltre all'account di servizio predefinito in fase di progettazione, aggiungi le autorizzazioni elencate nell'elenco precedente.
Account di servizio Compute Engine
Nel tuo Google Cloud progetto, concedi i seguenti ruoli o le seguenti autorizzazioni IAM all'account di servizio Compute Engine:
- Utente job BigQuery (
roles/bigquery.jobUser
). Questo ruolo predefinito contiene l'autorizzazionebigquery.jobs.create
richiesta. Editor dei dati BigQuery (
roles/bigquery.dataEditor
). Questo ruolo predefinito contiene le seguenti autorizzazioni richieste:bigquery.datasets.get
bigquery.tables.create
bigquery.tables.get
bigquery.tables.updateData
bigquery.tables.update
bigquery.tables.export
Questi ruoli e autorizzazioni possono essere assegnati anche al set di dati o alla tabella BigQuery, a seconda del caso d'uso.
Writer bucket legacy Storage (
roles/storage.legacyBucketWriter
). Questo ruolo predefinito contiene le seguenti autorizzazioni richieste:storage.buckets.get
storage.objects.get
storage.objects.list
Questo ruolo e queste autorizzazioni possono essere assegnati anche al bucket Cloud Storage, a seconda del caso d'uso.
Configura il plug-in
- Vai all'interfaccia web di Cloud Data Fusion e fai clic su Studio.
- Verifica che sia selezionata l'opzione Pipeline di dati - Batch (non In tempo reale).
- Nel menu Origine, fai clic su BigQuery. Il nodo BigQuery viene visualizzato nella pipeline.
- Per configurare l'origine, vai al nodo BigQuery e fai clic su Proprietà.
Inserisci le seguenti proprietà. Per un elenco completo, consulta Proprietà.
- Inserisci un'etichetta per il nodo BigQuery, ad esempio
BigQuery tables
. Inserisci i dettagli della connessione. Puoi configurare una nuova connessione una tantum o una connessione esistente riutilizzabile.
Nuova connessione
Per aggiungere una connessione una tantum a BigQuery, segui questi passaggi:
- Nel campo Project ID (ID progetto), lascia il valore su rilevamento automatico.
- Se il set di dati BigQuery si trova in un progetto diverso, inserisci l'ID nel campo Dataset Project ID (ID progetto set di dati).
Nel campo Tipo di account di servizio, scegli una delle opzioni riportate di seguito e inserisci i contenuti nel campo successivo:
- Percorso del file
- JSON
Connessione riutilizzabile
Per riutilizzare una connessione esistente:
- Attiva l'opzione Usa connessione.
- Fai clic su Browse connections (Sfoglia connessioni).
Fai clic sul nome della connessione, ad esempio BigQuery predefinito.
(Facoltativo) Se non esiste una connessione e vuoi crearne una nuova riutilizzabile, fai clic su Aggiungi connessione e segui i passaggi descritti nella scheda Nuova connessione di questa pagina.
Nel campo Reference name (Nome di riferimento), inserisci un nome da utilizzare per la sequenza.
(Facoltativo) Se il set di dati è già disponibile nell'istanza, fai clic su Sfoglia e seleziona i dati da leggere.
Nel campo Dataset, inserisci il nome del set di dati che contiene la tabella.
Nel campo Table (Tabella), inserisci il nome della tabella.
Per testare la connettività, fai clic su Ottieni schema.
(Facoltativo) Nel campo Data di inizio della partizione, inserisci la stringa della data di inizio inclusiva, ad esempio
2021-01-11
.(Facoltativo) Nel campo Data di fine partizione, inserisci la stringa della data di fine inclusiva, ad esempio
2024-01-11
.(Facoltativo) Nel campo Filtra, inserisci una
WHERE
clausola BigQuery.(Facoltativo) Nel campo Nome del bucket temporaneo, inserisci un nome per il bucket Cloud Storage.
(Facoltativo) Nel campo Nome chiave di crittografia, inserisci il nome della chiave di crittografia di Cloud Key Management Service (Cloud KMS). Per ulteriori informazioni, vedi Ottenere il nome della risorsa per la chiave.
(Facoltativo) Attiva Attiva le visualizzazioni con query. Se li attivi, procedi come segue:
- Nel campo Progetto di creazione della tabella temporanea, inserisci il nome del progetto in cui viene creata la tabella temporanea.
- Nel campo Set di dati per la creazione della tabella temporanea, inserisci il nome del set di dati in cui viene creata la tabella temporanea.
(Facoltativo) Fai clic su Convalida e correggi gli eventuali errori rilevati.
Fai clic su
Close (Chiudi). Le proprietà vengono salvate e puoi continuare a creare la pipeline di dati nell'interfaccia web di Cloud Data Fusion.
- Inserisci un'etichetta per il nodo BigQuery, ad esempio
Proprietà
Proprietà | Macro attivata | Proprietà obbligatoria | Descrizione |
---|---|---|---|
Etichetta | No | Sì | Il nome del nodo nella pipeline di dati. |
Utilizzare la connessione | No | No | Cerca una connessione riutilizzabile all'origine. Per saperne di più su come aggiungere, importare e modificare le connessioni visualizzate quando navighi tra le connessioni, consulta Gestire le connessioni. |
Connessione | Sì | Sì | Se l'opzione Utilizza connessione è attiva, in questo campo viene visualizzato il nome della connessione riutilizzabile selezionata. |
ID progetto | Sì | No | Utilizzato solo quando l'opzione Utilizza connessione è disattivata. Un identificatore univoco globale per il progetto in cui viene eseguito il job BigQuery. Il valore predefinito è auto-detect . |
ID progetto del set di dati | Sì | No | Viene utilizzato solo quando l'opzione Utilizza connessione è disattivata. Se il set di dati si trova in un progetto diverso da quello in cui viene eseguito il job BigQuery, questo valore è l'identificatore univoco a livello globale del progetto con il set di dati BigQuery. Se non viene fornito alcun valore, il valore predefinito del campo è l'ID progetto. Il ruolo Data Viewer di BigQuery deve essere concesso all'account di servizio specificato per leggere i dati BigQuery nel progetto. |
Tipo di account di servizio | Sì | No | Seleziona una delle seguenti opzioni:
|
Percorso del file dell'account di servizio | Sì | No | Viene utilizzato solo quando il valore del tipo di account di servizio è Percorso
del file. Il percorso nel file system locale della chiave dell'account di servizio
utilizzata per l'autorizzazione. Se i job vengono eseguiti su cluster Dataproc, imposta il valore su rilevamento automatico. Se i job vengono eseguiti su altri tipi di cluster, il
file deve essere presente su ogni nodo del cluster. Il valore predefinito è auto-detect . |
JSON dell'account di servizio | Sì | No | Viene utilizzato solo quando il valore del tipo di account di servizio è JSON. I contenuti del file JSON dell'account di servizio. |
Nome di riferimento | No | Sì | Nome che identifica in modo univoco questa origine per altri servizi, ad esempio la cronologia e l'annotazione dei metadati. |
Set di dati | Sì | Sì | Il set di dati a cui appartiene la tabella. Un set di dati è contenuto in un progetto specifico. I set di dati sono contenitori di primo livello che organizzano e controllano l'accesso a tabelle e viste. |
Tabella | Sì | Sì | La tabella da cui leggere. Una tabella contiene singoli record organizzati in righe. Ogni record è composto da colonne (dette anche campi). Ogni tabella è definita da uno schema che descrive i nomi delle colonne, i tipi di dati e altre informazioni. |
Data di inizio della partizione | Sì | No | Data di inizio della partizione inclusiva, specificata come yyyy-mm-dd . Se
non viene fornito alcun valore, verranno lette tutte le partizioni fino alla data di fine della partizione. |
Data di fine partizione | Sì | No | Data di fine della partizione esclusiva, specificata come yyyy-mm-dd . Se
non viene specificato alcun valore, vengono lette tutte le partizioni a partire dalla data di inizio della partizione. |
Filtro | Sì | No | Una query SQL che filtra in base alle condizioni specificate. Ad esempio, questa
query restituisce tutte le righe della tabella Roster in cui la
colonna SchoolID ha il valore SchoolID > 52 :SELECT * FROM Roster WHERE SchoolID > 52; . È lo stesso
della clausola WHERE in
BigQuery. |
Nome bucket temporaneo | Sì | No | Il bucket Cloud Storage per l'archiviazione temporanea dei dati. Viene creato automaticamente se non esiste. I dati temporanei vengono eliminati dopo essere stati letti. Se non viene fornito un nome, viene creato un bucket univoco che viene poi eliminato al termine dell'esecuzione. |
Nome della chiave di crittografia | Sì | No | Chiave che cripta i dati scritti in qualsiasi bucket creato dal plug-in. Se il bucket esistente, questo valore viene ignorato. Per ulteriori informazioni, consulta CMEK. |
Abilitare le viste con query | Sì | No | Se consentire le viste logiche e materializzate BigQuery. Poiché le viste BigQuery non sono attivate per impostazione predefinita, l'esecuzione di query su di esse potrebbe comportare un sovraccarico delle prestazioni. Il valore predefinito è No. |
Progetto di creazione di tabelle temporanee | Sì | No | Viene utilizzato solo quando l'opzione Abilita le visualizzazioni con query è attivata. Il nome del progetto in cui deve essere creata la tabella temporanea. Per impostazione predefinita è lo stesso progetto in cui si trova la tabella. |
Set di dati per la creazione di tabelle temporanee | Sì | No | Il set di dati nel progetto specificato in cui deve essere creata la tabella temporanea. Per impostazione predefinita, viene utilizzato lo stesso set di dati in cui si trova la tabella. |
Schema di output | Sì | Sì | Schema della tabella da leggere. Puoi recuperarlo facendo clic su Ottieni schema. |
Mappature dei tipi di dati
La tabella seguente è un elenco dei tipi di dati BigQuery con i tipi CDAP corrispondenti.
Tipo di dati BigQuery | Tipo di dati dello schema CDAP |
---|---|
BOOL |
boolean |
BYTES |
bytes |
DATE |
date |
DATETIME |
datetime, string |
FLOAT64 |
double |
GEO |
unsupported |
INT64 |
long |
NUMERIC |
decimal |
BIGNUMERIC |
decimal |
REPEATED |
array |
STRING |
string , datetime (formato ISO 8601) |
STRUCT |
record |
TIME |
time (microsecondi) |
TIMESTAMP |
timestamp (microsecondi) |
JSON |
unsupported |
Note di rilascio
Passaggi successivi
- Scopri di più sui plug-in in Cloud Data Fusion.