BigQuery

Il connettore BigQuery consente di eseguire operazioni di inserimento, eliminazione, aggiornamento e lettura dei dati di Google BigQuery.

Prima di iniziare

Prima di utilizzare il connettore BigQuery, esegui le seguenti attività:

• Nel tuo progetto Google Cloud:
  • Concedi il ruolo IAM roles/connectors.admin all'utente. configurazione del connettore.
  • Concedi i seguenti ruoli IAM all'account di servizio che vuoi utilizzare per il connettore:
    • roles/bigquery.dataEditor

    Un account di servizio è un tipo speciale di Account Google destinato a rappresentare una persona non umana utente che deve autenticarsi e avere l'autorizzazione ad accedere ai dati nelle API di Google. Se non hai un account di servizio, devi crearne uno. Per ulteriori informazioni le informazioni, vedi Creazione di un account di servizio.

  • Attiva i seguenti servizi:
    • secretmanager.googleapis.com (API Secret Manager)
    • connectors.googleapis.com (API Connectors)

    Per informazioni su come abilitare i servizi, vedi Attivazione dei servizi.

  Se questi servizi o autorizzazioni non sono stati abilitati in precedenza per il tuo progetto, ti viene chiesto di abilitarli durante la configurazione del connettore.

Configura il connettore

Per configurare il connettore è necessario creare una connessione al tuo origine dati (sistema di backend). Una connessione è specifica per un'origine dati. it significa che se hai molte origini dati, devi creare una connessione separata per ogni origine dati. Per creare una connessione:

1. Nella console Cloud, vai a Connettori di integrazione > Pagina Connessioni e poi selezionare o creare un progetto Google Cloud.

   Vai alla pagina Connessioni .

2. Fai clic su + CREA NUOVO per aprire la pagina Crea connessione.
3. Nella sezione Posizione, scegli la località per la connessione.
   1. Regione: seleziona una località dall'elenco a discesa.

      Per l'elenco di tutte le aree geografiche supportate, consulta la sezione Località.

   2. Fai clic su AVANTI.
4. Nella sezione Dettagli connessione, completa i seguenti passaggi:
   .
   1. Connettore: seleziona BigQuery dall'elenco a discesa dei connettori disponibili.
   2. Versione connettore: seleziona la versione del connettore dall'elenco a discesa delle versioni disponibili.
   3. Nel campo Nome connessione, inserisci un nome per l'istanza di connessione.

      I nomi delle connessioni devono soddisfare i seguenti criteri:

      • I nomi delle connessioni possono contenere lettere, numeri o trattini.
      • Le lettere devono essere minuscole.
      • I nomi delle connessioni devono iniziare con una lettera e terminare con una lettera o un numero.
      • I nomi delle connessioni non possono contenere più di 63 caratteri.
   4. Facoltativamente, inserisci una descrizione per l'istanza di connessione.
   5. Account di servizio: seleziona un account di servizio con i ruoli richiesti.
   6. Facoltativamente, configura le impostazioni del nodo di connessione:
      • Numero minimo di nodi: inserisci il numero minimo di nodi di connessione.
      • Numero massimo di nodi: inserisci il numero massimo di nodi di connessione.

      Un nodo è un'unità (o una replica) di una connessione che elabora le transazioni. Sono necessari più nodi per elaborare più transazioni per una connessione e, per elaborare meno transazioni. Per comprendere in che modo i nodi influiscono sui prezzi dei connettori, consulta Prezzi per i nodi di connessione. Se non inserisci alcun valore, per impostazione predefinita il numero minimo di nodi è impostato su 2 (per una migliore disponibilità) e il numero massimo di nodi è impostato su 50.

   Nota: puoi personalizzare i valori del nodo di connessione solo se un cliente con pagamento a consumo.
   7. ID progetto: l'ID del progetto Google Cloud in cui si trovano i dati.
   8. ID set di dati: l'ID del set di dati BigQuery.
   9. Utilizza proxy: seleziona questa casella di controllo per configurare un server proxy per la connessione e configurare i seguenti valori:
   • Schema di autenticazione proxy: seleziona il tipo di autenticazione per l'autenticazione con il server proxy. Sono supportati i seguenti tipi di autenticazione:
     • Di base: autenticazione HTTP di base.
     • Digest: autenticazione HTTP digest.
   • Utente proxy: un nome utente da utilizzare per l'autenticazione con il server proxy.
   • Password proxy: il secret di Secret Manager della password dell'utente.
   • Tipo SSL proxy: il tipo SSL da utilizzare per la connessione al server proxy. Sono supportati i seguenti tipi di autenticazione:
     • Automatica: l'impostazione predefinita. Se l'URL è HTTPS, viene utilizzata l'opzione Tunnel. Se l'URL è HTTP, viene utilizzata l'opzione MAI.
     • Sempre: la connessione è sempre SSL abilitata.
     • Mai: la connessione non è abilitata per SSL.
     • Tunnel: la connessione avviene attraverso un proxy di tunneling. Il server proxy apre una connessione con l'host remoto e il traffico passa attraverso il proxy.
   • Nella sezione Server proxy, inserisci i dettagli del server proxy.
     1. Fai clic su + Aggiungi destinazione.
     2. Seleziona un Tipo di destinazione.
        • Indirizzo host: specifica il nome host o l'indirizzo IP della destinazione.

          Se vuoi stabilire una connessione privata al tuo sistema di backend, segui questi passaggi:

          • Crea un collegamento al servizio PSC.
          • Crea un allegato endpoint e quindi inserisci i dettagli del collegamento dell'endpoint nel campo Indirizzo host.
   10. Facoltativamente, fai clic su + AGGIUNGI ETICHETTA per aggiungere un'etichetta alla connessione sotto forma di coppia chiave/valore.
   11. Fai clic su AVANTI.
5. Nella sezione Autenticazione, inserisci i dettagli di autenticazione.
   1. La connessione BigQuery non richiede alcuna autenticazione.
   2. Fai clic su AVANTI.
6. Verifica: controlla i dettagli della connessione e dell'autenticazione.
7. Fai clic su Crea.

Entità, operazioni e azioni

Tutti i connettori di integrazione forniscono un livello di astrazione per gli oggetti l'applicazione connessa. Puoi accedere agli oggetti di un'applicazione solo tramite questa astrazione. L'astrazione ti viene esposta sotto forma di entità, operazioni e azioni.

Nota: puoi visualizzare le entità, le operazioni e le azioni di un nell'attività Connettori.

• Entità: un'entità può essere considerata un oggetto o un insieme di proprietà nel un'applicazione o un servizio connesso. La definizione di un'entità differisce da connettore di rete. Ad esempio, in un connettore di database, le tabelle sono le entità, connettore file server, le cartelle sono le entità e, in un connettore del sistema di messaggistica, le code sono le entità.

  Tuttavia, è possibile che un connettore non supporti o non disponga di entità. In questo caso, L'elenco Entities sarà vuoto.

• Operazione: un'operazione è l'attività che è possibile eseguire su un'entità. Puoi eseguire una qualsiasi delle seguenti operazioni su un'entità:
  • Elenca
  • Scarica
  • Crea
  • Aggiorna
  • Elimina

  Selezionando un'entità dall'elenco disponibile, viene generato un elenco di le operazioni disponibili per l'entità. Per una descrizione dettagliata delle operazioni, consulta operazioni relative a entità. Tuttavia, se un connettore non supporta nessuna delle operazioni relative alle entità, ad esempio operazioni non sono elencate nell'elenco Operations.

• Azione: un'azione è una funzione di prima classe resa disponibile per l'integrazione. attraverso l'interfaccia del connettore. Un'azione consente di apportare modifiche a una o più entità variano da connettore a connettore. Normalmente, un'azione ha alcuni parametri di input e un output . Tuttavia, è possibile che un connettore non supporta alcuna azione, nel qual caso l'elenco Actions sarà vuoto.

Nota : a tutte le entità e alle azioni è associato uno schema. Ad esempio, uno schema delle azioni avrà i dettagli dei parametri, come ad esempio il parametro e il tipo di dati corrispondente. Lo schema (metadati) per entità e azioni viene recuperato dalla connessione in dal tuo backend. In caso di aggiornamenti allo schema, questi aggiornamenti non saranno si riflette automaticamente sulle connessioni esistenti; devi aggiornare manualmente lo schema. Per aggiornare lo schema di una connessione, apri la pagina Dettagli connessione della connessione e fai clic su Aggiorna lo schema di connessione.

Limitazioni di sistema

Il connettore BigQuery può elaborare al massimo 8 transazioni al secondo, per nodo e limita qualsiasi transazioni che superano questo limite. Per impostazione predefinita, Integration Connectors alloca due nodi (per una migliore disponibilità) per una connessione.

Per informazioni sui limiti applicabili a Integration Connectors, vedi Limiti.

Nota: il numero di nodi di Integration Connectors verrà scalato automaticamente in modo dinamico in base al tuo utilizzo. Se invece vuoi prenotare capacità per volumi elevati senza in attesa della scalabilità automatica, puoi regolare il valore minimo del nodo per una connessione. Altro i nodi sono necessari per elaborare più transazioni per una connessione. Al contrario, un numero minore di nodi sono necessarie se una connessione elabora meno transazioni. a configurare il nodo :

• Se sei un cliente con pagamento a consumo, configura il valore minimo e massimo dei nodi nella pagina Modifica connessione.
• Se hai un abbonamento basato su abbonamento Cliente, contatta l'assistenza.

Il numero massimo di transazioni che un nodo è in grado di gestire dipende da vari fattori. Quindi, prima di regolare il numero minimo di nodi per migliorare la velocità effettiva, è consigliabile verificare che i sistemi di backend siano configurati in modo ottimale per gestire il traffico richiesto.

Tipi di dati supportati

Di seguito sono riportati i tipi di dati supportati per questo connettore:

• GRANDE
• BINARIO
• BIT
• BOOLEANO
• CHAR
• DATA
• DECIMALE
• DOPPIO
• FLOAT
• INTEGER
• LONGN VARCHAR
• VARCAR LUNGO
• NCHAR
• NUMERIC
• NVARCHAR
• REALE
• INT PICCOLO
• TEMPO
• TIMESTAMP
• TINY INT
• VARBINARIO
• VARCHAR

Problemi noti

Il connettore BigQuery non supporta la chiave primaria in una tabella BigQuery. Significa che non puoi esegui le operazioni relative all'entità Get, Update ed Delete usando un entityId. In alternativa, puoi utilizzare la clausola del filtro per filtrare i record in base a un ID.

Azioni

Questa sezione descrive le azioni disponibili nel connettore BigQuery.

Nota: i risultati di tutte le operazioni relative alle entità e le azioni saranno disponibili come risposta JSON nei connectorOutputPayload dell'attività Connectors dopo aver eseguito l'integrazione.

Annullaazione job

Questa azione consente di annullare un job BigQuery in esecuzione.

La seguente tabella descrive i parametri di input dell'azione CancelJob.

Nome parametro	Tipo di dati	Descrizione
JobId	Stringa	L'ID del job da annullare. Questo campo è obbligatorio.
Regione	Stringa	La regione in cui il job è attualmente in esecuzione. Questa operazione non è necessaria se il job si trova in una regione degli Stati Uniti o dell'UE.

Azione GetJob

Questa azione consente di recuperare le informazioni di configurazione e lo stato di esecuzione di un job esistente.

La seguente tabella descrive i parametri di input dell'azione GetJob.

Nome parametro	Tipo di dati	Descrizione
JobId	Stringa	L'ID del job per il quale vuoi recuperare la configurazione. Questo campo è obbligatorio.
Regione	Stringa	La regione in cui il job è attualmente in esecuzione. Questa operazione non è necessaria se il job si trova in una regione degli Stati Uniti o dell'UE.

Inserisci azione job

Questa azione consente di inserire un job BigQuery, che può essere selezionato in un secondo momento per recuperare i risultati della query.

La seguente tabella descrive i parametri di input dell'azione InsertJob.

Nome parametro	Tipo di dati	Descrizione
Query	Stringa	La query da inviare a BigQuery. Questo campo è obbligatorio.
IsDML	Stringa	Deve essere impostato su true se la query è un'istruzione DML o su false negli altri casi. Il valore predefinito è false.
DestinationTable	Stringa	Tabella di destinazione per la query, nel formato DestProjectId:DestDatasetId.DestTable.
writeDisposition	Stringa	Specifica come scrivere dati nella tabella di destinazione. ad esempio troncare risultati esistenti, aggiungi risultati esistenti o scrivi solo quando la tabella è vuota. Di seguito sono riportati i tipi di valori: WRITE_TRUNCATE WRITE_APPEND WRITE_EMPTY Il valore predefinito è WRITE_TRUNCATE.
DryRun	Stringa	Specifica se l'esecuzione del job è una prova.
MaximumBytesBilled	Stringa	Specifica i byte massimi che possono essere elaborati dal job. BigQuery annulla un job se il job tenta di elaborare più byte rispetto al valore specificato.
Regione	Stringa	Specifica la regione in cui deve essere eseguito il job.

Azione InsertLoadJob

Questa azione consente di inserire un job di caricamento BigQuery, che aggiunge dati da Google Cloud Storage a una tabella esistente.

La seguente tabella descrive i parametri di input dell'azione InsertLoadJob.

Nome parametro	Tipo di dati	Descrizione
SourceURIs	Stringa	Un elenco di URI di Google Cloud Storage separati da spazi.
SourceFormat	Stringa	Il formato di origine dei file. Di seguito sono riportati i valori supportati: AVRO NEWLINE_DELIMITED_JSON DATASTORE_BACKUP PARQUET ORC CSV
DestinationTable	Stringa	Tabella di destinazione per la query, nel formato DestProjectId.DestDatasetId.DestTable.
DestinationTableProperties	Stringa	Un oggetto JSON che specifica il nome semplice, la descrizione e l'elenco di etichette delle tabelle.
DestinationTableSchema	Stringa	Un elenco JSON che specifica i campi utilizzati per creare la tabella.
DestinationEncryptionConfiguration	Stringa	Un oggetto JSON che specifica le impostazioni di crittografia KMS per la tabella.
SchemaUpdateOptions	Stringa	Un elenco JSON che specifica le opzioni da applicare durante l'aggiornamento dello schema della tabella di destinazione.
TimePartitioning	Stringa	Un oggetto JSON che specifica il tipo e il campo di partizionamento temporale.
RangePartitioning	Stringa	Un oggetto JSON che specifica il campo di partizionamento degli intervalli e i bucket.
Clustering	Stringa	Un oggetto JSON che specifica i campi da utilizzare per il clustering.
Rilevamento automatico	Stringa	Consente di specificare se le opzioni e lo schema devono essere determinati automaticamente per i file JSON e CSV.
CreateDisposition	Stringa	Specifica se è necessario creare la tabella di destinazione se non esiste già. Persone che seguo sono i valori supportati: CREATE_IF_NEEDED CREATE_NEVER Il valore predefinito è CREATE_IF_NEEDED.
writeDisposition	Stringa	Specifica come scrivere dati nella tabella di destinazione, ad esempio: troncare i risultati esistenti, aggiungendo risultati esistenti o scrivendo solo quando la tabella è vuota. Di seguito sono riportate le valori supportati: WRITE_TRUNCATE WRITE_APPEND WRITE_EMPTY Il valore predefinito è WRITE_APPEND.
Regione	Stringa	Specifica la regione in cui deve essere eseguito il job. Sia le risorse Google Cloud Storage sia il set di dati BigQuery devono trovarsi nella stessa regione.
DryRun	Stringa	Specifica se l'esecuzione del job è una prova. Il valore predefinito è false.
MaximumBadRecords	Stringa	Specifica il numero di record che possono non essere validi prima che l'intero job venga annullato. Per impostazione predefinita, tutti i record devono essere validi. Il valore predefinito è 0.
IgnoreUnknownValues	Stringa	Specifica se i campi sconosciuti devono essere ignorati nel file di input o devono essere considerati errori. Per impostazione predefinita, vengono trattati come errori. Il valore predefinito è false.
AvroUseLogicalTypes	Stringa	Specifica se è necessario utilizzare tipi logici AVRO per convertire i dati AVRO in tipi BigQuery. Il valore predefinito è true.
CSVSkipLeadingRows	Stringa	Specifica il numero di righe da saltare all'inizio dei file CSV. In genere viene utilizzato per saltare le righe di intestazione.
CSVEncoding	Stringa	Tipo di codifica dei file CSV. Di seguito sono riportati i valori supportati: ISO-8859-1 UTF-8 Il valore predefinito è UTF-8.
CSVNullMarker	Stringa	Se fornita, questa stringa viene utilizzata per i valori NULL all'interno dei file CSV. Per impostazione predefinita, i file CSV non può usare NULL.
CSVFieldDelimiter	Stringa	Il carattere utilizzato per separare le colonne all'interno dei file CSV. Il valore predefinito è una virgola (,).
CSVQuote	Stringa	Il carattere utilizzato per i campi tra virgolette nei file CSV. Può essere impostato su vuoto per disattivare le citazioni. La il valore predefinito è le virgolette doppie (").
CSVAllowQuotedNewlines	Stringa	Specifica se i file CSV possono contenere nuove righe all'interno dei campi tra virgolette. Il valore predefinito è false.
CSVAllowJaggedRows	Stringa	Specifica se i file CSV possono contenere campi mancanti. Il valore predefinito è false.
DSBackupProjectionFields	Stringa	Un elenco JSON dei campi da caricare da un backup del datastore Cloud.
ParquetOptions	Stringa	Un oggetto JSON che specifica le opzioni di importazione specifiche di Parquet.
DecimalTargetTypes	Stringa	Un elenco JSON con l'ordine di preferenza applicato ai tipi numerici.
HivePartitioningOptions	Stringa	Un oggetto JSON che specifica le opzioni di partizionamento sul lato di origine.

Esegui query SQL personalizzata

Per creare una query personalizzata:

1. Segui le istruzioni dettagliate per aggiungere un'attività dei connettori.
2. Quando configuri l'attività del connettore, seleziona Azioni nel tipo di azione che vuoi eseguire.
3. Nell'elenco Azione, seleziona Esegui query personalizzata, quindi fai clic su Fine.

   

4. Espandi la sezione Input attività, quindi procedi nel seguente modo:
   .
   1. Nel campo Timeout dopo, inserisci il numero di secondi di attesa prima che la query venga eseguita.

      Valore predefinito: 180 secondi.

   2. Nel campo Numero massimo di righe, inserisci il numero massimo di righe da restituire dal database.

      Valore predefinito: 25.

   3. Per aggiornare la query personalizzata, fai clic su Modifica script personalizzato. Viene visualizzata la finestra di dialogo Editor di script.

      

   4. Nella finestra di dialogo Editor di script, inserisci la query SQL e fai clic su Salva.

      Puoi utilizzare un punto interrogativo (?) in un'istruzione SQL per rappresentare un singolo parametro che deve essere specificato nell'elenco parametri di ricerca. Ad esempio, la seguente query SQL seleziona tutte le righe della tabella Employees che corrispondono ai valori specificati per la colonna LastName:

      SELECT * FROM Employees where LastName=?

      Nota: sono supportate le istruzioni DML (Data Manipulation Language) e DDL (Data Definition Language).
   5. Se hai utilizzato dei punti interrogativi nella query SQL, devi aggiungere il parametro facendo clic su + Aggiungi nome parametro per ciascun punto. Durante l'esecuzione dell'integrazione, questi parametri sostituiscono in sequenza i punti interrogativi (?) nella query SQL. Ad esempio, se hai aggiunto tre punti interrogativi (?), devi aggiungere tre parametri in ordine sequenziale.

      

      Per aggiungere parametri di ricerca:

      1. Nell'elenco Tipo, seleziona il tipo di dati del parametro.
      2. Nel campo Valore, inserisci il valore del parametro.
      3. Per aggiungere più parametri, fai clic su + Aggiungi parametro di query.

Utilizzare Terraform per creare connessioni

Puoi utilizzare il comando Terraform risorsa per creare una nuova connessione.

Per scoprire come applicare o rimuovere una configurazione Terraform, consulta: Comandi Terraform di base.

Per visualizzare un modello Terraform di esempio per la creazione di connessioni, vedi il modello di esempio.

Quando crei questa connessione utilizzando Terraform, devi impostare le seguenti variabili nel file di configurazione di Terraform:

Nome parametro	Tipo di dati	Obbligatorio	Descrizione
project_id	STRINGA	Vero	L'ID del progetto contenente il set di dati BigQuery. ad es. progetto.
dataset_id	STRINGA	Falso	ID del set di dati BigQuery senza il nome del progetto. ad es. mydataset.
proxy_enabled	BOOLEANO	Falso	Seleziona questa casella di controllo per configurare un server proxy per la connessione.
proxy_auth_scheme	ENUM	Falso	Il tipo di autenticazione da utilizzare per l'autenticazione sul proxy ProxyServer. I valori supportati sono: BASIC, DIGEST, NONE
proxy_user	STRINGA	Falso	Un nome utente da utilizzare per l'autenticazione sul proxy ProxyServer.
proxy_password	SECRET	Falso	Una password da utilizzare per l'autenticazione sul proxy ProxyServer.
proxy_ssltype	ENUM	Falso	Il tipo SSL da utilizzare per la connessione al proxy ProxyServer. I valori supportati sono: AUTO, ALWAYS, NEVER, TUNNEL

Utilizzare la connessione BigQuery in un'integrazione

Dopo aver creato la connessione, questa diventa disponibile in Apigee Integration e Application Integration. Puoi usare la connessione in un'integrazione tramite l'attività Connettori.

• Per capire come creare e utilizzare l'attività Connectors in Apigee Integration, vedi Attività connettori.
• Per capire come creare e utilizzare l'attività Connettori in Application Integration, vedi Attività connettori.

Ricevi assistenza dalla community Google Cloud

Puoi pubblicare le tue domande e discutere di questo connettore in Google Cloud community presso i forum Cloud.

Passaggi successivi

• Scopri come sospendere e ripristinare una connessione.
• Scopri come monitorare l'utilizzo dei connettori.
• Scopri come visualizzare i log del connettore.