Connettore BigQuery

Puoi utilizzare un connettore BigQuery per abilitare l'accesso programmatico in lettura/scrittura a BigQuery. È il modo ideale per elaborare i dati archiviati in BigQuery. L'accesso dalla riga di comando non è esposto. Il connettore BigQuery è una libreria che consente alle applicazioni Spark e Hadoop di elaborare i dati da BigQuery e di scrivere dati in BigQuery utilizzando la terminologia nativa.

Considerazioni sui prezzi

Quando si utilizza il connettore, gli addebiti includono le tariffe di utilizzo di BigQuery. Potrebbero essere applicati i seguenti costi specifici per i servizi:

  • Cloud Storage: il connettore scarica i dati in un bucket Cloud Storage prima o durante l'esecuzione del job. Al termine del job, i dati vengono eliminati da Cloud Storage. L'importo ti viene addebitato in base ai prezzi di Cloud Storage. Per evitare addebiti in eccesso, controlla il tuo account Cloud Storage e rimuovi i file temporanei non necessari.
  • API BigQuery Storage: per migliorare le prestazioni, il connettore legge i dati utilizzando l'API BigQuery Storage. Questo utilizzo ti viene addebitato in base ai prezzi dell'API BigQuery Storage.

Connettori disponibili

Nell'ecosistema Hadoop sono disponibili i seguenti connettori BigQuery:

  1. Il connettore BigQuery Spark aggiunge un'origine dati Spark, che consente a DataFrames di interagire direttamente con le tabelle BigQuery utilizzando le operazioni read e write di Spark.
  2. Il connettore BigQuery Hive aggiunge un gestore dello spazio di archiviazione, che consente ad Apache Hive di interagire direttamente con le tabelle BigQuery utilizzando la sintassi HiveQL.
  3. Il connettore BigQuery di Hadoop consente ai mappatori e ai riduttori di Hadoop di interagire con le tabelle BigQuery utilizzando versioni astratte delle classi InputFormat e OutputFormat.

Utilizzo dei connettori

Per iniziare a utilizzare rapidamente il connettore BigQuery, vedi i seguenti esempi:

Passaggi successivi