Connettore Bigtable Beam
Il
connettore Bigtable Beam
(BigtableIO
) è un connettore I/O open source Apache
Beam che può aiutarti a eseguire operazioni in batch e in flussi
sui dati Bigtable in una pipeline utilizzando
Dataflow.
Se stai eseguendo la migrazione da HBase a Bigtable o se esegui un'applicazione che utilizza l'API HBase anziché le API Bigtable, utilizza il
connettore Bigtable HBase Beam
(CloudBigtableIO
) anziché il connettore descritto in questa pagina.
Dettagli connettore
Il connettore
Bigtable Beam è un componente del
repository GitHub
di Apache Beam. Il Javadoc è disponibile all'indirizzo Class
BigtableIO
.
Prima di creare una pipeline Dataflow, controlla il supporto runtime di Apache Beam per assicurarti di utilizzare una versione di Java supportata per Dataflow. Utilizza la release più recente supportata di Apache Beam.
Il connettore Bigtable Beam viene utilizzato insieme al client Bigtable per Java, una libreria client che chiama le API Bigtable. Scrivi il codice per eseguire il deployment di una pipeline che utilizza il connettore a Dataflow, che gestisce il provisioning e la gestione delle risorse e assiste la scalabilità e l'affidabilità dell'elaborazione dei dati.
Per ulteriori informazioni sul modello di programmazione Apache Beam, consulta la documentazione di Beam.
Controllo del flusso di scrittura batch
Quando invii scritture batch a una tabella utilizzando il connettore Bigtable, puoi abilitare il controllo del flusso di scrittura in batch. Quando questa funzionalità è abilitata, Bigtable esegue automaticamente le seguenti operazioni:
- Limita il traffico per evitare il sovraccarico del cluster Bigtable
- Garantisce che il cluster abbia un carico insufficiente per attivare la scalabilità automatica di Bigtable (se abilitata), in modo che vengano aggiunti automaticamente più nodi al cluster quando necessario
Per maggiori dettagli, consulta Controllo del flusso di scrittura in batch.
Passaggi successivi
- Leggi una panoramica delle richieste di scrittura di Bigtable.
- Esamina un elenco di modelli Dataflow che funzionano con Bigtable.