Bigtable Beam-Connector
Der Bigtable Beam-Connector (BigtableIO) ist ein Open-Source-E/A-Connector für Apache Beam, mit dem Sie Batch- und Streaming-Vorgänge für Bigtable-Daten in einer Pipeline mit Dataflow ausführen können.
Wenn Sie von HBase zu Bigtable migrieren oder eine Anwendung ausführen, die die HBase API anstelle der Bigtable APIs verwendet, verwenden Sie den Bigtable HBase Beam-Connector (CloudBigtableIO) anstelle des auf dieser Seite beschriebenen Connectors.
Connector-Details
Der Bigtable Beam-Connector ist eine Komponente des GitHub-Repositorys für Apache Beam. Die Javadoc-Datei ist unter Class
BigtableIO verfügbar.
Bevor Sie eine Dataflow-Pipeline erstellen, prüfen Sie unter Apache Beam-Laufzeitunterstützung, ob Sie eine Java-Version verwenden, die für Dataflow unterstützt wird. Verwenden Sie die neueste unterstützte Version von Apache Beam.
Der Bigtable Beam-Connector wird in Verbindung mit dem Bigtable-Client für Java verwendet, einer Clientbibliothek, die die Bigtable APIs aufruft. Sie schreiben Code, um eine Pipeline bereitzustellen, die den Connector zu Dataflow verwendet. Dieser übernimmt die Bereitstellung und Verwaltung von Ressourcen und unterstützt die Skalierbarkeit und Zuverlässigkeit der Datenverarbeitung.
Weitere Informationen zum Apache Beam-Programmiermodell finden Sie in der Beam-Dokumentation.
Ablaufsteuerung für Batch-Schreibvorgänge
Wenn Sie Batch-Schreibvorgänge (einschließlich Löschanfragen) mit dem Bigtable Beam-Connector an eine Tabelle senden, können Sie die Steuerung der Batch-Schreibabläufe aktivieren. Wenn diese Funktion aktiviert ist, führt Bigtable automatisch Folgendes aus:
- Traffic begrenzen, um eine Überlastung Ihres Bigtable-Clusters zu vermeiden
- Sorgt dafür, dass der Cluster ausreichend ausgelastet ist, um das Bigtable-Autoscaling (falls aktiviert) auszulösen, sodass bei Bedarf automatisch weitere Knoten hinzugefügt werden
Weitere Informationen finden Sie unter Ablaufsteuerung für Batch-Schreibvorgänge. Ein Codebeispiel finden Sie unter Batch Write Flow Control aktivieren.