Bigtable Beam-Connector

Der Bigtable Beam-Connector (BigtableIO) ist ein Open-Source-E/A-Connector für Apache Beam, mit dem Sie Batch- und Streamingvorgänge für Bigtable-Daten in einer Pipeline mit Dataflow ausführen können.

Wenn Sie von HBase zu Bigtable migrieren oder eine Anwendung ausführen, die die HBase API anstelle der Bigtable APIs verwendet, verwenden Sie den Bigtable HBase Beam-Connector (CloudBigtableIO) anstelle des auf dieser Seite beschriebenen Connectors.

Connector-Details

Der Bigtable Beam-Connector ist eine Komponente des GitHub-Repositorys für Apache Beam. Das Javadoc ist unter Class BigtableIO verfügbar.

Bevor Sie eine Dataflow-Pipeline erstellen, sollten Sie die Apache Beam-Laufzeitunterstützung prüfen, um sicherzustellen, dass Sie eine Java-Version verwenden, die für Dataflow unterstützt wird. Verwenden Sie die neueste unterstützte Version von Apache Beam.

Der Bigtable Beam-Connector wird in Verbindung mit dem Bigtable-Client für Java verwendet, einer Clientbibliothek, die die Bigtable-APIs aufruft. Sie schreiben Code, um eine Pipeline bereitzustellen, die den Connector für Dataflow verwendet. Dies übernimmt die Bereitstellung und Verwaltung von Ressourcen und unterstützt die Skalierbarkeit und Zuverlässigkeit der Datenverarbeitung.

Weitere Informationen zum Apache Beam-Programmiermodell finden Sie in der Dokumentation zu Beam.

Batch-Schreibablaufsteuerung

Wenn Sie mit dem Bigtable Beam-Connector Batch-Schreibvorgänge in eine Tabelle senden, können Sie die Batch-Schreibflusssteuerung aktivieren. Wenn diese Funktion aktiviert ist, führt Bigtable automatisch folgende Schritte aus:

  • Traffic wird durch Raten begrenzt, um eine Überlastung Ihres Bigtable-Clusters zu vermeiden
  • Stellt sicher, dass der Cluster unter einer ausreichenden Last steht, um das Bigtable-Autoscaling auszulösen (falls aktiviert), sodass dem Cluster bei Bedarf automatisch weitere Knoten hinzugefügt werden.

Weitere Informationen finden Sie im Hilfeartikel Ablaufsteuerung für Batch-Schreibvorgänge.

Nächste Schritte