Integrationen in Bigtable

Auf dieser Seite werden Integrationen zwischen Bigtable und anderen Produkten und Diensten beschrieben.

Google Cloud-Dienste

In diesem Abschnitt werden die Google Cloud-Dienste beschrieben, die sich in Bigtable einbinden lassen.

BigQuery

BigQuery ist das vollständig verwaltete, kostengünstige Data Warehouse für Analysen im Petabyte-Bereich von Google. Sie können BigQuery mit Bigtable für folgende Zwecke verwenden:

  • Sie können eine externe BigQuery-Tabelle erstellen und dann damit Ihre Bigtable-Tabelle abfragen und die Daten mit anderen BigQuery-Tabellen zusammenführen. Weitere Informationen finden Sie unter Bigtable-Daten abfragen.

  • Sie können Ihre BigQuery-Daten in eine Bigtable-Tabelle exportieren, indem Sie Reverse ETL (RETL) von BigQuery in Bigtable verwenden. Weitere Informationen finden Sie unter Daten in Bigtable exportieren (Vorschau).

Cloud Asset Inventory

Cloud Asset Inventory, das Inventardienste auf Basis einer Zeitreihen-Datenbank bietet, unterstützt Bigtable-Ressourcentypen und gibt diese aus. Eine vollständige Liste finden Sie unter Unterstützte Ressourcentypen.

Cloud Functions

Cloud Functions ist eine ereignisgesteuerte serverlose Computing-Plattform, die sich in Bigtable einbinden lässt.

In der Anleitung Bigtable mit Cloud Functions verwenden wird gezeigt, wie Sie eine HTTP Bigtable in Node.js, Python und Go schreiben, bereitstellen und auslösen.

Data Catalog

Data Catalog ist ein Feature von Dataplex, das Metadaten zu Bigtable-Ressourcen automatisch katalogisiert. Informationen zu Ihren Daten in Data Catalog erleichtern die Analyse, die Wiederverwendung von Daten, die Anwendungsentwicklung und die Datenverwaltung. Weitere Informationen finden Sie unter Daten-Assets mit Data Catalog verwalten.

Dataflow

Dataflow ist ein Cloud-Dienst und ein Programmiermodell für die Verarbeitung von großen Datenmengen. Dataflow unterstützt sowohl Batch- als auch Streamingverarbeitung. Sie können mit Dataflow Daten verarbeiten, die in Bigtable gespeichert sind, oder die Ausgabe Ihrer Dataflow-Pipeline speichern. Sie können Dataflow-Vorlagen auch zum Exportieren und import Ihrer Daten als Avro-, Parquet- oder SequenceFiles-Datei verwenden.

Eine Einführung finden Sie unter Bigtable-Beam-Connector .

Sie können Bigtable auch als Schlüssel/Wert-Paar-Suche verwenden, um die Daten in einer Pipeline anzureichern. Einen Überblick finden Sie unter Streamingdaten anreichern. Eine Anleitung finden Sie unter Daten mit Apache Beam und Bigtable anreichern.

Dataproc

Dataproc stellt Apache Hadoop und verwandte Produkte als verwaltete Dienste in die Cloud. Mit Dataproc können Sie Hadoop-Jobs ausführen, die in Bigtable schreiben und lesen.

Ein Beispiel für einen Hadoop-MapReduce-Job, der Bigtable verwendet, finden Sie im Verzeichnis /java/dataproc-wordcount im GitHub-Repository GoogleCloudPlatform/cloud-bigtable-examples.

Vertex AI Vector Search ist eine Technologie, mit der nach Milliarden von semantisch ähnlichen oder semantisch verwandten Elementen gesucht werden kann. Dies ist hilfreich bei der Implementierung von Empfehlungssystemen, Chatbots und der Textklassifizierung.

Sie können Bigtable verwenden, um Vektoreinbettungen zu speichern, sie in einen Vektorsuchindex zu exportieren und dann den Index nach ähnlichen Elementen abzufragen. Eine Anleitung, die einen Beispielworkflow veranschaulicht, finden Sie im GitHub-Repository workflows-demos unter Bigtable in Vertex AI Vector Search-Export.

Big Data

In diesem Abschnitt werden Big Data-Produkte beschrieben, die sich in Bigtable integrieren lassen.

apache beam

Apache Beam ist ein einheitliches Modell zum Definieren von Batch- und Streaming-Verarbeitungspipelines für parallele Daten. Mit dem Bigtable Beam-Connector (BigtableIO) können Sie Batch- und Streamingvorgänge für Bigtable-Daten in einer Pipeline ausführen.

Eine Anleitung zur Bereitstellung einer Datenpipeline in Dataflow mit dem Bigtable Beam-Connector finden Sie unter Bigtable-Änderungsstream verarbeiten.

Apache Hadoop

Apache Hadoop ist ein Framework, das die verteilte Verarbeitung großer Datenmengen auf Clustern von Computern ermöglicht. Sie können mit Dataproc einen Hadoop-Cluster erstellen und dann MapReduce-Jobs ausführen, die in Bigtable lesen und schreiben.

Ein Beispiel für einen Hadoop-MapReduce-Job, der Bigtable verwendet, finden Sie im Verzeichnis /java/dataproc-wordcount im GitHub-Repository GoogleCloudPlatform/cloud-bigtable-examples.

StreamSets Data Collector

StreamSets Data Collector ist eine Datenstreaminganwendung, die Sie für das Schreiben von Daten in Bigtable konfigurieren können. StreamSets bietet in seinem GitHub-Repository unter streamsets/datacollector eine Bigtable-Bibliothek.

Graphdatenbanken

In diesem Abschnitt werden Graphdatenbanken beschrieben, die sich in Bigtable integrieren lassen.

HGraphDB

HGraphDB ist eine Clientschicht für die Verwendung von Apache HBase oder Bigtable als Graphdatenbank. Sie implementiert die Apache TinkerPop3-Oberflächen.

Weitere Informationen zum Verwenden von HGraphDB mit Unterstützung für Bigtable finden Sie in der HGraphDB-Dokumentation.

JanusGraph

JanusGraph ist eine skalierbare Graphdatenbank. Sie ist für die Speicherung und Abfrage von Grafiken mit Hunderten von Milliarden Kanten und Eckpunkten optimiert.

Weitere Informationen zur Verwendung von JanusGraph mit Bigtable-Unterstützung finden Sie unter JanusGraph mit Bigtable ausführen oder in der JanusGraph-Dokumentation.

Infrastrukturverwaltung

In diesem Abschnitt werden die Tools zur Infrastrukturverwaltung beschrieben, die sich in Bigtable integrieren lassen.

Pivotal Cloud Foundry

Pivotal Cloud Foundry ist eine Plattform zur Anwendungsentwicklung und -bereitstellung, die die Möglichkeit bietet, eine Anwendung an Bigtable zu binden.

Terraform

Terraform ist ein Open-Source-Tool, das APIs in deklarative Konfigurationsdateien codiert. Diese Dateien können für Teammitglieder freigegeben, als Code behandelt, bearbeitet, überprüft und versioniert werden.

Weitere Informationen zur Verwendung von Bigtable mit Terraform finden Sie in der Terraform-Dokumentation unter Bigtable-Instanz und Bigtable-Tabelle.

Zeitachsen-Datenbanken und -Monitoring

In diesem Abschnitt werden Zeitachsen-Datenbanken und -Überwachungstools beschrieben, die sich in Bigtable integrieren lassen.

Heroic

Heroic ist ein Überwachungssystem und eine Zeitachsen-Datenbank. Heroic kann Bigtable zur Speicherung seiner Daten nutzen.

Weitere Informationen über Heroic finden Sie im GitHub-Repository spotify/heroic sowie in der Dokumentation zur Konfiguration von Bigtable und zur Konfiguration Messwerten.

OpenTSDB

OpenTSDB ist eine Zeitachsen-Datenbank, die Bigtable zum Speichern verwenden kann. Unter Monitoring von Zeitachsendaten mit OpenTSDB in Bigtable und GKE erfahren Sie, wie Sie mit OpenTSDB Zeitachsendaten in Google Cloud erfassen, aufzeichnen und überwachen können. Die OpenTSDB-Dokumentation enthält zusätzliche Informationen für den Einstieg.