Integrationen in Bigtable
Auf dieser Seite werden Integrationen zwischen Bigtable und anderen Produkten beschrieben. Dienstleistungen.
Google Cloud-Dienste
In diesem Abschnitt werden die Google Cloud-Dienste beschrieben, die sich in Bigtable einbinden lassen.
BigQuery
BigQuery ist das vollständig verwaltete, kostengünstige Data Warehouse für Analysen im Petabyte-Bereich von Google. Sie können BigQuery mit Bigtable für die folgenden Zwecke verwenden:
Sie können eine externe BigQuery-Tabelle erstellen und Ihre Bigtable-Tabelle abfragen und die Daten mit anderen BigQuery-Tabellen. Weitere Informationen finden Sie unter Bigtable-Daten abfragen.
Sie können Ihre BigQuery-Daten mithilfe von Reverse-ETL (RETL) von BigQuery nach Bigtable exportieren. Weitere Informationen finden Sie unter Daten in Bigtable exportieren.
Cloud Asset Inventory
Cloud Asset Inventory, das Inventardienste auf Basis einer Zeitreihen-Datenbank bietet, unterstützt Bigtable-Ressourcentypen und gibt diese aus. Eine vollständige Liste finden Sie unter Unterstützte Ressourcentypen.
Data Catalog
Data Catalog ist ein Dataplex-Feature, das automatisch katalogisiert Metadaten zu Bigtable-Ressourcen. Data Catalog-Informationen zu Ihren Daten können Ihnen dabei helfen, Analyse, Wiederverwendung von Daten, Anwendungsentwicklung und Datenverwaltung. Weitere Informationen finden Sie unter Daten-Assets verwalten mit Data Catalog.
Dataflow
Dataflow ist ein Cloud-Dienst und ein Programmiermodell für die Verarbeitung von großen Datenmengen. Dataflow unterstützt sowohl Batch- als auch Streamingverarbeitung. Sie können mit Dataflow Daten verarbeiten, die in Bigtable gespeichert sind, oder die Ausgabe Ihrer Dataflow-Pipeline speichern. Sie können Dataflow-Vorlagen auch verwenden, exportieren und importieren wie Avro, Parquet oder SequenceFiles.
Erste Schritte dazu finden Sie unter Bigtable Beam-Connector.
Sie können Bigtable auch als Schlüssel/Wert-Suche verwenden, um die Daten in einer Pipeline anzureichern. Eine Übersicht finden Sie unter Streaming anreichern. Daten. Ein Tutorial finden Sie unter Apache Beam verwenden und Bigtable zur Anreicherung Daten.
Dataproc
Dataproc stellt Apache Hadoop und verwandte Produkte als verwaltete Dienste in die Cloud. Mit Dataproc können Sie Hadoop-Jobs ausführen, die in Bigtable schreiben und lesen.
Ein Beispiel für einen Hadoop-MapReduce-Job, der Bigtable verwendet, finden Sie im Verzeichnis /java/dataproc-wordcount im GitHub-Repository GoogleCloudPlatform/cloud-bigtable-examples.
Vertex AI Vektorsuche
Die Vertex AI-Vektorsuche ist eine Technologie, mit der in Milliarden von semantisch ähnlichen oder semantisch verwandten Artikeln gesucht werden kann. Es ist nützlich für die Implementierung von Empfehlungssystemen, Chatbots und Text Klassifizierung.
Sie können Bigtable verwenden, um Vektoreinbettungen zu speichern, in
einen Vektorsuchindex und fragen Sie den Index dann nach ähnlichen Elementen ab. Für
eine Anleitung, die einen Beispiel-Workflow veranschaulicht, finden Sie unter Bigtable to
Vertex AI Vector Search Export in der
workflows-demos GitHub-Repository.
Big Data
In diesem Abschnitt werden Big Data-Produkte beschrieben, die sich in Bigtable integrieren lassen.
Apache Beam
Apache Beam ist ein einheitliches Modell zum Definieren von Batch- und Streamingdaten parallel
von Verarbeitungspipelines. Mit dem Bigtable Beam-Connector (BigtableIO) können Sie Batch- und Streaming-Vorgänge auf Bigtable-Daten in einer Pipeline ausführen.
Hier finden Sie ein Tutorial, in dem gezeigt wird, wie Sie mit dem Bigtable Beam-Connector ein Datenpipeline zu Dataflow, siehe Cloud Bigtable verarbeiten im Änderungsstream.
Apache Hadoop
Apache Hadoop ist ein Framework, das die verteilte Verarbeitung großer Datenmengen auf Clustern von Computern ermöglicht. Sie können mit Dataproc einen Hadoop-Cluster erstellen und dann MapReduce-Jobs ausführen, die in Bigtable lesen und schreiben.
Ein Beispiel für einen Hadoop-MapReduce-Job, der Bigtable verwendet, finden Sie im Verzeichnis /java/dataproc-wordcount im GitHub-Repository GoogleCloudPlatform/cloud-bigtable-examples.
StreamSets Data Collector
StreamSets Data Collector ist eine Datenstreaminganwendung, die Sie für das Schreiben von Daten in Bigtable konfigurieren können. StreamSets bietet in seinem GitHub-Repository unter streamsets/datacollector eine Bigtable-Bibliothek.
Graphdatenbanken
In diesem Abschnitt werden Graphdatenbanken beschrieben, die sich in Bigtable integrieren lassen.
HGraphDB
HGraphDB ist eine Clientschicht für die Verwendung von Apache HBase oder Bigtable als Graphdatenbank. Sie implementiert die Apache TinkerPop3-Oberflächen.
Weitere Informationen zum Verwenden von HGraphDB mit Unterstützung für Bigtable finden Sie in der HGraphDB-Dokumentation.
JanusGraph
JanusGraph ist eine skalierbare Graphdatenbank. Sie ist für die Speicherung und Abfrage von Grafiken mit Hunderten von Milliarden Kanten und Eckpunkten optimiert.
Weitere Informationen zur Verwendung von JanusGraph mit Bigtable-Unterstützung finden Sie unter JanusGraph mit Bigtable ausführen oder in der JanusGraph-Dokumentation.
Infrastrukturverwaltung
In diesem Abschnitt werden die Tools zur Infrastrukturverwaltung beschrieben, die sich in Bigtable integrieren lassen.
Pivotal Cloud Foundry
Pivotal Cloud Foundry ist eine Plattform zur Anwendungsentwicklung und -bereitstellung, die die Möglichkeit bietet, eine Anwendung an Bigtable zu binden.
Terraform
Terraform ist ein Open-Source-Tool, das APIs in deklarative Konfigurationsdateien codiert. Diese Dateien können für Teammitglieder freigegeben, als Code behandelt, bearbeitet, überprüft und versioniert werden.
Weitere Informationen zur Verwendung von Bigtable mit Terraform finden Sie in der Terraform-Dokumentation unter Bigtable-Instanz und Bigtable-Tabelle.
Zeitachsen-Datenbanken und -Monitoring
In diesem Abschnitt werden Zeitachsen-Datenbanken und -Überwachungstools beschrieben, die sich in Bigtable integrieren lassen.
Heroic
Heroic ist ein Überwachungssystem und eine Zeitachsen-Datenbank. Heroic kann Bigtable zur Speicherung seiner Daten nutzen.
Weitere Informationen über Heroic finden Sie im GitHub-Repository spotify/heroic sowie in der Dokumentation zur Konfiguration von Bigtable und zur Konfiguration Messwerten.
OpenTSDB
OpenTSDB ist eine Zeitachsen-Datenbank, die Bigtable zum Speichern verwenden kann. In der OpenTSDB-Dokumentation finden Sie Informationen für den Einstieg.