Instanzen, Cluster und Knoten

Wenn Sie Bigtable verwenden möchten , erstellen Sie Instanzen mit Clustern, zu denen Ihre Anwendungen eine Verbindung herstellen können. Jeder Cluster enthält Knoten, also Recheneinheiten, die Ihre Daten verwalten und Wartungsaufgaben ausführen.

Diese Seite enthält weitere Informationen zu Bigtable-Instanzen, -Clustern und -Knoten.

Voraussetzung dafür ist die Kenntnis der Übersicht über Bigtable.

Instanzen

Eine Bigtable-Instanz ist ein Container für Ihre Daten. Instanzen haben einen oder mehrere Cluster, die sich in verschiedenen Zonen befinden. Jeder Cluster hat mindestens einen Knoten.

Eine Tabelle gehört nicht zu einem Cluster oder Knoten, sondern zu einer Instanz. Wenn Sie eine Instanz mit mehr als einem Cluster haben, verwenden Sie die Replikation. Das bedeutet, dass Sie einem einzelnen Cluster keine Tabelle zuweisen und keine eindeutige Richtlinien für die automatische Speicherbereinigung für jeden Cluster in einer Instanz erstellen können. Sie können außerdem nicht festlegen, dass jeder Cluster einen anderen Datensatz in derselben Tabelle speichert.

Eine Instanz hat einige wichtige Eigenschaften, die Sie kennen sollten:

  • Speichertyp (SSD oder HDD)
  • Die Anwendungsprofile, die hauptsächlich für Instanzen mit Replikation verwendet werden

In den folgenden Abschnitten werden diese Eigenschaften beschrieben.

Speichertypen

Wenn Sie eine Instanz erstellen, müssen Sie auswählen, ob die Cluster der Instanz Daten auf SSD oder Festplattenlaufwerken speichern. SSD ist oft, aber nicht immer, die effizienteste und kostengünstigste Wahl.

Die Wahl zwischen SSD und HDD ist unumkehrbar und jeder Cluster in Ihrer Instanz muss denselben Speichertyp verwenden. Aus diesem Grund sollten Sie sich bei der Wahl des richtigen Speichertyps für Ihren Anwendungsfall sicher sein. Weitere Informationen, die Ihnen bei dieser Entscheidung helfen können, finden Sie unter Zwischen SSD- und HDD-Speicher wählen.

Anwendungsprofile

Nachdem Sie eine Instanz erstellt haben, verwendet Bigtable die Instanz, um Anwendungsprofile zu speichern. Bei Instanzen mit Replikation steuern Anwendungsprofile, wie Ihre Anwendungen Verbindungen zu den Clustern der Instanz herstellen.

Auch wenn Ihre Instanz keine Replikation verwendet, können Sie mithilfe von Anwendungsprofilen separate IDs für jede Anwendung oder jede Funktion in einer Anwendung angeben. Anschließend können Sie sich separate Diagramme für jedes Anwendungsprofil in der Google Cloud Console ansehen.

Weitere Informationen zu Anwendungsprofilen finden Sie unter Anwendungsprofile. Unter Anwendungsprofile konfigurieren wird beschrieben, wie Anwendungsprofile einer Instanz eingerichtet werden.

Cluster

Ein Cluster stellt den Bigtable-Dienst an einem bestimmten Standort dar. Jeder Cluster gehört zu genau einer Bigtable-Instanz und eine Instanz kann Cluster in bis zu acht Regionen haben. Wenn Ihre Anwendung Anfragen an eine Bigtable-Instanz sendet, werden diese Anfragen von einem der Cluster in der Instanz verarbeitet.

Jeder Cluster befindet sich in genau einer Zone. Eine Instanz kann Cluster in bis zu acht Regionen haben, in denen Bigtable verfügbar ist. Jede Zone in einer Region kann nur einen Cluster enthalten. Wenn eine Instanz beispielsweise einen Cluster in us-east1-b hat, können Sie einen Cluster in einer anderen Zone in derselben Region, z. B. us-east1-c, oder in einer Zone in einer separaten Region wie europe-west2-a hinzufügen.

Die Anzahl der Cluster, die Sie in einer Instanz erstellen können, hängt von der Anzahl der verfügbaren Zonen in den ausgewählten Regionen ab. Wenn Sie beispielsweise Cluster in 8 Regionen mit jeweils 3 Zonen erstellen, kann die Instanz maximal 24 Cluster haben. Eine Liste der Zonen und Regionen, in denen Bigtable verfügbar ist, finden Sie unter Bigtable-Standorte.

Bigtable-Instanzen, die nur einen Cluster haben, verwenden keine Replikation. Wenn Sie eine Instanz um einen zweiten Cluster erweitern, beginnt Bigtable automatisch mit der Replikation Ihrer Daten. Dazu werden in jeder Zone des Clusters separate Datenkopien gespeichert und Updates zwischen den Kopien synchronisiert. Sie können entscheiden, zu welchem Cluster Ihre Anwendungen eine Verbindung herstellen. Dadurch lassen sich verschiedene Arten von Traffic voneinander isolieren. Sie können Bigtable auch den Traffic zwischen Clustern ausgleichen lassen. Wenn ein Cluster nicht mehr verfügbar ist, kann ein Failover von einem Cluster auf einen anderen erfolgen. Weitere Informationen zur Funktionsweise der Replikation finden Sie unter Replikation – Übersicht.

Knoten

Jeder Cluster in einer Instanz hat einen oder mehrere Knoten. Das sind Rechenressourcen, die Bigtable zur Verwaltung Ihrer Daten verwendet.

Im Hintergrund teilt Bigtable alle Daten in einer Tabelle in separate Tabellenreihen auf. Tabellenreihen werden getrennt von den Knoten auf dem Laufwerk gespeichert, jedoch in derselben Zone, in der sich die Knoten befinden. Eine Tabellenreihe ist einem einzelnen Knoten zugeordnet.

Jeder Knoten ist für Folgendes verantwortlich:

  • Nachverfolgen bestimmter Tabellenreihen auf dem Laufwerk
  • Verarbeitung eingehender Lese- und Schreibvorgänge für die ihm zugeordneten Tabellenreihen
  • Pflegen der ihm zugeordneten Tabellenreihen, z. B. durch regelmäßige Kompaktionen.

Ein Cluster muss genug Knoten haben, um seine aktuelle Arbeitslast und die Menge der gespeicherten Daten bewältigen zu können. Ansonsten ist der Cluster unter Umständen nicht in der Lage, eingehende Anfragen zu verarbeiten, was eine erhöhte Latenz zur Folge haben kann. Halten Sie die CPU- und Laufwerkauslastung Ihrer Cluster im Auge und erweitern Sie eine Instanz um Knoten, wenn deren Messwerte die unten aufgeführten Empfehlungen und Grenzwerte überschreiten.

Weitere Informationen dazu, wie Bigtable Daten speichert und verwaltet, finden Sie unter Architektur von Bigtable.

CPU-Nutzung

Bigtable meldet folgende Messwerte zur CPU-Nutzung:

Messwert Beschreibung
Durchschnittliche CPU-Auslastung

Die knotenweite durchschnittliche CPU-Auslastung im Cluster. Umfasst Änderungsstreamaktivitäten, wenn ein Änderungsstream für eine Tabelle in der Instanz aktiviert ist.

Die empfohlenen Maximalwerte bieten Spielraum für kurze Nutzungsspitzen.

Wenn ein Cluster den Höchstwert länger als ein paar Minuten überschreitet, sollten Sie dem Cluster Knoten hinzufügen.

CPU-Auslastung des am stärksten genutzten Knotens

Die CPU-Auslastung des aktivsten Knotens im Cluster. Dieser Messwert wird zwar aus Kontinuitätsgründen weiterhin bereitgestellt, in den meisten Fällen sollten Sie jedoch den genaueren Messwert CPU-Auslastung des am stärksten genutzten Knotens – hoher Detaillierungsgrad verwenden.

CPU-Auslastung des am stärksten genutzten Knotens – hoher Detaillierungsgrad

Eine detaillierte Messung der CPU-Auslastung des aktivsten Knoten im Cluster. Wir empfehlen, diesen Messwert anstelle des Messwerts CPU-Auslastung des am stärksten genutzten Knotens zu verwenden, da dieser Messwert genauer ist.

Der am stärksten genutzte Knoten ist im Laufe der Zeit nicht unbedingt immer derselbe Knoten. Die Knotennutzung kann sich schnell ändern, insbesondere bei großen Batchjobs oder Tabellenscans.

Wenn der am stärksten genutzte Knoten auch bei vertretbarer durchschnittlicher CPU-Auslastung häufig über dem empfohlenen Wert liegt, wird unter Umständen auf einen kleinen Teil Ihrer Daten sehr viel häufiger zugegriffen als auf den Rest.

  • Sie ermitteln mit dem Key Visualizer-Tool Hotspots in Ihrer Tabelle, die zu Spitzen in der CPU-Auslastung führen können.
  • Überprüfen Sie, ob Ihr Schemadesign eine gleichmäßige Verteilung von Lese- und Schreibzugriffen auf die einzelnen Tabellen ermöglicht.
CPU-Auslastung des Änderungsstreams

Die durchschnittliche CPU-Auslastung, die durch Änderungsstreamaktivitäten auf allen Knoten im Cluster verursacht wird.

CPU-Auslastung nach Anwendungsprofil, Methode und Tabelle

CPU-Auslastung nach Anwendungsprofil, Methode und Tabelle.

Wenn Sie für einen Cluster eine höhere CPU-Nutzung als erwartet beobachten, können Sie mit diesem Messwert ermitteln, ob die CPU-Auslastung eines bestimmten Anwendungsprofils, einer API-Methode oder einer Tabelle die CPU-Auslastung erhöht.

Die Werte für diese Messwerte sollten folgende Werte nicht überschreiten:

Konfiguration Empfohlene Maximalwerte1
  1. Empfohlene Maximalwerte gelten für einen gesamten Cluster. Es gibt keine empfohlenen Maximalwerte für die CPU-Auslastung nach Anwendungsprofil, Methode oder Tabelle. Verwenden Sie diesen detaillierten Messwert, um die möglichen Ursachen der hohen CPU-Auslastung eines Clusters zu beobachten.
  2. Die empfohlenen Maximalwerte sorgen dafür, dass eine Instanz über genügend Kapazität verfügt, um im Falle eines Failovers mit niedriger Latenz weiterzuliefern. In einer Instanz mit zwei Clustern muss beispielsweise jeder Cluster den gesamten Traffic zu 70% verarbeiten können, falls der andere Cluster ausfällt.
Single-Cluster-Routing, beliebig viele Cluster

70% durchschnittliche CPU-Auslastung
90% CPU-Auslastung des am stärksten genutzten Knotens

Multi-Cluster-Routing, Autoscaling aktiviert, 2 oder mehr Cluster

70% durchschnittliche CPU-Auslastung
90% CPU-Auslastung des am stärksten genutzten Knotens

Multi-Cluster-Routing, Autoscaling nicht aktiviert, 2 Cluster

35% durchschnittliche CPU-Auslastung2
45% CPU-Auslastung des am stärksten genutzten Knotens2

Multi-Cluster-Routing, Autoscaling nicht aktiviert, 3 oder mehr Cluster

Abhängig von der Konfiguration. Allgemeine Anwendungsfälle finden Sie unter Beispiele für Replikationseinstellungen.

Laufwerknutzung

Bigtable meldet folgende Messwerte zur Laufwerksnutzung:

Messwert Beschreibung
Speicherauslastung (Byte)

Die Menge der im Cluster gespeicherten Daten. Die Änderungsstreamnutzung ist für diesen Messwert nicht enthalten.

Dieser Wert wirkt sich auf Ihre Kosten aus. Außerdem müssen Sie möglicherweise wie unten beschrieben jedem Cluster Knoten hinzufügen, wenn sich die Datenmenge erhöht.

Speicherauslastung (Max. %)

Der Prozentsatz der verwendeten Speicherkapazität des Clusters. Die Kapazität hängt von der Anzahl der Knoten im Cluster ab. Die Änderungsstreamnutzung ist für diesen Messwert nicht enthalten.

Im Allgemeinen sollten Sie nicht mehr als 70 % des harten Grenzwerts für die Gesamtkapazität nutzen, damit Sie Platz für weitere Daten haben. Wenn Sie Ihrer Instanz keine großen Datenmengen hinzufügen möchten, können Sie bis zu 100 % des harten Grenzwerts ausnutzen.

Wenn Sie mehr als den empfohlenen Prozentsatz des Speicherlimits verwenden, fügen Sie dem Cluster Knoten hinzu. Sie können auch vorhandene Daten löschen. Allerdings belegen gelöschte Daten erst einmal mehr Speicherplatz und erst nach einer Verdichtung weniger.

Ausführliche Informationen zur Berechnung dieses Werts finden Sie unter Speicherauslastung pro Knoten.

Speicherauslastung für Änderungsstreams (Byte)

Der Speicherplatz, der durch Änderungsstreameinträge für Tabellen in der Instanz belegt wird. Dieser Speicher wird nicht auf die gesamte Speicherauslastung angerechnet. Ihnen wird der Speicher für Änderungsstreams in Rechnung gestellt, dieser ist jedoch nicht in der Berechnung der Speicherauslastung (max. %) enthalten.

Laufwerksauslastung

Der Prozentsatz, den Ihr Cluster von der maximal möglichen Bandbreite für HDD-Lesezugriffe verwendet. Nur für HDD-Cluster verfügbar.

Wenn dieser Wert häufig bei 100 % liegt, könnte es zu erhöhter Latenz kommen. Fügen Sie dem Cluster in diesem Fall Knoten hinzu, um den Prozentsatz der Laufwerksauslastung zu reduzieren.

Knoten für replizierte Cluster

Achten Sie bei einer Instanz mit Replikation darauf, dass jeder Cluster genug Knoten für den jeweiligen Anwendungsfall hat:

  • Wenn Sie mithilfe der Replikation eine hohe Verfügbarkeit bereitstellen oder Multi-Cluster-Routing in einem Ihrer Anwendungsprofile verwenden, sollte jeder Cluster die gleiche Anzahl an Knoten haben. Außerdem halbiert sich dadurch die empfohlene CPU-Auslastung, wie schon oben unter CPU-Nutzung erwähnt.

    Diese Konfiguration gewährleistet bei einem erforderlichen automatischen Failover, dass dem responsiven Cluster genug Kapazität zur Bewältigung des gesamten Traffics zur Verfügung steht.

  • Wenn in allen App-Profilen Single-Cluster-Routing verwendet wird, kann jeder Cluster eine andere Anzahl von Knoten haben. Passen Sie die Größe jedes Clusters nach Bedarf auf Basis seiner Arbeitslast an.

    Da Bigtable eine separate Kopie Ihrer Daten für jeden Cluster speichert, muss jeder Cluster immer genug Knoten haben, um Ihre Laufwerksnutzung zu unterstützen und Schreibvorgänge über die Cluster hinweg zu replizieren.

    Sie können bei Bedarf immer ein manuelles Failover von einem Cluster auf einen anderen anstoßen. Wenn allerdings ein Cluster sehr viel mehr Knoten als ein anderer hat und ein Failover auf den Cluster mit der geringeren Knotenanzahl erforderlich ist, müssen Sie unter Umständen zuerst Knoten hinzufügen. Es kann nicht garantiert werden, dass bei einem erforderlichen Failover ausreichend zusätzliche Knoten verfügbar sind. Die einzige Möglichkeit zur Vorabreservierung von Knoten besteht darin, den Cluster um Knoten zu erweitern.

Nächste Schritte