Arbeitslastverwaltung mit Reservierungen

Auf dieser Seite wird beschrieben, wie Sie BigQuery Reservations zur Verwaltung Ihrer BigQuery-Arbeitslasten verwenden.

Abrechnungsmodell auswählen

Sie können jederzeit zwischen den Abrechnungsmodellen On-Demand- und Pauschalpreis wechseln oder die beiden Modelle kombinieren. Die beiden Preismodelle ergänzen sich. Eine On-Demand-Abrechnung ist effizient. Ein Pauschalpreis ist planbarer.

Diagramm: Abwägung der Reservierungen

Berücksichtigen Sie bei der Auswahl der Pauschalabrechnung die folgenden Faktoren:

  • Kosten: Google empfiehlt, dass Ihre monatlichen Ausgaben für Analysen etwa beim Minimum der Nutzungszusicherung des BigQuery-Pauschalpreises liegen sollten (derzeit 100 Slots pro Monat).
  • Effizienz: On-Demand könnte für Sie in Frage kommen, wenn Sie Wert auf Effizienz legen, da Sie pro Anfrage bezahlen.
  • Planbarkeit. Wenn Sie die monatliche Planbarkeit des Preismodells schätzen, bevorzugen Sie möglicherweise einen Pauschalpreis, bei dem Sie eine monatliche Gebühr bezahlen.
  • Ressourcen: Die Abrechnungsmodelle "Pauschalpreis" und "On-Demand" unterscheiden sich in den angebotenen Kapazitäten. Weitere Informationen finden Sie unter Anzahl der zu erwerbenden Slots schätzen.

Diagramm: Reservierungsentscheidung

Viele Neukunden beginnen mit dem Pauschalpreis. Dabei können Sie jederzeit sehen, wie hoch Ihre Ausgaben für die On-Demand-Abrechnung gewesen wären, und Sie können jederzeit das für Sie geeignete Modell auswählen.

Sie können auch mit Flex-Slots experimentieren, um den Preis und die Leistung der Pauschalabrechnung für Ihre Organisation zu testen, bevor Sie eine stabile Arbeitslastkonfiguration festlegen. Flex-Slots sind ein spezieller Zusicherungstyp:

  • Die Dauer der Zusicherung beträgt nur 60 Sekunden.
  • Sie können Flex-Slots jederzeit kündigen.
  • Abgerechnet wird lediglich die Dauer der Bereitstellung in Sekunden.

Sie können Flex-Slot-Zusicherungen mit anderen Zusicherungstypen kombinieren. Flex-Slots sind ideal für kurzfristige Anwendungsfälle, wenn der Bedarf zwischen Minuten und einigen Tagen liegt, beispielsweise:

  • Planung von größeren Kalenderterminen wie die Steuersaison, Black Friday, beliebte Medienveranstaltungen oder die Markteinführung von Videospielen
  • Zyklische Bedarfsdeckung in Zeiten hoher Nachfrage nach Analysen, z. B. Montagmorgen
  • Abschluss von Data-Warehouse-Auswertungen und Auswahl der optimalen Anzahl Slots

Sie können die On-Demand- und Pauschalpreis-Abrechnungsmodelle auch miteinander kombinieren. Beispiel:

  • Verwenden Sie die On-Demand-Abrechnung für vorhersehbare Arbeitslasten wie regelmäßige Datenverarbeitung und ELT.
  • Verwenden Sie die Pauschalabrechnung für Ad-hoc-Analysen und Data-Science-Arbeitslasten.

Sie können sich in einer Region für einen Pauschalpreis und in einer anderen Region für die On-Demand-Abrechnung entscheiden. Standardmäßig wird die On-Demand-Abrechnung für alle Projekte verwendet. Sie können ein Projekt, einen Ordner oder eine Organisation für eine Abrechnung nach Pauschalpreis in einer Region aktivieren. Weisen Sie sie dazu einer Reservierung zu. Wenn Sie beispielsweise eine Slot-Zusicherung im multiregionalen Standort "US" erwerben und Ihre Organisation der Standardreservierung zuweisen, wird Ihre Organisation im multiregionalen Standort "US" pauschal abgerechnet. Die On-Demand-Abrechnung bleibt jedoch in allen anderen Regionen bestehen.

Innerhalb einer Region können Sie die Pauschal- und On-Demand-Abrechnung kombinieren, wenn Sie einer Reservierung explizit Projekte zuweisen. Jedes Projekt, das keiner Reservierung zugewiesen ist, wird weiterhin per On-Demand-Abrechnung abgerechnet. Durch Zuweisen der Reservierungs-ID none können Sie einem Projekt explizit die On-Demand-Abrechnung zuweisen. Dies ist sinnvoll, wenn Sie einer Reservierung einen Ordner oder eine Organisation zuweisen, aber einrichten möchten, dass für einige Projekte in diesem Ordner oder dieser Organisation die On-Demand-Abrechnung verwendet wird. Weitere Informationen erhalten Sie unter Projekt "None" zuweisen.

Projekte mit On-Demand-Abrechnung verwenden Kapazitäten, die von Ihren zugesicherten Kapazitäten getrennt sind. Diese Projekte wirken sich nicht auf die Verfügbarkeit Ihrer zugesicherten Kapazität aus.

Administrationsprojekt erstellen

Wenn Sie Zusicherungen und Reservierungen erstellen, werden diese mit einem Google Cloud-Projekt verknüpft. Dieses Projekt verwaltet BigQuery Reservations-Ressourcen und ist die wichtigste Basis zur Abrechnung dieser Ressourcen. Es muss aber nicht dasselbe Projekt sein, das Ihre BigQuery-Jobs enthält.

Google empfiehlt, ein eigenes Projekt für Reservations-Ressourcen zu erstellen. Dieses Projekt wird als Administrationsprojekt bezeichnet, da es die Abrechnung und Verwaltung Ihrer Zusicherungen zentralisiert. Geben Sie diesem Projekt einen aussagekräftigen Namen wie bq-COMPANY_NAME-admin. Erstellen Sie dann ein oder mehrere separate Projekte für Ihre BigQuery-Jobs.

Das Administrationsprojekt wird für die zugesicherten Slots abgerechnet. Bei Projekten, die die Slots verwenden, werden die Kosten für die Speicherung in Rechnung gestellt, aber nicht für die Slots selbst. Sie können mehr als eine Art von Tarif erwerben (z. B. monatlich und jährlich) und die Slots in dasselbe Administrationsprojekt einbinden.

Es wird empfohlen, für alle Reservierungen ein Administrationsprojekt zu erstellen. Mit einem einzigen Administrationsprojekt können Sie die Abrechnung verwalten und Slots zuweisen. Aktivieren Sie die BigQuery Reservations API nur für das Administrationsprojekt, damit alle Zusicherungen über dieses Projekt verwaltet werden.

Anzahl der zu kaufenden Slots schätzen

BigQuery ist so konzipiert, dass es mit zunehmenden Ressourcen linear skaliert werden kann. Je nach Arbeitslast ist es wahrscheinlich, dass eine inkrementelle Kapazitätssteigerung entsprechende inkrementelle Vorteile mit sich bringt. Die optimale Anzahl Slots hängt also von der gewünschten Leistung, dem Durchsatz und den verwendeten Dienstprogrammen ab.

Sie können mit Flex-Slots experimentieren, um die beste Konfiguration von Slots zu ermitteln. Beispielsweise können Sie Ihre Arbeitslast mit 500 Slots, dann mit 1.000, 1.500 und schließlich mit 2.000 Slots testen und die Auswirkungen auf die Leistung beobachten.

Sie können auch die aktuelle Slot-Nutzung Ihrer Projekte sowie den gewünschten monatlichen Preis prüfen, den Sie zu zahlen bereit sind. On-Demand-Arbeitslasten haben derzeit eine weiche Slot-Obergrenze von 2.000 Slots. Es ist aber wichtig, mithilfe von INFORMATION_SCHEMA für Jobs, Cloud Logging, der Jobs API oder der BigQuery-Audit-Logs zu prüfen, wie viele Slots tatsächlich von Ihren Projekten verwendet werden. Weitere Informationen finden Sie unter Verfügbare und zugewiesene Slots visualisieren.

Diagramm: Zeitachse der Slot-Nutzung

Arbeitslasten und Abteilungen mithilfe von Reservierungen verwalten

Sie können BigQuery-Reservierungen verwenden, um Ihre zugesicherte Kapazität über Arbeitslasten, Teams oder Abteilungen hinweg zu isolieren. Erstellen Sie dazu zusätzliche Reservierungen und weisen Sie diesen Reservierungen Projekte zu. Eine Reservierung ist ein isolierter Ressourcenpool mit dem zusätzlichen Vorteil, dass ungenutzte Kapazitäten organisationsweit zur Verfügung stehen.

Sie haben beispielsweise eine zugesicherte Gesamtkapazität von 1.000 Slots und drei Typen von Arbeitslasten: Data Science, ELT und BI.

  • Sie können die Reservierung ds mit 500 Slots erstellen und der Reservierung ds alle relevanten Google Cloud-Projekte zuweisen.
  • Sie können die Reservierung elt mit 300 Slots erstellen und Projekte, die Sie für ELT-Arbeitslasten verwenden, der Reservierung elt zuweisen.
  • Sie können die Reservierung bi mit 200 Slots erstellen und Projekte, die mit Ihren BI-Tools verknüpft sind, der Reservierung bi zuweisen.

Zusicherungen löschen.

Anstatt die Kapazität für Arbeitslasten zu partitionieren, können Sie Reservierungen für einzelne Teams oder Abteilungen erstellen.

Reservierungen in verschiedenen Regionen verwalten

Reservierungen sind eine regionale Ressource. In einer Region erworbene Slots und erstellte Reservierungen können in keiner anderen Region verwendet werden. Projekte, Ordner und Organisationen können Reservierungen in einer Region zugewiesen und on demand in einer anderen Region genutzt werden. Damit Sie Reservierungen in einer anderen Region verwalten können, müssen Sie die Region auf der Seite "BigQuery Reservation" ändern:

  1. Klicken Sie in der BigQuery-Konsole auf Reservierungen.
  2. Klicken Sie auf die Schaltfläche Standort und wählen Sie eine Region aus, in der Sie Reservierungen verwalten möchten. Wählen Sie eine andere Region aus.
  3. Sobald eine Region ausgewählt ist, können Sie Slots erwerben, Reservierungen erstellen und ein Projekt einer Reservierung zuweisen.

BigQuery Reservations für komplexe Organisationen

BigQuery Reservations ist eine organisationsbezogene Ressource. Sie erwerben fest zugesagte Kapazitäten zentral, um sie in Ihrem gesamten Unternehmen zu nutzen. Es kann erforderlich sein, dass einzelne Abteilungen BigQuery Reservations selbst verwalten. Dafür erwerben sie zugesicherte Kapazität und verteilen diese Kapazität auf die Abteilung. Diese Kapazität wird ihnen dann in Rechnung gestellt.

Sie können für jede Ihrer Abteilungen eine eigene Google Cloud-Organisation verwenden. In diesem Szenario definieren Sie für jede Organisation ein Administrationsprojekt und verwalten BigQuery Reservations für diese Organisation über das Administrationsprojekt. Zugesicherte oder inaktive Kapazität kann nicht über Organisationen hinweg freigegeben werden.

Inaktive und nicht zugewiesene Slots werden nur für Reservierungen freigegeben, die im selben Administrationsprojekt erstellt wurden. Wenn Sie mehr als ein Administrationsprojekt verwenden, werden Slots nicht reservierungsübergreifend in verschiedenen Administrationsprojekten freigegeben.