Arbeitslastverwaltung mit Reservierungen

Auf dieser Seite wird beschrieben, wie Sie BigQuery Reservations zur Verwaltung Ihrer BigQuery-Arbeitslasten verwenden.

Abrechnungsmodell auswählen

Sie können jederzeit zwischen On-Demand- und kapazitätsbasierten Abrechnungsmodellen wechseln oder die beiden Modelle kombinieren. Die beiden Preismodelle ergänzen sich. Bei der On-Demand-Abrechnung können Sie Slots nur bezahlen, wenn Sie sie benötigen, während Sie mit kapazitätsbasierten Preisen Slot-Zuweisung für vorhersehbare Arbeitslasten reservieren, im Allgemeinen mit einem Rabatt auf On-Demand-Preise.

Berücksichtigen Sie bei der Auswahl der kapazitätsbasierten Abrechnung die folgenden Faktoren:

• Kosten. Google empfiehlt, dass Ihre monatlichen Ausgaben für Analysen etwa der kapazitätsbasierten BigQuery-Mindestzusicherung entsprechen.
• Effizienz. Wenn Sie Arbeitslasten ausführen, die selten oder inkonsistent sind, sind die On-Demand-Preise möglicherweise effizienter. Dank der On-Demand-Preise zahlen Sie nur für Slots, wenn Sie sie benötigen.
• Planbarkeit. Wenn Sie die monatliche Planbarkeit des Preismodells schätzen, bevorzugen Sie möglicherweise das kapazitätsbasierte Abrechnungsmodell, da Sie die Möglichkeit haben, eine konsistente monatliche Gebühr zu bezahlen.
• Resources: Kapazitätsbasierte und On-Demand-Abrechnungsmodelle unterscheiden sich in Bezug auf die angebotenen Kapazitäten. Weitere Informationen finden Sie unter Anzahl der zu erwerbenden Slots schätzen.

Viele Neukunden beginnen mit der kapazitätsbasierten Abrechnung. Dabei können Sie jederzeit sehen, wie hoch Ihre Ausgaben für die On-Demand-Abrechnung gewesen wären, und Sie können jederzeit das für Sie geeignete Modell auswählen.

Sie können auch mit Slot-Autoscaling experimentieren. Autoscaling-Slots bieten Flexibilität im Umgang mit einem plötzlichen Anstieg der Arbeitslasten und eigenen sich bestens zur Bewältigung von Schwankungen im Kapazitätsbedarf.

Sie können On-Demand- und kapazitätsbasierten Abrechnungsmodelle auch auf Arbeitslast- oder Geschäftseinheitsebene kombinieren, indem Sie Arbeitslasten oder Geschäftseinheiten in verschiedenen Projekten oder Ordnern organisieren und diese jeweils einer Reservierung oder On-Demand-Abrechnung zuordnen.

Hinweis: Mit der On-Demand-Abrechnung erhalten Sie Zugriff auf mindestens 2.000 Slots pro Google Cloud-Projekt. Bei der kapazitätsbasierten Abrechnung können Sie maximal 2.000 Slots nutzen. Ihre Abfragen sind dann möglicherweise je nach Ihren Arbeitslastanforderungen weniger leistungsstark.

Sie können sich in einer Region für die kapazitätsbasierte Abrechnung und in einer anderen Region für die On-Demand-Abrechnung entscheiden. Standardmäßig wird die On-Demand-Abrechnung für alle Projekte verwendet. Sie können für ein Projekt, einen Ordner oder eine Organisation in einer Region die kapazitätsbasierte Abrechnung aktivieren. Weisen Sie sie dazu einer Reservierung zu. Wenn Sie beispielsweise eine Slot-Zusicherung am multiregionalen Standort "US" erwerben und Ihre Organisation der Standardreservierung zuweisen, wird Ihre Organisation am multiregionalen Standort "US" kapazitätsbasiert abgerechnet. In allen anderen Regionen bleibt jedoch die On-Demand-Abrechnung bestehen.

Innerhalb einer Region können Sie die kapazitätsbasierte und die On-Demand-Abrechnung kombinieren, wenn Sie einer Reservierung explizit Projekte zuweisen. Jedes Projekt, das keiner Reservierung zugewiesen ist, wird weiterhin per On-Demand-Abrechnung abgerechnet. Durch Zuweisen der Reservierungs-ID none können Sie einem Projekt explizit die On-Demand-Abrechnung zuweisen. Dies ist sinnvoll, wenn Sie einer Reservierung einen Ordner oder eine Organisation zuweisen, aber einrichten möchten, dass für einige Projekte in diesem Ordner oder dieser Organisation die On-Demand-Abrechnung verwendet wird. Weitere Informationen erhalten Sie unter Projekt "None" zuweisen.

Projekte mit On-Demand-Abrechnung verwenden Kapazitäten, die von Ihren zugesicherten Kapazitäten getrennt sind. Diese Projekte haben keinen Einfluss auf die Verfügbarkeit Ihrer zugesicherten Kapazität.

Administrationsprojekt erstellen

Wenn Sie Zusicherungen und Reservierungen erstellen, werden diese mit einem Google Cloud-Projekt verknüpft. Dieses Projekt verwaltet BigQuery Reservations-Ressourcen und ist die wichtigste Basis zur Abrechnung dieser Ressourcen. Es muss aber nicht dasselbe Projekt sein, das Ihre BigQuery-Jobs enthält.

Google empfiehlt, ein eigenes Projekt für Reservations-Ressourcen zu erstellen. Dieses Projekt wird als Administrationsprojekt bezeichnet, da es die Abrechnung und Verwaltung Ihrer Zusicherungen zentralisiert. Geben Sie diesem Projekt einen beschreibenden Namen wie bq-COMPANY_NAME-admin. Erstellen Sie dann ein oder mehrere separate Projekte für Ihre BigQuery-Jobs.

Nur Projekte innerhalb derselben Organisationsressource wie das Administrationsprojekt können einer Reservierung zugewiesen werden. Wenn das Administrationsprojekt nicht Teil einer Organisation ist, kann nur dieses Projekt die Slots verwenden.

Das Administrationsprojekt wird für die zugesicherten Slots abgerechnet. Bei Projekten, die die Slots verwenden, werden die Kosten für die Speicherung in Rechnung gestellt, aber nicht für die Slots selbst. Sie können mehr als eine Art von Tarif erwerben (z. B. für ein und für drei Jahre) und die Slots in dasselbe Administrationsprojekt einbinden.

Hinweis: Nachdem Sie eine Reservierung oder eine Zusicherung erstellt haben, können Sie sie nicht in ein anderes Administrationsprojekt verschieben.

Wir empfehlen, für alle Reservierungen ein Administrationsprojekt zu erstellen. Die Verwendung eines einzigen Administrationsprojekts vereinfacht die Verwaltung der Abrechnung und die Zuweisung von Slots. Aktivieren Sie die BigQuery Reservations API nur für das Administrationsprojekt, damit alle Zusicherungen über dieses Projekt verwaltet werden.

Mehrere Administrationsprojekte erstellen

In einigen Fällen möchten Sie möglicherweise mehrere Administrationsprojekte erstellen:

• Wenn Sie Kosten aus mehreren Reservierungen und Zusicherungen in verschiedene Organisationseinheiten aufteilen möchten.
• Eine oder mehrere Slot-Zusicherungen, die bestimmten Gruppen von Reservierungen zugeordnet werden.

Inaktive Slotkapazität wird nicht zwischen Reservierungen in verschiedenen Administrationsprojekten geteilt.

Auf der Seite BigQuery der Google Cloud Console können Sie Reservierungen und Zusicherungen nur für das aktuell ausgewählte Administratorprojekt aufrufen.

Anzahl der zu kaufenden Slots schätzen

BigQuery ist so konzipiert, dass es mit zunehmenden Ressourcen linear skaliert werden kann. Je nach Arbeitslast ist es wahrscheinlich, dass eine inkrementelle Kapazitätssteigerung entsprechende inkrementelle Vorteile mit sich bringt. Die optimale Anzahl Slots hängt also von der gewünschten Leistung, dem Durchsatz und den verwendeten Dienstprogrammen ab.

Sie können mit Referenz- und Autoscaling-Slots experimentieren, um die beste Konfiguration von Slots zu ermitteln. Beispielsweise können Sie Ihre Arbeitslast mit 500 Referenz-Slots, dann mit 1.000, 1.500 und schließlich mit 2.000 testen und die Auswirkungen auf die Leistung beobachten.

Sie können auch die aktuelle Slot-Nutzung Ihrer Projekte sowie den gewählten monatlichen Preis prüfen, den Sie zu zahlen bereit sind. On-Demand-Arbeitslasten haben eine weiche Slot-Obergrenze von 2.000 Slots. Es ist aber wichtig, mithilfe von INFORMATION_SCHEMA.JOBS*-Ansichten, Cloud Logging, der Jobs API oder der BigQuery-Audit-Logs zu prüfen, wie viele Slots tatsächlich von Ihren Projekten verwendet werden. Weitere Informationen finden Sie unter Verfügbare und zugewiesene Slots visualisieren.

Nachdem Sie Slots gekauft und Ihre Arbeitslasten mindestens sieben Tage lang ausgeführt haben, können Sie den Slot-Estimator (Vorschau) verwenden, um die Leistung zu analysieren und die Auswirkungen des Hinzufügens oder Reduzierens von Slots zu modellieren. Weitere Informationen finden Sie unter Anforderungen an die Slotkapazität schätzen.

Arbeitslasten und Abteilungen mithilfe von Reservierungen verwalten

Sie können BigQuery-Reservierungen verwenden, um Ihre zugesicherte Kapazität über Arbeitslasten, Teams oder Abteilungen hinweg zu isolieren. Erstellen Sie dazu zusätzliche Reservierungen und weisen Sie diesen Reservierungen Projekte zu. Eine Reservierung ist ein isolierter Ressourcenpool mit dem zusätzlichen Vorteil, dass ungenutzte Kapazitäten organisationsweit zur Verfügung stehen.

Sie haben beispielsweise eine zugesicherte Gesamtkapazität von 1.000 Slots und drei Typen von Arbeitslasten: Data Science, ELT und BI.

• Sie können die Reservierung ds mit 500 Slots erstellen und der Reservierung ds alle relevanten Google Cloud-Projekte zuweisen.
• Sie können die Reservierung elt mit 300 Slots erstellen und Projekte, die Sie für ELT-Arbeitslasten verwenden, der Reservierung elt zuweisen.
• Sie können die Reservierung bi mit 200 Slots erstellen und Projekte, die mit Ihren BI-Tools verknüpft sind, der Reservierung bi zuweisen.

Anstatt die Kapazität für Arbeitslasten zu partitionieren, können Sie Reservierungen für einzelne Teams oder Abteilungen erstellen.

Reservierungen in verschiedenen Regionen verwalten

Reservierungen sind eine regionale Ressource. In einer Region erworbene Slots und erstellte Reservierungen können in keiner anderen Region verwendet werden. Projekte, Ordner und Organisationen können Reservierungen in einer Region zugewiesen und on demand in einer anderen Region genutzt werden. Damit Sie Reservierungen in einer anderen Region verwalten können, müssen Sie die Region auf der BigQuery-Seite Kapazitätsverwaltung ändern:

1. Klicken Sie in der BigQuery-Konsole auf Reservierungen.
2. Klicken Sie auf die Schaltfläche Standort und wählen Sie eine Region aus, in der Sie Reservierungen verwalten möchten.
3. Sobald eine Region ausgewählt ist, können Sie Slots erwerben, Reservierungen erstellen und ein Projekt einer Reservierung zuweisen.

BigQuery Reservations für komplexe Organisationen

BigQuery Reservations ist eine organisationsbezogene Ressource. Sie erwerben Reservierungen zentral, um sie in Ihrer gesamten Organisation zu nutzen. Es kann erforderlich sein, dass einzelne Abteilungen ihre BigQuery-Reservierungen verwalten, indem sie zugesicherte Kapazität erwerben und diese Kapazität auf die Abteilung verteilen. Das Administrationsprojekt ist mit einem Cloud-Rechnungskonto verknüpft, dem die Kapazität in Rechnung gestellt wird.

Sie können für jede Ihrer Abteilungen eine eigene Google Cloud-Organisation verwenden. In diesem Szenario definieren Sie für jede Organisation ein Administrationsprojekt und verwalten BigQuery Reservations für diese Organisation über das Administrationsprojekt. Zugesicherte oder inaktive Kapazität kann nicht über Organisationen hinweg freigegeben werden.

Inaktive und nicht zugewiesene Slots werden nur für Reservierungen freigegeben, die im selben Administrationsprojekt und in derselben Version erstellt wurden. Wenn Sie mehr als ein Administrationsprojekt verwenden, werden Slots nicht reservierungsübergreifend in verschiedenen Administrationsprojekten freigegeben.