Einführung in die Arbeitslastverwaltung

Mit der BigQuery-Arbeitslastverwaltung können Sie Ressourcen und Features steuern, die für die Datenanalyse in Ihrer Organisation verfügbar sind, und wie Sie Abrechnungsmodelle definieren. Die in Slots gemessene BigQuery-Rechenkapazität kann in Reservierungen und Zusicherungen erworben werden, die Sie dann Ihrer Organisation zuweisen, um Jobs auszuführen.

BigQuery bietet zwei Modelle der Arbeitslastverwaltung für die Datenanalyse, auch Computing genannt. Bei der On-Demand-Abrechnung zahlen Sie für die Byte, die beim Abfragen Ihrer Daten verarbeitet werden. Bei der kapazitätsbasierten Abrechnung reservieren Sie die Verarbeitungskapazität für Arbeitslasten, wobei sich die Kapazität automatisch nach oben und unten skalieren lässt.

Sie können jederzeit zwischen On-Demand- und kapazitätsbasierten Abrechnungsmodellen wechseln oder die beiden Modelle kombinieren. Das kapazitätsbasierte Modell ermöglicht Ihnen die explizite Kontrolle über Slots und Verarbeitungskapazität, während das On-Demand-Modell nicht funktioniert.

Diagramm: Abwägung der Reservierungen

In den folgenden Modellen wird definiert, wie Sie Arbeitslasten verwalten und wie die Abrechnung erfolgt:

  • On-Demand-Preis: Standardmäßig werden Ihnen die Daten in Rechnung gestellt, die von Ihren Abfragen gescannt wurden. Sie haben eine feste Abfrageverarbeitungskapazität pro Projekt und Sie zahlen nur für die Anzahl der verarbeiteten Byte.

  • Kapazitätsbasierte Preise: Sie erwerben dedizierte Abfrage- oder Autoscaling-Kapazität für reduzierte Preise. Die Kapazität wird in Slots gemessen, die Sie Arbeitslasten oder Teilen Ihrer Organisation zuweisen. Die kapazitätsbasierte Abrechnung bietet die Möglichkeit, Zusicherungen, mit denen Sie sich über einen Zeitraum von einem oder drei Jahren zu einem reduzierten Preis auf eine konsistente Verarbeitungskapazität verpflichten können. Für verarbeitete Byte fallen bei Verwendung des kapazitätsbasierten Modells keine Kosten an. Vorteile der kapazitätsbasierten Preise:

    • Kosten. Als Best Practice können Sie Ihre minimale monatliche Analysenutzung als kapazitätsbasierte BigQuery-Zusicherung festlegen, um die Kosten zu senken.
    • Planbarkeit. Kapazitätsbasierte Slots ermöglichen konsistentere monatliche Gebühren.
    • Zentralisierter Kauf. Sie können Slots für Ihre gesamte Organisation erwerben und zuweisen, anstatt für jedes Projekt, das BigQuery verwendet.
    • Flexibilität: Sie wählen aus, wie viel Kapazität einer Arbeitslast zugewiesen werden soll, oder lassen die Kapazität von BigQuery automatisch basierend auf Ihren Arbeitslastanforderungen skalieren. Die Abrechnung erfolgt sekundengenau mit einer Mindestnutzungsdauer von einer Minute.

Das Erstellen einer Kapazitätszusicherung ist optional, wenn Sie mit Reservierungen arbeiten, die BigQuery-Versionen verwenden. Es kann jedoch die Kosten für stabile Arbeitslasten reduzieren.

Sie können Abrechnungsmodelle kombinieren. Sie können zum Beispiel einige Arbeitslasten mit On-Demand-Preisen und andere mit kapazitätsbasierten Preisen ausführen. Da das Abrechnungsmodell pro Projekt angegeben ist, müssten Sie daher für Ihre Abfragejobs mehrere Projekte verwenden. Weitere Informationen zu den Preisen von BigQuery für Reservierungen finden Sie hier:

Slots

Die Verarbeitungskapazität in BigQuery wird in Slots gemessen. Slots stellen virtuelle CPUs dar, die zum Abfragen von Daten verwendet werden. Im Allgemeinen können Sie durch den Zugriff auf mehr Slots mehr gleichzeitige Abfragen ausführen und komplexe Abfragen schneller ausführen. Mit dem kapazitätsbasierten Preismodell können Sie ein Slot-Volumen reservieren. Ihre Abfragen werden innerhalb dieser Kapazität ausgeführt und Sie bezahlen für jede bereitgestellte Sekunde kontinuierlich. Wenn Sie beispielsweise 2.000 BigQuery-Slots erwerben, sind Ihre Abfragen insgesamt zusammen jederzeit auf 2.000 virtuelle CPUs beschränkt. Sie haben diese Kapazität, bis Sie sie löschen, und Sie zahlen für 2.000 Slots, bis Sie sie löschen.

Weitere Informationen zu Slots und ihrer Verwendung finden Sie unter Informationen zu Slots.

Slotkontingente

Slot-Kontingente schützen BigQuery. Der Kontingenttyp hängt vom Preismodell des Slots ab:

  • On-Demand-Preismodell: Das Pro-Projekt-Slot-Kontingent mit vorübergehender Burst-Funktion ist für die meisten Nutzer ausreichend. Abhängig von Ihren Arbeitslasten kann der Zugriff auf mehr Slots die Abfrageleistung verbessern. Informationen über die Anzahl der von Ihrem Konto genutzten Slots finden Sie unter BigQuery-Monitoring.

  • Kapazitätsbasiertes Preismodell: Reservierungskontingente und -limits definieren die maximale Anzahl von Slots, die Sie an einem Standort erwerben können. Ihnen werden nur die Reservierungen und Zusicherungen in Rechnung gestellt, nicht die Kontingente.

Informationen zum Erhöhen des Slot-Kontingents finden Sie unter Kontingenterhöhung anfordern.

Reservierungen

Slots werden erworben, Ressourcen zugewiesen und Jobs in Pools zugewiesen, die als Reservierungen bezeichnet werden. Mit Reservierungen können Sie Slots für Ihre Organisation auf sinnvolle Weise zuweisen. Sie können beispielsweise eine Reservierung mit dem Namen prod für Produktionsarbeitslasten und eine separate Reservierung mit dem Namen test für Tests erstellen, sodass Testjobs nicht für Produktionsarbeitslastressourcen konkurrieren. Alternativ können Sie Reservierungen für verschiedene Abteilungen in Ihrer Organisation erstellen.

Wenn Sie Slot-Zusicherungen erwerben, bevor Sie eine Reservierung erstellen, wird automatisch eine Reservierung mit dem Namen default erstellt. Die Reservierung default hat kein spezielles Verhalten. Sie können bei Bedarf zusätzliche Reservierungen erstellen oder die Standardreservierung verwenden.

Informationen zu den Preisen finden Sie unter Kapazitätsbasierte Preise und On-Demand-Preise.

Reservierungseinschränkungen

  • Von Ihnen erstellte Reservierungen werden nicht für andere Organisationen freigegeben.
  • Sie müssen für jede Organisation eine separate Reservierung und ein separates Administrationsprojekt erstellen.
  • Jede Organisation kann maximal zehn Administrationsprojekte mit aktiven Zusicherungen an einem einzelnen Standort haben.
  • Inaktive Kapazität kann nicht zwischen Organisationen oder zwischen verschiedenen Administrationsprojekten innerhalb einer einzelnen Organisation geteilt werden.
  • Zusicherungen und Reservierungen sind regionale Ressourcen. Die in einer bestimmten Region oder Multiregion erworbenen Zusicherungen können nicht für Reservierungen in anderen Regionen oder Multiregionen verwendet werden, auch wenn der Standort mit einer einzigen Region im Standort mit mehreren Regionen enthalten ist. Sie können beispielsweise eine Zusicherung, die Sie am multiregionalen Standort EU erworben haben, nicht für eine Reservierung in europe-west1 verwenden.
  • Zusicherungen und Reservierungen können nicht von einer Region oder Multiregion in eine andere verschoben werden.
  • Die in einem Administrationsprojekt erworbenen Zusicherungen können nicht in ein anderes Administrationsprojekt verschoben werden.
  • Zusicherungen, die mit einer Edition erworben wurden, können nicht mit Reservierungen einer anderen Edition verwendet werden.
  • Inaktive Slots werden nicht zwischen Reservierungen verschiedener Editionen geteilt.
  • Automatisch skalierte Slots können nicht freigegeben werden, da sie herunterskaliert werden, wenn sie nicht mehr benötigt werden.

Reservierungszuweisungen

Damit Sie die erworbenen Slots verwenden können, müssen Sie einer Reservierung ein oder mehrere Projekte, Ordner oder Organisationen zuweisen. Eine Reservierung ist die unterste Ebene, auf der Sie die Slotzuweisung angeben können. Wenn ein Job in einem Projekt ausgeführt wird, verwendet er Slots aus der zugewiesenen Reservierung. Ressourcen können Zuweisungen von ihren übergeordneten Elementen in der Ressourcenhierarchie übernehmen. Auch wenn ein Projekt keiner Reservierung zugewiesen ist, wird gegebenenfalls die Zuweisung des übergeordneten Ordners oder der übergeordneten Organisation übernommen.

Projekte verwenden die spezifischste Reservierung in der Ressourcenhierarchie, der sie zugewiesen sind. Eine Ordnerzuweisung überschreibt eine Organisationszuweisung und eine Projektzuweisung überschreibt eine Ordnerzuweisung.

Wenn einem Projekt keine zugewiesene oder übernommene Reservierung zugewiesen ist, verwendet der Job die On-Demand-Abrechnung. Weitere Informationen zur Ressourcenhierarchie finden Sie unter BigQuery-Ressourcen organisieren.

Ressourcen können None zugewiesen werden, um anzugeben, dass keine Zuweisung vorhanden ist. Wenn Projekten None zugewiesen ist, wird immer die On-Demand-Abrechnung verwendet. Ein häufiger Anwendungsfall für None-Zuweisungen ist die Zuweisung einer Organisation zu einer Reservierung. Anschließend werden mit None bestimmte Projekte oder Ordner aus dieser Reservierung entfernt. Weitere Informationen erhalten Sie unter None ein Projekt zuweisen.

Wenn Sie eine Zuweisung erstellen, geben Sie den Jobtyp für diese Zuweisung an:

  • BACKGROUND: Verwenden Sie diese Reservierung, wenn Sie Ihre eigene Reservierung verwenden möchten, um Ihren Indexverwaltungsjob bei der BigQuery-Suche, BigQuery Change Data Capture (CDC) oder BigLake-Metadaten-Caching-Hintergrundjobs auszuführen. Verwenden Sie diese Reservierung auch, wenn Sie Quelldatenbanken mit den Hintergrundvorgänge von Datastream in BigQuery replizieren. BACKGROUND-Reservierungen sind in der Standardversion nicht verfügbar.

  • CONTINUOUS (Vorabversion): Verwenden Sie diese Reservierung für Jobs vom Typ kontinuierliche Abfrage. Wenn Sie kontinuierliche Abfragen verwenden möchten, müssen Sie sich für die Vorabversion der Funktion registrieren.

  • ML_EXTERNAL: Verwenden Sie diese Reservierung für BigQuery ML-CREATE MODEL-Abfragen, die Dienste außerhalb von BigQuery verwenden. Weitere Informationen finden Sie unter BigQuery ML-Arbeitslasten Slots zuweisen. ML_EXTERNAL-Reservierungen sind in der Standardversion nicht verfügbar.

  • PIPELINE: Verwenden Sie diese Reservierung für Lade- und Extrahierungsjobs.

    Standardmäßig sind Lade- und Extrahierungsjobs kostenlose Vorgänge, die einen gemeinsamen Slot-Pool nutzen. BigQuery verspricht keine Kapazitätsverfügbarkeit für diesen gemeinsamen Pool oder den angezeigten Durchsatz. Wenn Sie große Datenmengen laden, wartet Ihr Job eventuell darauf, dass Slots verfügbar sind. In diesem Fall bietet es sich an, dedizierte Slots zu erwerben und ihnen PIPELINE-Jobs zuzuweisen. Erstellen Sie als Best Practice eine zusätzliche dedizierte Reservierung mit aktivierter Option Inaktive Slots ignorieren. Weitere Informationen zu inaktiven Slots finden Sie unter Inaktive Slots.

    Wenn Lade- und Extrahierungsjobs einer Reservierung zugewiesen sind, können sie nicht mehr auf den kostenlosen Pool zugreifen. Sie sollten die Ressourcennutzung und Jobs überwachen, damit Ihre Reservierungen eine ausreichende Kapazität haben, um eine bessere Leistung als beim Verwenden des freien Pools zu erzielen.

  • QUERY: Verwenden Sie diese Reservierung für nicht kontinuierliche Abfragejobs, einschließlich SQL-, DDL-, DML- und BigQuery ML-Abfragen.

Sie können bestimmten Aufgaben keine Slots zuweisen. Der BigQuery-Planer verarbeitet die Slotzuweisung für die Aufgaben in einer Reservierung. Weitere Informationen zur Verwendung von Slots finden Sie unter Slot-Zuweisung innerhalb einer Reservierung.

Informationen zur Arbeitslastverwaltung

BigQuery-Reservierungen sind organisationsbezogene Ressourcen, die normalerweise einem Projekt gehören, aber von anderen Projekten innerhalb der Organisation verwendet werden können. Sie erwerben Reservierungen zentral, um sie in Ihrer gesamten Organisation zu nutzen. Es kann erforderlich sein, dass einzelne Abteilungen ihre Reservierungen verwalten. Dazu erwerben sie zugesicherte Kapazität und weisen diese Kapazität der Abteilung zu. Das Administrationsprojekt ist mit einem Cloud-Rechnungskonto verknüpft, dem die Kapazität in Rechnung gestellt wird.

Sie können für jede Ihrer Abteilungen eine eigene Google Cloud-Organisation verwenden. In diesem Szenario definieren Sie für jede Abteilung ein Administrationsprojekt und verwalten Reservierungen für diese Abteilung vom Administrationsprojekt aus. Zugesicherte oder inaktive Kapazität kann nicht über Organisationen hinweg freigegeben werden.

Inaktive und nicht zugewiesene Slots werden nur für Reservierungen freigegeben, die im selben Administrationsprojekt und in derselben Version erstellt wurden. Wenn Sie mehr als ein Administrationsprojekt verwenden, werden Slots nicht reservierungsübergreifend in verschiedenen Administrationsprojekten freigegeben.

Organisationsarbeitslasten verwalten

Wenn Sie Zusicherungen und Reservierungen erstellen, werden diese mit einem Google Cloud-Projekt verknüpft. Dieses Projekt verwaltet BigQuery Reservations-Ressourcen und ist die wichtigste Basis zur Abrechnung dieser Ressourcen. Es muss aber nicht dasselbe Projekt sein, das Ihre BigQuery-Jobs enthält.

Erstellen Sie als Best Practice ein dediziertes Projekt für Reservierungsressourcen. Dieses Projekt wird als Administrationsprojekt bezeichnet, da es die Abrechnung und Verwaltung Ihrer Zusicherungen zentralisiert. Geben Sie diesem Projekt einen beschreibenden Namen wie bq-COMPANY_NAME-admin. Erstellen Sie dann ein oder mehrere separate Projekte für Ihre BigQuery-Jobs.

Nur Projekte innerhalb derselben Organisationsressource wie das Administrationsprojekt können einer Reservierung zugewiesen werden. Wenn das Administrationsprojekt nicht Teil einer Organisation ist, kann nur dieses Projekt die diesem Projekt zugewiesenen Slots verwenden.

Das Administrationsprojekt wird für die zugesicherten Slots abgerechnet. Projekte, die Slots aus Reservierungen des Administrationsprojekts verwenden, werden nicht für die Slots in Rechnung gestellt. Sie können mehr als eine Art von Tarif erwerben (z. B. Zusicherungen für ein Jahr und drei Jahre) und die Slots in dasselbe Administrationsprojekt einbinden.

Erstellen Sie als Best Practice ein Administrationsprojekt für alle Reservierungen. Die Verwendung eines einzigen Administrationsprojekts vereinfacht die Verwaltung der Abrechnung und die Zuweisung von Slots. Sie sollten die BigQuery Reservations API nur für das Administrationsprojekt aktivieren, damit alle Zusicherungen über dieses Projekt verwaltet werden.

Arbeitslast- und Abteilungsverwaltung

Sie können BigQuery-Reservierungen verwenden, um Ihre zugesicherte Kapazität über Arbeitslasten, Teams oder Abteilungen hinweg zu isolieren. Erstellen Sie dazu zusätzliche Reservierungen und weisen Sie diesen Reservierungen Projekte zu. Eine Reservierung ist ein isolierter Ressourcenpool mit dem Vorteil, dass inaktive Kapazitäten in der gesamten Organisation genutzt werden können.

Sie haben beispielsweise eine zugesicherte Gesamtkapazität von 1.000 Slots und drei Typen von Arbeitslasten: Data Science, ELT und BI.

  • Sie können die Reservierung ds mit 500 Slots erstellen und der Reservierung ds alle relevanten Google Cloud-Projekte zuweisen.
  • Sie können die Reservierung elt mit 300 Slots erstellen und Projekte, die Sie für ELT-Arbeitslasten verwenden, der Reservierung elt zuweisen.
  • Sie können die Reservierung bi mit 200 Slots erstellen und Projekte, die mit Ihren BI-Tools verknüpft sind, der Reservierung bi zuweisen.

Zusicherungen löschen.

Anstatt die Kapazität für Arbeitslasten zu partitionieren, können Sie Reservierungen für einzelne Teams oder Abteilungen erstellen.

Reservierungen in verschiedenen Regionen verwalten

Reservierungen sind eine regionale Ressource. In einer Region erworbene Slots und erstellte Reservierungen können in keiner anderen Region genutzt werden. Standorte mit einer einzelnen Region stimmen nicht mit multiregionalen Standorten überein, auch wenn der Standort mit einer einzigen Region im Standort mit mehreren Regionen enthalten ist. Sie können beispielsweise keine Reservierung am multiregionalen Standort EU verwenden, um einen Job in europe-west1 auszuführen. Projekte, Ordner und Organisationen können Reservierungen in einer Region zugewiesen und on demand in einer anderen Region genutzt werden. So verwalten Sie Reservierungen in einer anderen Region:

  1. Öffnen Sie in der Google Cloud Console die Seite BigQuery.

    BigQuery aufrufen

  2. Klicken Sie im Navigationsmenü auf Kapazitätsverwaltung.

  3. Wählen Sie in der Liste Standort eine Region aus, in der Sie Reservierungen verwalten möchten.

    Nachdem Sie eine Region ausgewählt haben, können Sie Reservierungen erstellen, Zusicherungen erstellen und einer Reservierung ein Projekt zuweisen.

Zusicherungen

Eine Kapazitätszusicherung ist der Kauf von Slots für einen bestimmten Zeitraum. Slots können in Schritten von 100 Slots bis zu Ihrem Slot-Kontingent erworben werden. Kapazitätszusicherungen sind optional, können jedoch Kosteneinsparungen für stabile Arbeitslasten bieten. Die Anzahl der Zusicherungen, die Sie erstellen können, ist nicht begrenzt. Die Abrechnung erfolgt ab dem Zeitpunkt, an dem Sie Ihren Zusicherungskauf erfolgreich abgeschlossen haben. Aktuelle Preisinformationen finden Sie unter Kapazitätszusicherung – Preise.

  • Zusicherung für 3 Jahre Sie erwerben eine dreijährige Zusicherung. Sie können nach 3x 365 Tagen auswählen, ob Sie den Zusicherungstarif verlängern oder in einen anderen Typ wechseln möchten.

  • Jährliche Zusicherung. Sie erwerben eine Zusicherung von 365 Tagen. Sie können nach 365 Tagen auswählen, ob Sie den Zusicherungstarif verlängern oder in einen anderen Typ wechseln möchten.

Am Ende des Zusicherungszeitraums wird Ihre Zusicherung auf Grundlage des ausgewählten Verlängerungsplans verlängert.

Bei jährlichen oder dreijährigen Zusicherungsplänen werden die Kosten monatlich in Rechnung gestellt. Ihre finanzielle Zusicherung gilt jedoch für die gesamte Mindestlaufzeit und kann nicht monatlich storniert werden. Ihre Nutzung wird täglich im Abrechnungsbericht aktualisiert und kann jederzeit aufgerufen werden.

Slotzusicherungen unterliegen der Kapazitätsverfügbarkeit. Wenn Sie versuchen, Slot-Zusicherungen zu erwerben, ist der Erfolg Ihres Kaufs nicht garantiert. Sobald Sie den Zusicherungskauf erfolgreich abgeschlossen haben, ist die Kapazität bis zum Ablauf der Zusicherung verfügbar.

Zusicherungen verlängern

Sie wählen ein Verlängerungsplan aus, wenn Sie eine Zusicherung erwerben. Sie können den Verlängerungsplan für eine Zusicherung jederzeit bis zum Ablauf ändern. Folgende Verlängerungspläne sind verfügbar:

  • Keine. Nach Ablauf der Zusicherung wird diese entfernt. Reservierungen sind nicht betroffen.
  • Jährlich. Nach Ablauf der Zusicherung wird Ihre Zusicherung um ein weiteres Jahr verlängert.
  • Dreijährig. Nach Ablauf der Zusicherung wird Ihre Zusicherung um drei Jahre verlängert.

Informationen zum Kauf und zur Verlängerung von Zusicherungen finden Sie unter Kapazitätszusicherung erstellen.

Wenn Sie beispielsweise am 5. Oktober 2019 um 18:00 Uhr eine jährliche Zusicherung erworben haben, werden Ihnen ab diesem Zeitpunkt Gebühren in Rechnung gestellt. Sie können die Zusicherung nach dem 4. Oktober 2020 um 18:00 Uhr löschen oder verlängern, wobei zu beachten ist, dass 2020 ein Schaltjahr ist. So können Sie die Verlängerungspläne vor 18:00 Uhr am 4. Oktober 2020 ändern:

  • Wenn Sie sich für eine jährliche Zusicherung entscheiden, verlängert sich Ihre Zusicherung am 4. Oktober 2020 um 18:00 Uhr um ein weiteres Jahr.
  • Wenn Sie sich für eine dreijährige Zusicherung entscheiden, wird Ihre Zusicherung am 4. Oktober 2020 um 18:00 Uhr um drei Jahre verlängert.

Hinweis: Die Verlängerung kann nach Ablauf der Bindung bis zu einer Stunde dauern. Wenn eine Zusicherung beispielsweise am 4. Oktober 2020 um 18:00 Uhr abläuft, wird der Datensatz für die verlängerte Zusicherung am 4. Oktober 2020 zwischen 18:00 Uhr und 19:00 Uhr im System angezeigt. Innerhalb dieses Zeitraums für die Datenaktualisierung fallen keine On-Demand-Gebühren an, da der effektive Beginn der erstellten Bindung 18:00 Uhr ist.

Ablauf der Zusicherung

Erstellte Zusicherungen können erst nach Ablauf der Zusicherung gelöscht werden. Wenn Sie eine jährliche oder dreijährige Zusicherung löschen möchten, legen Sie deren Verlängerungsplan auf NONE fest. Nach Ablauf der Zusicherung wird sie automatisch gelöscht. Weitere Informationen zum Ablauf von Zusicherungen finden Sie unter Ablauf von Zusicherungen.

Wenn Sie versehentlich eine Zusicherung erwerben oder beim Konfigurieren der Zusicherung einen Fehler gemacht haben, wenden Sie sich an den Cloud Billing-Support.

Nächste Schritte