Anforderungen an Slotkapazität schätzen

Wenn Sie reservierte Slots in BigQuery erwerben, müssen Sie die richtige Anzahl an Slots für Ihre jeweilige Arbeitslast ermitteln. Mit dem BigQuery-Slot-Schätzer können Sie die Slotkapazität auf der Grundlage historischer Leistungsmesswerte verwalten.

Sie können den Slot-Schätzer für Ihre Version, Reservierung und On-Demand-Arbeitslasten verwenden, um die folgenden Aufgaben auszuführen:

Für die ausgewählten Versionsarbeitslasten gilt:

  • Slot-Kapazität und Auslastungsdaten für die letzten 30 Tagen ansehen und Zeiträume mit Spitzenauslastung ermitteln, in denen meisten Slots verwendet werden.
  • Kostenoptimale Empfehlungen für Zusicherungs- und Autoscaling-Slots mit ähnlicher Leistung ansehen.
  • Aktuelle Reservierungseinstellungen für eine bestimmte Version ansehen.

Für bestimmte Reservierungsarbeitslasten:

  • Slot-Kapazität und Auslastungsdaten für die letzten 30 Tagen ansehen und Zeiträume mit Spitzenauslastung ermitteln, in denen meisten Slots verwendet werden.
  • Rufen Sie Job-Latenz-Perzentile (P90, P95 usw.) auf, um die Abfrageleistung zu verstehen.
  • Modellieren, wie sich eine Erhöhung oder Reduzierung der maximalen Reservierungs-Slots auf die Leistung auswirken könnten

Für On-Demand-Abrechnungsarbeitslasten:

  • On-Demand-Slot-Nutzungsdaten der gesamten Organisation oder eines einzelnen Projekts der letzten 30 Tage aufrufen
  • Kostenoptimale Empfehlungen für Zusicherungs- und Autoscaling-Slots mit ähnlicher Leistung ansehen, wenn Sie zur Enterprise Edition wechseln.

Kunden, die die Enterprise-Version, die Enterprise Plus-Version oder die On-Demand-Abrechnung verwenden, können den BigQuery-Slot-Recommender verwenden, um die Slot-Nutzung anzuzeigen, Zusicherungen zu optimieren und die Leistung zu verbessern. Weitere Informationen finden Sie unter Slot-Empfehlungen für Editionen ansehen.

Beschränkungen

  • Die Daten sind auf die letzten 30 Tage beschränkt.
  • Die Modelle enthalten keine ML_EXTERNAL-Zuweisungen. Wenn ein großer Prozentsatz Ihrer Slots für ML_EXTERNAL-Zuweisungen verwendet wird, sind die modellierten Ergebnisse weniger genau.

Vorbereitung

Weisen Sie IAM-Rollen (Identity and Access Management) zu, die Nutzern die erforderlichen Berechtigungen zum Ausführen der einzelnen Aufgaben in diesem Dokument gewähren.

Erforderliche Berechtigungen

Wenn Sie den Slot Estimator für Reservierungsdaten verwenden möchten, benötigen Sie die folgenden IAM-Berechtigungen für das Administrationsprojekt:

  • bigquery.reservations.list
  • bigquery.reservationAssignments.list
  • bigquery.capacityCommitments.list

Jede der folgenden vordefinierten IAM-Rollen enthält die Berechtigungen, die Sie benötigen, um den Slot Estimator zu verwenden:

  • roles/bigquery.admin
  • roles/bigquery.resourceAdmin
  • roles/bigquery.resourceEditor
  • roles/bigquery.resourceViewer
  • roles/bigquery.user

Wenn Sie den Slot Estimator für On-Demand-Nutzungsdaten verwenden möchten, müssen Sie die Reservations API für ein Projekt aktivieren, das Sie als Administrationsprojekt für die Verwaltung von Reservierungen verwenden möchten. Abgesehen von den obigen Berechtigungen benötigen Sie außerdem eine der folgenden IAM-Berechtigungen für Ihre Organisation, um Daten auf Organisationsebene aufzurufen, oder für das Projekt, um Daten auf Projektebene aufzurufen:

  • bigquery.jobs.listExecutionMetadata (kann nur auf Organisationsebene angewendet werden)
  • bigquery.jobs.listAll (kann sowohl auf Organisations- als auch auf Projektebene angewendet werden)

Jede der folgenden vordefinierten IAM-Rollen enthält die Berechtigungen, die Sie benötigen, um den Slot Estimator zu verwenden:

  • roles/bigquery.admin
  • roles/bigquery.resourceAdmin
  • roles/bigquery.resourceEditor
  • roles/bigquery.resourceViewer

Zum Aufrufen der Empfehlungen für die Zusicherungs-Slots benötigen Sie außerdem die unter Slot-Empfehlungen für Editionen ansehen beschriebenen Berechtigungen.

Weitere Informationen zu IAM-Rollen in BigQuery finden Sie unter Vordefinierte Rollen und Berechtigungen.

Slotkapazität und -auslastung aufrufen

Rufen Sie den Slot Schätzer auf, um die Slotkapazität und -auslastung im Zeitverlauf anzuzeigen:

  1. Öffnen Sie in der Google Cloud Console die Seite „BigQuery“.

    BigQuery aufrufen

  2. Wählen Sie Ihr Administrationsprojekt aus.

    1. Klicken Sie oben auf der Seite auf das Drop-down Auswählen aus.
    2. Wählen Sie im angezeigten Fenster Auswählen aus Ihr Projekt aus.

  3. Gehen Sie im Navigationsbereich zum Abschnitt Kapazitätsverwaltung.

  4. Klicken Sie auf den Tab Slot-Estimator.

Das Auslastungsdiagramm zeigt die Slot-Kapazität und -Auslastung in den letzten 30 Tagen, berechnet mit stündlicher Genauigkeit.

Der Tab Nutzung und Auslastung nach Prozentsatz zeigt die Slot-Auslastung als Prozentsatz der Slot-Nutzung nach der maximalen Slot-Anzahl an.

Auslastung in %

Auf dem Tab Nutzung und Auslastung nach Kapazität werden die maximale Slot-Anzahl und die Nutzung als absolute Werte angezeigt.

Nutzung und Kapazität

Sie können eine Versions- oder On-Demand-Option aus dem Drop-down-Menü Quelle auswählen, um sich Statistiken für verschiedene Bereiche anzusehen. Wenn Sie eine Version auswählen, werden im Drop-down-Menü Reservierung die entsprechenden Reservierungen angezeigt.

Bei On-Demand-Optionen können Sie entweder ein einzelnes Projekt oder die gesamte Organisation aus dem Drop-down-Menü Empfehlungen für auswählen, wenn Sie Berechtigungen auf Organisationsebene haben. Auf der Seite Slot-Schätzer werden nur Informationen auf Projektebene angezeigt, wenn Sie nur Berechtigungen auf Projektebene haben.

On-Demand-Optionen für Slot-Estimator

Die Statistiken für den Tab Nutzung und Auslastung nach Kapazität können je nach Bereich geringfügig variieren:

  • Für die Versionsquelle wird die maximale Slot-Anzahl angezeigt, die für die gesamte Version, für Zusicherungs-Slots, für die Summe der Referenz-Slots, für die durchschnittliche Slot-Nutzung, für die P99-Slot-Nutzung und für die P50-Slot-Nutzung verfügbar ist.
  • Für eine bestimmte Reservierung werden die maximale Reservierungs-Slot-Anzahl, die Referenz-Slots, die durchschnittliche Slot-Nutzung, die P99-Slot-Nutzung und die P50-Slot-Nutzung angezeigt.
  • Für die On-Demand-Quelle werden die durchschnittliche Slot-Nutzung, die P99-Slot-Nutzung und die P50-Slot-Nutzung angezeigt.

Slot-Leistung des Modell

Wenn eine Reservierung ausgewählt wird, können Sie den Slot-Schätzer verwenden, um Jobleistungsdaten aufzurufen und die Auswirkungen der Änderung der maximalen Slot-Anzahl zu modellieren. Mit dem Slot-Estimator können Sie modellieren, wie sich die Leistung auf verschiedenen Kapazitätsebenen ändern kann, und zwar von 80 % des Mindestwerts für die maximale Slot-Größe im Beobachtungszeitraum bis 150 % der aktuellen maximalen Slot-Anzahl. Mit anderen Worten: Die Verringerung der Optionen darf 20 % der Mindestkapazität des 30-Tage-Zeitraums nicht überschreiten, während die Erhöhung der Optionen 50 % der aktuellen Kapazität nicht überschreiten darf.

Die Modelle gehen von einer Wiederholung des Nutzungsmusters der letzten 30 Tage aus. Dabei bleibt alles gleich, nur bei den Slots ändern sich etwas.

Die geschätzte Leistungsverbesserungen basieren auf mehreren Faktoren. Die wichtigsten Faktoren sind die Anzahl der Slots im Modell und der Anteil der Jobs in jedem Perzentil-Bucket, der während Spitzenzeiten ausgeführt wurde, im Vergleich zu regulären Zeiträumen. Spitzenzeiten sind als Dauer definiert, in der fast alle Slots genutzt wurden. Jobs, die zu diesen Zeiten ausgeführt werden, sind am größten von Slot-Konflikten betroffen und sehen daher die höchste Leistungssteigerung durch zusätzliche Slots. Infolgedessen können unterschiedliche Buckets von Jobs unterschiedliche Auswirkungen von der gleichen Kapazitätserhöhung haben, je nachdem, wann sie ausgeführt werden.

Führen Sie die folgenden Schritte aus, um die Slotleistung zu modellieren:

  1. Öffnen Sie in der Google Cloud Console die Seite „BigQuery“.

    BigQuery aufrufen

  2. Wählen Sie Ihr Administrationsprojekt aus.

    1. Klicken Sie oben auf der Seite auf das Drop-down Auswählen aus.
    2. Wählen Sie im angezeigten Fenster Auswählen aus Ihr Projekt aus.

  3. Gehen Sie im Navigationsbereich zum Abschnitt Kapazitätsverwaltung.

  4. Klicken Sie auf den Tab Slot-Estimator.

  5. Wählen Sie im Drop-down-Menü Reservierung eine bestimmte Reservierung aus. Das Modell enthält die Anzahl der inaktiven Slots, die die Reservierung zu einem bestimmten Zeitpunkt ausleihen konnte.

  6. Wählen Sie im Drop-down-Menü Modell mit zusätzlichen Slots zur maximalen Anzahl von Slots einen oder mehrere Slot-Werte für das Modell aus und klicken Sie auf OK.

Die Tabelle unter Änderungen der Jobleistung mit weiteren Slots zeigt die Daten zur Jobleistung der letzten 30 Tage sowie die geschätzte Leistungsänderung beim Erhöhen oder Verringern der maximalen Slot-Anzahl. Die Daten werden für alle Jobs, die im ausgewählten Zeitraum ausgeführt wurden, nach Jobdauer in Prozentsätzen gruppiert. Die durch das Glühbirnensymbol gekennzeichnete Spalte entspricht der Empfehlung zur Leistungsverbesserung für die ausgewählte Reservierung.

Slotmodellierung

Die Leistungsdaten sind nach Perzentil aufgeschlüsselt. Die Tabelle teilt die Daten in höchstens 12 Buckets auf: P10 bis P90 sowie P95, P99 und P100. Der P100-Bucket umfasst die obersten 1 % der Jobs mit der längsten Laufzeit, P99 die obersten 96 % bis 99 %, P95 die obersten 91 % bis 95 %, P90 81 % bis 90 % und so weiter. Abhängig von den Daten können in der Tabelle die Daten in weniger Buckets gruppiert werden. In diesem Fall enthält die Tabelle weniger Zeilen.

Für jeden Perzentil-Bucket enthält die Tabelle die folgenden Informationen:

  • Perzentil der Jobdauer: Der Perzentil-Bucket für diese Zeile.
  • Durchschnittliche Jobdauer: Die durchschnittliche Zeit, die für die Ausführung von Jobs in diesem Perzentil-Bucket benötigt wurde.
  • Anzahl der Jobs: Die Anzahl der Jobs in diesem Perzentil-Bucket.
  • Die geschätzte durchschnittliche Dauer für Jobs in diesem Perzentil für jedes Modell.

In der Tabelle wird außerdem für jedes Modell eine geschätzte 30-Tage-Änderungsstatistik angezeigt. Dieser Wert ist die geschätzte Änderung der Gesamtstunden, die für die Verarbeitung der Jobs in den vergangenen 30 Tagen bei verschiedenen Slot-Kapazitäten benötigt wurden.

Modellierungsergebnisse mit Slot-Nutzung verstehen

Wenn bei Reservierungen mit fester Kapazität die Freigabe inaktiver Slots aktiviert ist, können Jobs in dieser Reservierung inaktive Slots von anderen Reservierungen ausleihen. Infolgedessen kann die Auslastung 100 % der zugewiesenen Slots überschreiten. Wenn eine Reservierung ständig inaktive Slots aus anderen Reservierungen nutzt, kann dies ein Zeichen sein, die Reservierungsgröße zu erhöhen. Wenn eine Reservierung hingegen nur selten die volle Kapazität nutzt, ist die Reservierung möglicherweise zu groß.

Bei Reservierungen, die Autoscaling verwenden, werden Slots mit der folgenden Priorität verwendet und hinzugefügt:

  1. Referenz-Slots:
  2. Freigabe inaktiver Slots (falls aktiviert).
  3. Autoscaling-Slots:

Wenn eine Autoscaling-Reservierung ständig Autoscaling-Slots maximal ausschöpft, kann dies ein Zeichen sein, die maximalen Reservierungs-Slots zu erhöhen. Informationen zur Anzeige Ihrer Slot-Nutzung finden Sie unter Diagramme zu administrativen Ressourcen ansehen.

Preise

Sie können den Slot-Schätzer kostenlos nutzen.