Statistiken zur Abfrageleistung abrufen

In diesem Dokument wird beschrieben, wie Sie mit der Ausführungsgrafik für Abfragen Probleme mit der Abfrageleistung diagnostizieren und Informationen zur Abfrageleistung einsehen können.

BigQuery bietet eine hohe Abfrageleistung, ist jedoch auch ein komplexes verteiltes System mit vielen internen und externen Faktoren, die sich auf die Abfragegeschwindigkeit auswirken können. Aufgrund der deklarativen Beschaffenheit der SQL-Sprache kann die Komplexität der Abfrageausführung verborgen sein. Daher kann es schwierig sein, die Ursache dafür zu finden, sollten Ihre Abfragen langsamer als erwartet oder langsamer als vorherige Ausführungen ausgeführt werden.

Die Ausführungsgrafik für Abfragen bietet eine intuitive Benutzeroberfläche zum Abrufen der Details der Abfrageleistung. So können Sie die Informationen des Abfrageplans im grafischen Format für jede Abfrage prüfen, unabhängig davon, ob sie gerade ausgeführt wird oder bereits abgeschlossen ist.

Über die Ausführungsgrafik für Abfragen können Sie auch Leistungsinformationen für Abfragen abrufen. Leistungsinformationen stellen Ihnen Best-Effort-Vorschläge zum Verbessern der Abfrageleistung bereit. Da die Abfrageleistung mehrteilig ist, liefern die Leistungsinformationen möglicherweise nur ein unvollständiges Bild der Gesamtabfrageleistung.

Erforderliche Berechtigungen

Zur Verwendung der Abfrageausführungsgrafik benötigen Sie die folgenden Berechtigungen:

• bigquery.jobs.get
• bigquery.jobs.listAll

Diese Berechtigungen sind über die folgenden vordefinierten BigQuery-IAM-Rollen (Identity and Access Management) verfügbar:

• roles/bigquery.admin
• roles/bigquery.resourceAdmin
• roles/bigquery.resourceEditor
• roles/bigquery.resourceViewer

Statistiken zur Abfrageleistung aufrufen

Console

So rufen Sie Statistiken zur Abfrageleistung auf:

1. Öffnen Sie in der Google Cloud Console die Seite "BigQuery".

   Zur Seite „BigQuery“

2. Klicken Sie im Editor entweder auf Persönlicher Verlauf oder Projektverlauf.

3. Suchen Sie in der Liste der Abfragejobs nach den für Sie relevanten Abfragejob. Klicken Sie auf Aktionen und wählen Sie Abfrage im Editor öffnen aus.

4. Wählen Sie den Tab Ausführungsgrafik aus, um eine grafische Darstellung aller Phasen der Abfrage zu sehen:

   

   Sehen Sie sich das angezeigte Symbol an, um festzustellen, ob eine Abfragephase Leistungsstatistiken enthält. Phasen mit dem Informationssymbol haben Leistungsstatistiken. Phasen mit einem Häkchensymbol haben keine Leistungsstatistiken.

5. Klicken Sie auf eine Phase, um den Bereich „Phasendetails“ zu öffnen. Dort finden Sie die folgenden Informationen:

   • Informationen zum Abfrageplan für die Phase.
   • Die Schritte, die in der Phase ausgeführt werden.
   • Zulässige Leistungsstatistiken.

   

6. Optional: Wenn Sie eine Abfrage prüfen, die gerade ausgeführt wird, klicken Sie auf Synchronisieren, um die Ausführungsgrafik so zu aktualisieren, dass sie den aktuellen Status der Abfrage widerspiegelt.

   

7. Optional: Klicken Sie auf Top-Phasen nach Dauer hervorheben, um die obersten Phasen nach Phasendauer im Diagramm hervorzuheben.

   

8. Optional: Um die Top-Phasen in der Grafik nach Slot-Zeit hervorzuheben, klicken Sie auf Top-Phasen nach Verarbeitung hervorheben.

   

9. Optional: Klicken Sie auf Shuffle-Umverteilungsphasen anzeigen, um die Shuffle-Umverteilungsphasen in die Grafik aufzunehmen.

   

   Mit dieser Option können Sie die Neupartitionierungs- und Coalesce-Phasen anzeigen lassen, die in der Standardausführungsgrafik ausgeblendet sind.

   Während der Ausführung der Abfrage werden Repartition- und Coalesce-Phasen eingeführt. Sie werden verwendet, um die Datenverteilung auf die Worker zu verbessern, die die Abfrage verarbeiten. Da diese Phasen nicht mit Ihrem Abfragetext zusammenhängen, werden sie ausgeblendet, um den angezeigten Abfrageplan zu vereinfachen.

Für jede Abfrage, bei der Leistungsregressionen auftreten, werden auf dem Tab Jobinformationen Leistungsinformationen angezeigt:

SQL

1. Öffnen Sie in der Google Cloud Console die Seite BigQuery.

   BigQuery aufrufen

2. Geben Sie im Abfrageeditor die folgende Anweisung ein:

   SELECT
     `bigquery-public-data`.persistent_udfs.job_url(
       project_id || ':us.' || job_id) AS job_url,
     query_info.performance_insights
   FROM
     `region-REGION_NAME`.INFORMATION_SCHEMA.JOBS_BY_PROJECT
   WHERE
     DATE(creation_time) >= CURRENT_DATE - 30 -- scan 30 days of query history
     AND job_type = 'QUERY'
     AND state = 'DONE'
     AND error_result IS NULL
     AND statement_type != 'SCRIPT'
     AND EXISTS ( -- Only include queries which had performance insights
       SELECT 1
       FROM UNNEST(
         query_info.performance_insights.stage_performance_standalone_insights
       )
       WHERE slot_contention OR insufficient_shuffle_quota
       UNION ALL
       SELECT 1
       FROM UNNEST(
         query_info.performance_insights.stage_performance_change_insights
       )
       WHERE input_data_change.records_read_diff_percentage IS NOT NULL
     );

3. Klicken Sie auf Ausführen.

Informationen zum Ausführen von Abfragen finden Sie unter Interaktive Abfrage ausführen.

API

Sie können Statistiken zur Abfrageleistung in einem nicht grafischen Format abrufen, indem Sie die API-Methode jobs.list aufrufen und die zurückgegebenen Informationen JobStatistics2 prüfen.

Statistiken zur Abfrageleistung auswerten

In diesem Abschnitt erfahren Sie mehr über Bedeutung der Leistungsinformationen und wie Sie mit diesen umgehen.

Leistungsinformationen sind für zwei Zielgruppen vorgesehen:

• Analysten: Sie führen Abfragen in einem Projekt aus. Sie möchten wissen, warum eine zuvor ausgeführte Abfrage unerwartet langsamer ausgeführt wird, und nach Tipps zur Leistungsverbesserung suchen. Sie haben die unter Erforderliche Berechtigungen beschriebenen Berechtigungen.

• Administratoren von Data Lakes oder Data Warehouses: Sie verwalten die BigQuery-Ressourcen und -Reservierungen Ihrer Organisation. Sie haben die Berechtigungen, die der Rolle „BigQuery-Administrator“ zugeordnet sind.

In jedem der folgenden Abschnitte finden Sie Anleitungen dazu, wie Sie mit einer Leistungsinformation umgehen, die auf Ihrer jeweiligen Rolle basiert.

Slot-Konflikt

Wenn Sie eine Abfrage ausführen, versucht BigQuery, die für die Abfrage erforderliche Arbeit in Aufgaben aufzuteilen. Eine Aufgabe ist ein einzelner Datenabschnitt, der in eine Phase ein- und ausgegeben wird. Ein einzelner Slot übernimmt eine Aufgabe und führt diesen Datenabschnitt für die Phase aus. Idealerweise werden diese Aufgaben von BigQuery-Slots parallel ausgeführt, um eine hohe Leistung zu erzielen. Slot-Konflikte treten auf, wenn Ihre Abfrage viele Aufgaben hat, die ausgeführt werden können, aber BigQuery nicht genügend verfügbare Slots zum Ausführen hat.

Was Sie tun sollten, wenn Sie ein Analyst sind

Reduzieren Sie die Daten, die Sie in Ihrer Abfrage verarbeiten, indem Sie der Anleitung unter In Abfragen verarbeitete Daten reduzieren folgen.

Was Sie tun sollten, wenn Sie ein Analyst sind

Führen Sie die folgenden Aktionen aus, um die Slot-Verfügbarkeit zu erhöhen oder die Slot-Nutzung zu verringern:

• Wenn Sie die On-Demand-Preise von BigQuery verwenden, verwenden Ihre Abfragen einen gemeinsamen Slot-Pool. Sie können zu kapazitätsbasierten Analysepreisen wechseln, indem Sie stattdessen reservations erwerben. Mit Reservierungen können Sie spezielle Slots für Abfragen Ihrer Organisation reservieren.

• Wenn Sie BigQuery-Reservierungen verwenden, achten Sie darauf, dass der Reservierung, die dem Projekt zugewiesen ist, für das die Abfrage ausgeführt wurde, genügend Slots zugewiesen sind. In den folgenden Fällen hat die Reservierung möglicherweise nicht genügend Slots:

  • Es gibt andere Jobs, die Reservierungsslots belegen. Mit Ressourcendiagrammen für Administratoren können Sie sehen, wie Ihre Organisation die Reservierung nutzt.
  • Der Reservierung sind nicht genügend Slots zugewiesen, um Abfragen schnell genug auszuführen. Mit dem Slot-Estimator können Sie schätzen, wie groß Ihre Reservierungen sein sollten, um die Aufgaben Ihrer Abfragen effizient zu verarbeiten.

  Dies können Sie mit einer der folgenden Lösungen machen:

  • Fügen Sie dieser Reservierung weitere Slots hinzu (entweder Referenz-Slots oder maximale Reservierungs-Slots).
  • Erstellen Sie eine zusätzliche Reservierung und weisen Sie sie dem Projekt zu, für das die Abfrage ausgeführt wird.
  • Verteilen Sie ressourcenintensive Abfragen entweder über einen bestimmten Zeitraum innerhalb einer Reservierung oder über verschiedene Reservierungen.

• Die Tabellen, die Sie abfragen, müssen geclustert sein. Durch das Clustering können Spalten mit korrelierten Daten in BigQuery schnell gelesen werden.

• Die Tabellen, die Sie abfragen, müssen partitioniert sein. Bei nicht partitionierten Tabellen liest BigQuery die gesamte Tabelle. Durch das Partitionieren Ihrer Tabellen können Sie nur den Teil Ihrer Tabellen abfragen, der Sie interessiert.

Unzureichendes Shuffle-Kontingent

Bevor Sie Ihre Abfrage ausführen, teilt BigQuery die Logik Ihrer Abfrage inPhasen auf. Die Aufgaben für jede Phase werden von BigQuery-Slots ausgeführt. Wenn ein Slot die Ausführung der Aufgaben einer Phase abgeschlossen hat, werden die Zwischenergebnisse in shuffle gespeichert. In den nachfolgenden Phasen der Abfrage werden Daten aus dem Zufallsmix gelesen, um die Ausführung der Abfrage fortzusetzen. Ein unzureichendes Shuffle-Kontingent tritt auf, wenn Ihre Daten, die in den Shuffle geschrieben werden müssen, Ihre Shuffle-Kapazität übersteigen.

Was Sie tun sollten, wenn Sie ein Analyst sind

Ähnlich wie bei Slot-Konflikten kann die Reduzierung der von Ihren Abfragen verarbeiteten Datenmenge die Shuffle-Nutzung reduzieren. Folgen Sie dazu der Anleitung in In Abfragen verarbeitete Daten reduzieren.

Bestimmte Vorgänge in SQL führen in der Regel zu einer stärkeren Nutzung von Shuffle, insbesondere JOIN-Vorgänge und GROUP BY-Klauseln. Wenn Sie nach Möglichkeit die Datenmenge bei diesen Vorgängen reduzieren, kann sich dies positiv auf die Shuffle-Nutzung auswirken.

Was Sie tun sollten, wenn Sie ein Analyst sind

Verringern Sie die Belegung von Shuffle-Kontingenten. Führen Sie dazu die folgenden Aktionen aus:

• Ähnlich wie bei der Slot-Belegung verwenden Ihre Abfragen bei Verwendung der On-Demand-Preise von BigQuery einen gemeinsamen Slot-Pool. Sie können zu kapazitätsbasierten Analysepreisen wechseln, indem Sie stattdessen reservations erwerben. Reservierungen bieten Ihnen spezielle Slots und Zufallsmix-Kapazitäten für die Abfragen Ihrer Projekte.

• Wenn Sie BigQuery-Reservierungen verwenden, enthalten Slots dedizierte Shuffle-Kapazität. Wenn in Ihrer Reservierung einige Abfragen ausgeführt werden, die Shuffle in großem Umfang verwenden, kann dies dazu führen, dass andere parallel ausgeführte Abfragen nicht genügend Shuffle-Kapazität erhalten. Sie können feststellen, welche Jobs die Shuffle-Kapazität stark nutzen, indem Sie die Spalte period_shuffle_ram_usage_ratio in der Ansicht INFORMATION_SCHEMA.JOBS_TIMELINE abfragen.

  Dies können Sie mit einer der folgenden Lösungen machen:

  • Fügen Sie dieser Reservierung weitere Slots hinzu.
  • Erstellen Sie eine zusätzliche Reservierung und weisen Sie sie dem Projekt zu, für das die Abfrage ausgeführt wird.
  • Verteilen Sie suffle-intensive Abfragen entweder über einen bestimmten Zeitraum innerhalb einer Reservierung oder über verschiedene Reservierungen.

Änderung der Dateneingabeskalierung

Diese Leistungsinformationen zeigen an, dass Ihre Abfrage für eine bestimmte Eingabetabelle mindestens 50 % mehr Daten liest als beim letzten Ausführen der Abfrage. Mit dem Tabellenänderungsverlauf können Sie feststellen, ob die Größe einer der in der Abfrage verwendeten Tabellen kürzlich erhöht wurde.

Was Sie tun sollten, wenn Sie ein Analyst sind

Reduzieren Sie die Daten, die Sie in Ihrer Abfrage verarbeiten, indem Sie der Anleitung unter In Abfragen verarbeitete Daten reduzieren folgen.

Join mit hoher Kardinalität

Wenn eine Abfrage einen Join mit nicht eindeutigen Schlüsseln auf beiden Seiten des Joins enthält, kann die Größe der Ausgabetabelle erheblich größer sein als die Größe einer der Eingabetabellen. Diese Erkenntnis zeigt, dass das Verhältnis von Ausgabezeilen zu Eingabezeile hoch ist und liefert Informationen zu dieser Zeilenanzahl.

Was Sie tun sollten, wenn Sie ein Analyst sind

Prüfen Sie Ihre Join-Bedingungen, um zu bestätigen, dass die Erhöhung der Größe der Ausgabetabelle erwartet wird. Vermeiden Sie die Verwendung von Cross Joins. Wenn Sie unbedingt einen Kreuzverbund verwenden müssen, können Sie die Ergebnisse mit einer GROUP BY-Klausel vorab aggregieren oder eine Fensterfunktion verwenden. Weitere Informationen finden Sie unter Daten vor Verwendung eines JOIN reduzieren.

Partitionsverzerrung

Vorschau

Diese Funktion unterliegt den „Nutzungsbedingungen für Pre-GA-Angebote“ im Abschnitt „Allgemeine Nutzungsbedingungen“ der dienstspezifischen Nutzungsbedingungen. Pre-GA-Funktionen sind „wie besehen“ verfügbar und werden möglicherweise nur eingeschränkt unterstützt. Weitere Informationen finden Sie in den Beschreibungen der Startphase.

Wenn Sie für dieses Feature Feedback geben oder Support anfordern möchten, senden Sie eine E-Mail an [e-mail].

Eine verzerrte Datenverteilung kann dazu führen, dass Abfragen langsam ausgeführt werden. Wenn eine Abfrage ausgeführt wird, teilt BigQuery die Daten in kleine Partitionen auf. Partitionen können nicht zwischen Slots geteilt werden. Wenn die Daten also ungleichmäßig verteilt sind, werden einige Partitionen sehr groß, wodurch der Slot, der die übergroße Partition verarbeitet, abstürzt.

Verzerrungen treten in JOIN Phasen auf. Wenn Sie einen JOIN-Vorgang ausführen, teilt BigQuery die Daten auf der rechten und linken Seite des JOIN-Vorgangs in Partitionen auf. Wenn eine Partition zu groß ist, werden die Daten durch die Phasen der Neuaufteilung ausgeglichen. Wenn die Abweichung zu schlecht ist und BigQuery das Gleichgewicht weiter herstellen kann, wird der JOIN-Phase die Statistik zur Partitionsabweichung hinzugefügt. Dieser Vorgang wird als Neuaufteilungsphase bezeichnet. Wenn BigQuery große Partitionen erkennt, die nicht weiter aufgeteilt werden können, wird der Phase JOIN eine Information zur Partitionsverzerrung hinzugefügt.

Was Sie tun sollten, wenn Sie ein Analyst sind

Filtern Sie Ihre Daten so früh wie möglich, um Abweichungen bei der Partitionierung zu vermeiden.

Informationen zur Abfragephase auswerten

Neben den Statistiken zur Abfrageleistung können Sie auch die folgenden Richtlinien verwenden, wenn Sie Details zur Abfragephase prüfen, um festzustellen, ob ein Problem mit einer Abfrage vorliegt:

• Wenn der Wert von Wartezeit in ms für eine oder mehrere Phasen im Vergleich zu vorherigen Ausführungen der Abfrage hoch ist:
  • Prüfen Sie, ob genügend Slots für Ihre Arbeitslast verfügbar sind. Andernfalls wenden Sie das Load-Balancing an, wenn Sie ressourcenintensive Abfragen ausführen, damit diese nicht miteinander konkurrieren.
  • Wenn der Wert für Wartezeit in ms höher ist als für nur eine Phase, sehen Sie sich die Phase davor an, um zu sehen, ob ein Engpass eingeführt wurde. Umstände wie erhebliche Änderungen an den Daten oder dem Schema der an der Abfrage beteiligten Tabellen können sich auf die Abfrageleistung auswirken.
• Wenn der Wert der Shuffle-Ausgabe-Byte für eine Phase im Vergleich zu den vorherigen Ausführungen der Abfrage oder im Vergleich zu einer vorherigen Phase hoch ist, bewerten Sie die in dieser Phase verarbeiteten Schritte, um festzustellen, ob unerwartet große Datenmengen erstellt werden. Eine häufige Ursache hierfür ist, dass ein Schritt einen INNER JOIN verarbeitet, bei dem auf beiden Seiten des Joins doppelte Schlüssel vorhanden sind. Dies kann zu einer unerwartet großen Datenmenge führen.
• Verwenden Sie die Ausführungsgrafik, um die obersten Phasen nach Dauer und Verarbeitung anzusehen. Berücksichtigen Sie die Menge der erzeugten Daten und ob sie der Größe der in der Abfrage angegebenen Tabellen entsprechen. Ist dies nicht der Fall, prüfen Sie die Schritte in diesen Phasen, um festzustellen, ob einer davon möglicherweise eine unerwartete Menge an Zwischendaten verursacht.

Nächste Schritte

• In den Richtlinien zur Abfrageoptimierung finden Sie Tipps zur Verbesserung der Abfrageleistung.