Statistiken zur Abfrageleistung abrufen

In diesem Dokument wird beschrieben, wie Sie mit der Ausführungsgrafik für Abfragen Probleme mit der Abfrageleistung diagnostizieren und Informationen zur Abfrageleistung einsehen können.

BigQuery bietet eine hohe Abfrageleistung, ist jedoch auch ein komplexes verteiltes System mit vielen internen und externen Faktoren, die sich auf die Abfragegeschwindigkeit auswirken können. Aufgrund der deklarativen Beschaffenheit der SQL-Sprache kann die Komplexität der Abfrageausführung verborgen sein. Daher kann es schwierig sein, die Ursache dafür zu finden, sollten Ihre Abfragen langsamer als erwartet oder langsamer als vorherige Ausführungen ausgeführt werden.

Die Ausführungsgrafik für Abfragen bietet eine intuitive Benutzeroberfläche zum Abrufen der Details der Abfrageleistung. So können Sie die Informationen des Abfrageplans im grafischen Format für jede Abfrage prüfen, unabhängig davon, ob sie gerade ausgeführt wird oder bereits abgeschlossen ist.

Über die Ausführungsgrafik für Abfragen können Sie auch Leistungsinformationen für Abfragen abrufen. Leistungsinformationen stellen Ihnen Best-Effort-Vorschläge zum Verbessern der Abfrageleistung bereit. Da die Abfrageleistung mehrteilig ist, liefern die Leistungsinformationen möglicherweise nur ein unvollständiges Bild der Gesamtabfrageleistung.

Erforderliche Berechtigungen

Zur Verwendung der Abfrageausführungsgrafik benötigen Sie die folgenden Berechtigungen:

• bigquery.jobs.get
• bigquery.jobs.listAll

Diese Berechtigungen sind über die folgenden vordefinierten BigQuery-IAM-Rollen (Identity and Access Management) verfügbar:

• roles/bigquery.admin
• roles/bigquery.resourceAdmin
• roles/bigquery.resourceEditor
• roles/bigquery.resourceViewer

Statistiken zur Abfrageleistung aufrufen

Console

So rufen Sie Statistiken zur Abfrageleistung auf:

1. Öffnen Sie in der Google Cloud Console die Seite "BigQuery".

   Zur Seite „BigQuery“

2. Klicken Sie im Editor entweder auf Persönlicher Verlauf oder Projektverlauf.

3. Suchen Sie in der Liste der Abfragejobs nach den für Sie relevanten Abfragejob. Klicken Sie auf Aktionen und wählen Sie Abfrage im Editor öffnen aus.

4. Wählen Sie den Tab Ausführungsgrafik aus, um eine grafische Darstellung aller Phasen der Abfrage zu sehen:

   

   Sehen Sie sich das angezeigte Symbol an, um festzustellen, ob eine Abfragephase Leistungsstatistiken enthält. Phasen mit dem Informationssymbol haben Leistungsstatistiken. Phasen mit einem Häkchensymbol haben keine Leistungsstatistiken.

5. Klicken Sie auf eine Phase, um den Bereich „Phasendetails“ zu öffnen. Hier sehen Sie die folgenden Informationen:

   • Informationen zum Abfrageplan für die Phase.
   • Die in der Phase ausgeführten Schritte.
   • Zulässige Leistungsstatistiken.

   

6. Optional: Wenn Sie eine Abfrage prüfen, die gerade ausgeführt wird, klicken Sie auf Synchronisieren, um die Ausführungsgrafik so zu aktualisieren, dass sie den aktuellen Status der Abfrage widerspiegelt.

   

7. Optional: Klicken Sie auf Top-Phasen nach Dauer hervorheben, um die obersten Phasen nach Phasendauer im Diagramm hervorzuheben.

   

8. Optional: Um die Top-Phasen in der Grafik nach Slot-Zeit hervorzuheben, klicken Sie auf Top-Phasen nach Verarbeitung hervorheben.

   

9. Optional: Klicken Sie auf Shuffle-Umverteilungsphasen anzeigen, um die Shuffle-Umverteilungsphasen in die Grafik aufzunehmen.

   

   Mit dieser Option können Sie die Neupartitionierungs- und Coalesce-Phasen anzeigen lassen, die in der Standardausführungsgrafik ausgeblendet sind.

   Während der Ausführung der Abfrage werden Repartition- und Coalesce-Phasen eingeführt. Sie werden verwendet, um die Datenverteilung auf die Worker zu verbessern, die die Abfrage verarbeiten. Da diese Phasen nicht mit Ihrem Abfragetext zusammenhängen, werden sie ausgeblendet, um den angezeigten Abfrageplan zu vereinfachen.

Für jede Abfrage, bei der Leistungsregressionen auftreten, werden auf dem Tab Jobinformationen Leistungsinformationen angezeigt:

SQL

1. Öffnen Sie in der Google Cloud Console die Seite BigQuery.

   BigQuery aufrufen

2. Geben Sie im Abfrageeditor die folgende Anweisung ein:

   SELECT
     `bigquery-public-data`.persistent_udfs.job_url(
       project_id || ':us.' || job_id) AS job_url,
     query_info.performance_insights
   FROM
     `region-us`.INFORMATION_SCHEMA.JOBS_BY_PROJECT
   WHERE
     DATE(creation_time) >= CURRENT_DATE - 30 -- scan 30 days of query history
     AND job_type = 'QUERY'
     AND state = 'DONE'
     AND error_result IS NULL
     AND statement_type != 'SCRIPT'
     AND EXISTS ( -- Only include queries which had performance insights
       SELECT 1
       FROM UNNEST(
         query_info.performance_insights.stage_performance_standalone_insights
       )
       WHERE slot_contention OR insufficient_shuffle_quota
       UNION ALL
       SELECT 1
       FROM UNNEST(
         query_info.performance_insights.stage_performance_change_insights
       )
       WHERE input_data_change.records_read_diff_percentage IS NOT NULL
     );

3. Klicken Sie auf Ausführen.

Informationen zum Ausführen von Abfragen finden Sie unter Interaktive Abfrage ausführen.

API

Sie können Statistiken zur Abfrageleistung in einem nicht grafischen Format abrufen, indem Sie die API-Methode jobs.list aufrufen und die zurückgegebenen Informationen JobStatistics2 prüfen.

Statistiken zur Abfrageleistung interpretieren

In diesem Abschnitt erfahren Sie mehr über Bedeutung der Leistungsinformationen und wie Sie mit diesen umgehen.

Leistungsinformationen sind für zwei Zielgruppen vorgesehen:

• Analysten: Sie führen Abfragen in einem Projekt aus. Sie möchten herausfinden, warum eine zuvor ausgeführte Abfrage unerwartet langsamer ausgeführt wird, und Tipps zur Verbesserung der Leistung einer Abfrage erhalten. Sie haben die unter Erforderliche Berechtigungen beschriebenen Berechtigungen.

• Data-Lake- oder Data-Warehouse-Administratoren: Sie verwalten die BigQuery-Ressourcen und -Reservierungen Ihrer Organisation. Sie haben die Berechtigungen, die der Rolle „BigQuery-Administrator“ zugeordnet sind.

In jedem der folgenden Abschnitte finden Sie Anleitungen dazu, wie Sie mit einer Leistungsinformation umgehen, die auf Ihrer jeweiligen Rolle basiert.

Slot-Konflikt

Wenn Sie eine Abfrage ausführen, versucht BigQuery, die für die Abfrage benötigte Arbeit in Aufgaben aufzuteilen. Eine Aufgabe ist ein einzelner Datenabschnitt, der in eine Phase ein- und ausgegeben wird. Ein einzelner Slot ruft eine Aufgabe ab und führt dieses Datensegment für die Phase aus. Im Idealfall führen BigQuery-Slots diese Aufgaben parallel aus, um eine hohe Leistung zu erzielen. Slot-Konflikte treten auf, wenn Ihre Abfrage viele Aufgaben hat, die ausgeführt werden können, aber BigQuery nicht genügend verfügbare Slots zum Ausführen hat.

Was Sie tun sollten, wenn Sie ein Analyst sind

Reduzieren Sie die Daten, die Sie in Ihrer Abfrage verarbeiten, indem Sie der Anleitung unter In Abfragen verarbeitete Daten reduzieren folgen.

Was Sie tun sollten, wenn Sie ein Analyst sind

Führen Sie die folgenden Aktionen aus, um die Slot-Verfügbarkeit zu erhöhen oder die Slot-Nutzung zu verringern:

• Wenn Sie die On-Demand-Preise von BigQuery verwenden, verwenden Ihre Abfragen einen gemeinsamen Slot-Pool. Erwägen Sie den Wechsel zu kapazitätsbasierten Analysepreisen, indem Sie stattdessen Reservierungen erwerben. Mit Reservierungen können Sie dedizierte Slots für die Abfragen Ihrer Organisation reservieren.

• Wenn Sie BigQuery-Reservierungen verwenden, achten Sie darauf, dass in der Reservierung, die dem Projekt zugewiesen ist, das die Abfrage ausgeführt hat, genügend Slots vorhanden sind. Die Reservierung hat möglicherweise nicht genügend Slots in folgenden Szenarien:

  • Andere Jobs nutzen Reservierungs-Slots. Mit Administratorressourcendiagrammen können Sie sehen, wie Ihre Organisation die Reservierung nutzt.
  • Der Reservierung hat nicht genügend zugewiesene Slots, um Abfragen schnell genug auszuführen. Mit dem Slot-Estimator können Sie schätzen, wie groß Ihre Reservierungen sein sollten, um die Aufgaben Ihrer Abfragen effizient zu verarbeiten.

  Dies können Sie mit einer der folgenden Lösungen machen:

  • Fügen Sie dieser Reservierung weitere Slots hinzu (entweder Referenz-Slots oder maximale Reservierungs-Slots).
  • Erstellen Sie eine zusätzliche Reservierung und weisen Sie sie dem Projekt zu, für das die Abfrage ausgeführt wird.
  • Verteilen Sie ressourcenintensive Abfragen, entweder im Laufe der Zeit innerhalb einer Reservierung oder auf verschiedene Reservierungen.

• Achten Sie darauf, dass die abgefragten Tabellen geclustert sind. Clustering sorgt dafür, dass BigQuery schnell Spalten mit korrelierten Daten lesen kann.

• Die Tabellen, die Sie abfragen, müssen partitioniert sein. Bei nicht partitionierten Tabellen liest BigQuery die gesamte Tabelle. Durch die Partitionierung Ihrer Tabellen wird gewährleistet, dass Sie nur die Teilmenge Ihrer Tabellen abfragen, die für Sie relevant ist.

Unzureichendes Shuffle-Kontingent

Bevor Sie Ihre Abfrage ausführen, teilt BigQuery die Logik Ihrer Abfrage inPhasen auf. BigQuery-Slots führen die Aufgaben in jeder Phase aus. Wenn ein Slot die Ausführung der Aufgaben einer Phase abgeschlossen hat, werden die Zwischenergebnisse im Shuffle-Vorgang gespeichert. In nachfolgenden Phasen der Abfrage werden Daten aus Shuffle gelesen, um die Ausführung der Abfrage fortzusetzen. Ein unzureichendes Shuffle-Kontingent tritt auf, wenn Ihre Daten, die in den Shuffle geschrieben werden müssen, Ihre Shuffle-Kapazität übersteigen.

Was Sie tun sollten, wenn Sie ein Analyst sind

Ähnlich wie bei Slot-Konflikten kann die Reduzierung der von Ihren Abfragen verarbeiteten Datenmenge die Shuffle-Nutzung reduzieren. Folgen Sie dazu der Anleitung in In Abfragen verarbeitete Daten reduzieren.

Bestimmte Vorgänge in SQL führen in der Regel zu einer stärkeren Nutzung von Shuffle, insbesondere JOIN-Vorgänge und GROUP BY-Klauseln. Wenn möglich, kann die Reduzierung der Datenmenge bei diesen Vorgängen die Shuffle-Nutzung reduzieren.

Was Sie tun sollten, wenn Sie ein Analyst sind

Verringern Sie die Belegung von Shuffle-Kontingenten. Führen Sie dazu die folgenden Aktionen aus:

• Ähnlich wie Slot-Konflikte verwenden Ihre Abfragen einen gemeinsamen Slot-Pool, wenn Sie die On-Demand-Preise von BigQuery verwenden. Erwägen Sie den Wechsel zu kapazitätsbasierten Analysepreisen, indem Sie stattdessen Reservierungen erwerben. Reservierungen bieten Ihnen dedizierte Slots und Shuffle-Kapazitäten für die Abfragen Ihrer Projekte.

• Wenn Sie BigQuery-Reservierungen verwenden, enthalten Slots dedizierte Shuffle-Kapazität. Wenn in Ihrer Reservierung einige Abfragen ausgeführt werden, die Shuffle in großem Umfang verwenden, kann dies dazu führen, dass andere parallel ausgeführte Abfragen nicht genügend Shuffle-Kapazität erhalten. Sie können feststellen, welche Jobs die Shuffle-Kapazität stark nutzen, indem Sie die Spalte period_shuffle_ram_usage_ratio in der Ansicht INFORMATION_SCHEMA.JOBS_TIMELINE abfragen.

  Dies können Sie mit einer oder mehreren der folgenden Lösungen machen:

  • Fügen Sie dieser Reservierung weitere Slots hinzu.
  • Erstellen Sie eine zusätzliche Reservierung und weisen Sie sie dem Projekt zu, in dem die Abfrage ausgeführt wird.
  • Verteilen Sie Shuffle-intensive Abfragen, entweder über einen Zeitraum innerhalb einer Reservierung oder auf verschiedene Reservierungen.

Änderung der Dateneingabeskalierung

Diese Leistungsinformationen zeigen an, dass Ihre Abfrage für eine bestimmte Eingabetabelle mindestens 50 % mehr Daten liest als beim letzten Ausführen der Abfrage. Mit dem Tabellenänderungsverlauf können Sie feststellen, ob die Größe einer der in der Abfrage verwendeten Tabellen kürzlich erhöht wurde.

Was Sie tun sollten, wenn Sie ein Analyst sind

Reduzieren Sie die Daten, die Sie in Ihrer Abfrage verarbeiten, indem Sie der Anleitung unter In Abfragen verarbeitete Daten reduzieren folgen.

Join mit hoher Kardinalität

Wenn eine Abfrage einen Join mit nicht eindeutigen Schlüsseln auf beiden Seiten des Joins enthält, kann die Größe der Ausgabetabelle erheblich größer sein als die Größe einer der Eingabetabellen. Diese Erkenntnis zeigt, dass das Verhältnis von Ausgabezeilen zu Eingabezeile hoch ist und liefert Informationen zu dieser Zeilenanzahl.

Was Sie tun sollten, wenn Sie ein Analyst sind

Prüfen Sie Ihre Join-Bedingungen, um zu bestätigen, dass die Erhöhung der Größe der Ausgabetabelle erwartet wird. Vermeiden Sie die Verwendung von Cross Joins. Wenn Sie einen Cross Join verwenden müssen, versuchen Sie, Ergebnisse mit einer GROUP BY-Klausel vorab zusammenzufassen, oder nutzen Sie eine Fensterfunktion. Weitere Informationen finden Sie unter Daten vor Verwendung eines JOIN reduzieren.

Partitionsverzerrung

Vorschau

Diese Funktion unterliegt den „Nutzungsbedingungen für Pre-GA-Angebote“ im Abschnitt „Allgemeine Nutzungsbedingungen“ der dienstspezifischen Nutzungsbedingungen. Pre-GA-Funktionen sind „wie besehen“ verfügbar und werden möglicherweise nur eingeschränkt unterstützt. Weitere Informationen finden Sie in den Beschreibungen der Startphase.

Wenn Sie für dieses Feature Feedback geben oder Support anfordern möchten, senden Sie eine E-Mail an [e-mail].

Eine verzerrte Datenverteilung kann dazu führen, dass Abfragen langsam ausgeführt werden. Wenn eine Abfrage ausgeführt wird, teilt BigQuery die Daten in kleine Partitionen auf. Sie können Partitionen nicht zwischen Slots freigeben. Wenn die Daten also ungleichmäßig verteilt sind, werden einige Partitionen sehr groß, wodurch der Slot, der die übergroße Partition verarbeitet, abstürzt.

Eine Verzerrung tritt in JOIN-Phasen auf. Wenn Sie einen JOIN-Vorgang ausführen, teilt BigQuery die Daten auf der rechten und linken Seite des JOIN-Vorgangs in Partitionen auf. Wenn eine Partition zu groß ist, werden die Daten durch Neupartitionierungsphasen neu verteilt. Wenn die Abweichung zu schlecht ist und BigQuery das Gleichgewicht weiter herstellen kann, wird der JOIN-Phase die Statistik zur Partitionsabweichung hinzugefügt. Dieser Vorgang wird als Neupartitionierungsphasen bezeichnet. Wenn BigQuery große Partitionen erkennt, die nicht weiter aufgeteilt werden können, wird der Phase JOIN eine Information zur Partitionsverzerrung hinzugefügt.

Was Sie tun sollten, wenn Sie ein Analyst sind

Filtern Sie Ihre Daten so früh wie möglich, um Partitionsverzerrungen zu vermeiden. Weitere Informationen zur Vermeidung von Partitionsabweichungen finden Sie unter Daten nach verzerrten Daten filtern.

Informationen zur Abfragephase auswerten

Zusätzlich zu Statistiken zur Abfrageleistung können Sie beim Prüfen der Details der Abfragephase auch die folgenden Richtlinien verwenden, um festzustellen, ob ein Problem bei einer Abfrage vorliegt:

• Wenn der Wert von Wartezeit in ms für eine oder mehrere Phasen im Vergleich zu vorherigen Ausführungen der Abfrage hoch ist:
  • Prüfen Sie, ob genügend Slots für Ihre Arbeitslast verfügbar sind. Andernfalls wenden Sie das Load-Balancing an, wenn Sie ressourcenintensive Abfragen ausführen, damit diese nicht miteinander konkurrieren.
  • Wenn der Wert für Wartezeit in ms höher ist als für nur eine Phase, sehen Sie sich die Phase davor an, um zu sehen, ob ein Engpass eingeführt wurde. Umstände wie erhebliche Änderungen an den Daten oder dem Schema der an der Abfrage beteiligten Tabellen können sich auf die Abfrageleistung auswirken.
• Wenn der Wert der Shuffle-Ausgabe-Byte für eine Phase im Vergleich zu den vorherigen Ausführungen der Abfrage oder im Vergleich zu einer vorherigen Phase hoch ist, bewerten Sie die in dieser Phase verarbeiteten Schritte, um festzustellen, ob unerwartet große Datenmengen erstellt werden. Eine häufige Ursache hierfür ist, dass ein Schritt einen INNER JOIN verarbeitet, bei dem auf beiden Seiten des Joins doppelte Schlüssel vorhanden sind. Das kann zu unerwartet großen Datenmengen führen.
• Verwenden Sie die Ausführungsgrafik, um die obersten Phasen nach Dauer und Verarbeitung anzusehen. Berücksichtigen Sie die Menge der erzeugten Daten und ob sie der Größe der in der Abfrage angegebenen Tabellen entsprechen. Ist dies nicht der Fall, prüfen Sie die Schritte in diesen Phasen, um festzustellen, ob einer davon möglicherweise eine unerwartete Menge an Zwischendaten verursacht.

Nächste Schritte

• In den Richtlinien zur Abfrageoptimierung finden Sie Tipps zur Verbesserung der Abfrageleistung.