Kosten schätzen und kontrollieren

Auf dieser Seite wird gezeigt, wie Sie die Kosten schätzen können, und es werden Practices zur Kostenkontrolle in BigQuery vorgestellt. BigQuery bietet zwei Arten von Preismodellen: On-Demand- und kapazitätsbasierte Preise. Informationen zu den Preisen finden Sie unter BigQuery-Preise.

Mit BigQuery können Sie die Kosten für das Ausführen einer Abfrage schätzen, die von verschiedenen Abfragen verarbeitete Byte berechnen und basierend auf Ihrer voraussichtlichen Nutzung eine monatliche Kostenschätzung erhalten. Wenn Sie die Kosten kontrollieren möchten, müssen Sie außerdem die Best Practices für die Optimierung der Abfrageberechnung und den BigQuery-Speicher befolgen. Kostenspezifische Best Practices finden Sie unter Abfragekosten kontrollieren.

Analysieren Sie BigQuery-Audit-Logs, um die Abfragekosten und die BigQuery-Nutzung zu überwachen.

Abfragekosten schätzen

BigQuery bietet verschiedene Methoden zur Kostenschätzung:

Berechnung der On-Demand-Abfragegröße

In den folgenden Abschnitten erfahren Sie, wie beim On-Demand-Abrechnungsmodell die Anzahl der Byte berechnet wird, die von den verschiedenen Abfragetypen verarbeitet werden:

Spaltenformate in Cloud Storage abfragen

Wenn Ihre externen Daten in ORC oder Parquet gespeichert sind, wird die Anzahl der berechneten Byte auf die von BigQuery gelesenen Spalten beschränkt. Da die Datentypen aus einer externen Datenquelle von der Abfrage in BigQuery-Datentypen konvertiert werden, wird die Anzahl der gelesenen Byte basierend auf der Größe der BigQuery-Datentypen berechnet. Informationen zu Datentypen und -konvertierungen finden Sie auf den folgenden Seiten:

Verwenden Sie den Google Cloud-Preisrechner.

Mit dem Google Cloud-Preisrechner können Sie die monatlichen Gesamtkosten für BigQuery anhand der voraussichtlichen Nutzung schätzen.

On demand

So schätzen Sie die Kosten im Google Cloud-Preisrechner, wenn Sie das On-Demand-Preismodell verwenden:

  1. Öffnen Sie den Google Cloud-Preisrechner,
  2. Klicken Sie auf "BigQuery".
  3. Klicken Sie auf den Tab On-Demand.
  4. Geben Sie unter Speicherpreise die geschätzte Größe der Tabelle in die Speicherfelder ein. Sie müssen je nach Abrechnungsmodell für die Dataset-Speicherung nur den physischen Speicher oder nur den logischen Speicher schätzen.
  5. Geben Sie bei Abfragepreis die geschätzten Byte ein, die beim Probelauf oder bei der Abfragevalidierung gelesen werden.
  6. Klicken Sie auf Der Schätzung hinzufügen.
  7. Die Schätzung wird auf der rechten Seite angezeigt. Sie können die Schätzung speichern oder per E-Mail senden.

Weitere Informationen finden Sie unter On-Demand-Preise.

Versionen

Führen Sie die folgenden Schritte aus, um die Kosten im Google Cloud-Preisrechner zu schätzen, wenn Sie das kapazitätsbasierte Preismodell mit BigQuery-Versionen verwenden:

  1. Öffnen Sie den Google Cloud-Preisrechner,
  2. Klicken Sie auf "BigQuery".
  3. Klicken Sie auf den Tab Versionen.
  4. Wählen Sie den Standort aus, an dem die Slots verwendet werden.
  5. Gewünschte Version auswählen
  6. Wählen Sie die Maximale Anzahl von Slots, Referenz-Slots, optional Zusicherung und Geschätzte Auslastung des Autoscalings aus.
  7. Wählen Sie den Speicherort für die Daten aus.
  8. Geben Sie Ihre geschätzten Speichernutzung für Aktiver Speicher, Langfristiger Speicher, Streaming-Insert-Anweisungen und Streaming-Lesevorgänge ein. Sie müssen je nach Abrechnungsmodell für die Dataset-Speicherung nur den physischen Speicher oder nur den logischen Speicher schätzen.
  9. Klicken Sie auf Der Schätzung hinzufügen.

Weitere Informationen finden Sie unter Kapazitätsbasierte Preise.

Abfragekosten kontrollieren

Zum Optimieren der Abfragekosten müssen Sie ein optimierte Speicherung und Abfrageberechnung verwenden. Weitere Methoden zur Kontrolle der Abfragekosten finden Sie in den folgenden Abschnitten:

Abfragekosten vor der Abfrageausführung prüfen

Best Practice: Erstellen Sie vor dem Ausführen von Abfragen eine Vorschau, um die Kosten abzuschätzen.

Abfragen werden abhängig von der Anzahl der gelesenen Byte in Rechnung gestellt. Mit einer der folgenden Möglichkeiten können Sie die Kosten einer Abfrage vorab schätzen:

Abfragevalidierung verwenden

Wenn Sie eine Abfrage in der Google Cloud Console eingeben, überprüft die Abfragevalidierung die Abfragesyntax und liefert eine geschätzte Anzahl der gelesenen Byte. Mit dieser Information können Sie im Preisrechner die Abfragekosten einschätzen.

  • Wenn die Abfrage ungültig ist, wird bei der Abfragevalidierung eine Fehlermeldung angezeigt. Beispiel:

    Not found: Table myProject:myDataset.myTable was not found in location US

  • Wenn Ihre Abfrage gültig ist, gibt die Abfragevalidierung eine Schätzung der Anzahl an Byte an, die zum Verarbeiten der Abfrage erforderlich ist. Beispiel:

    This query will process 623.1 KiB when run.

Probelauf durchführen

So führen Sie einen Probelauf aus:

Console

  1. Wechseln Sie zur BigQuery-Seite.

    BigQuery aufrufen

  2. Geben Sie Ihre Abfrage in den Abfrageeditor ein.

    Wenn die Abfrage gültig ist, wird automatisch ein Häkchen zusammen mit der Datenmenge angezeigt, die durch die Abfrage verarbeitet wird. Wenn die Abfrage ungültig ist, wird ein Ausrufezeichen mit einer Fehlermeldung angezeigt.

bq

Geben Sie eine Abfrage wie die folgende zusammen mit dem Flag --dry_run ein:

bq query \
--use_legacy_sql=false \
--dry_run \
'SELECT
   COUNTRY,
   AIRPORT,
   IATA
 FROM
   `project_id`.dataset.airports
 LIMIT
   1000'

Bei einer gültigen Abfrage gibt der Befehl die folgende Antwort zurück:

Query successfully validated. Assuming the tables are not modified,
running this query will process 10918 bytes of data.

API

Für einen Probelauf über die API übergeben Sie einen Abfragejob, bei dem im JobConfiguration-Typ dryRun auf true gesetzt ist.

Go

Bevor Sie dieses Beispiel anwenden, folgen Sie den Schritten zur Einrichtung von Go in der BigQuery-Kurzanleitung zur Verwendung von Clientbibliotheken. Weitere Angaben finden Sie in der Referenzdokumentation zur BigQuery Go API.

Richten Sie zur Authentifizierung bei BigQuery die Standardanmeldedaten für Anwendungen ein. Weitere Informationen finden Sie unter Authentifizierung für Clientbibliotheken einrichten. 

import (
	"context"
	"fmt"
	"io"

	"cloud.google.com/go/bigquery"
)

// queryDryRun demonstrates issuing a dry run query to validate query structure and
// provide an estimate of the bytes scanned.
func queryDryRun(w io.Writer, projectID string) error {
	// projectID := "my-project-id"
	ctx := context.Background()
	client, err := bigquery.NewClient(ctx, projectID)
	if err != nil {
		return fmt.Errorf("bigquery.NewClient: %v", err)
	}
	defer client.Close()

	q := client.Query(`
	SELECT
		name,
		COUNT(*) as name_count
	FROM ` + "`bigquery-public-data.usa_names.usa_1910_2013`" + `
	WHERE state = 'WA'
	GROUP BY name`)
	q.DryRun = true
	// Location must match that of the dataset(s) referenced in the query.
	q.Location = "US"

	job, err := q.Run(ctx)
	if err != nil {
		return err
	}
	// Dry run is not asynchronous, so get the latest status and statistics.
	status := job.LastStatus()
	if err := status.Err(); err != nil {
		return err
	}
	fmt.Fprintf(w, "This query will process %d bytes\n", status.Statistics.TotalBytesProcessed)
	return nil
}

Java

Bevor Sie dieses Beispiel anwenden, folgen Sie den Schritten zur Einrichtung von Java in der BigQuery-Kurzanleitung zur Verwendung von Clientbibliotheken. Weitere Angaben finden Sie in der Referenzdokumentation zur BigQuery Java API.

Richten Sie zur Authentifizierung bei BigQuery die Standardanmeldedaten für Anwendungen ein. Weitere Informationen finden Sie unter Authentifizierung für Clientbibliotheken einrichten. 

import com.google.cloud.bigquery.BigQuery;
import com.google.cloud.bigquery.BigQueryException;
import com.google.cloud.bigquery.BigQueryOptions;
import com.google.cloud.bigquery.Job;
import com.google.cloud.bigquery.JobInfo;
import com.google.cloud.bigquery.JobStatistics;
import com.google.cloud.bigquery.QueryJobConfiguration;

// Sample to run dry query on the table
public class QueryDryRun {

  public static void runQueryDryRun() {
    String query =
        "SELECT name, COUNT(*) as name_count "
            + "FROM `bigquery-public-data.usa_names.usa_1910_2013` "
            + "WHERE state = 'WA' "
            + "GROUP BY name";
    queryDryRun(query);
  }

  public static void queryDryRun(String query) {
    try {
      // Initialize client that will be used to send requests. This client only needs to be created
      // once, and can be reused for multiple requests.
      BigQuery bigquery = BigQueryOptions.getDefaultInstance().getService();

      QueryJobConfiguration queryConfig =
          QueryJobConfiguration.newBuilder(query).setDryRun(true).setUseQueryCache(false).build();

      Job job = bigquery.create(JobInfo.of(queryConfig));
      JobStatistics.QueryStatistics statistics = job.getStatistics();

      System.out.println(
          "Query dry run performed successfully." + statistics.getTotalBytesProcessed());
    } catch (BigQueryException e) {
      System.out.println("Query not performed \n" + e.toString());
    }
  }
}

Node.js

Bevor Sie dieses Beispiel anwenden, folgen Sie den Schritten zur Einrichtung von Node.js in der BigQuery-Kurzanleitung zur Verwendung von Clientbibliotheken. Weitere Angaben finden Sie in der Referenzdokumentation zur BigQuery Node.js API.

Richten Sie zur Authentifizierung bei BigQuery die Standardanmeldedaten für Anwendungen ein. Weitere Informationen finden Sie unter Authentifizierung für Clientbibliotheken einrichten. 

// Import the Google Cloud client library
const {BigQuery} = require('@google-cloud/bigquery');
const bigquery = new BigQuery();

async function queryDryRun() {
  // Runs a dry query of the U.S. given names dataset for the state of Texas.

  const query = `SELECT name
    FROM \`bigquery-public-data.usa_names.usa_1910_2013\`
    WHERE state = 'TX'
    LIMIT 100`;

  // For all options, see https://cloud.google.com/bigquery/docs/reference/rest/v2/jobs/query
  const options = {
    query: query,
    // Location must match that of the dataset(s) referenced in the query.
    location: 'US',
    dryRun: true,
  };

  // Run the query as a job
  const [job] = await bigquery.createQueryJob(options);

  // Print the status and statistics
  console.log('Status:');
  console.log(job.metadata.status);
  console.log('\nJob Statistics:');
  console.log(job.metadata.statistics);
}

PHP

Bevor Sie dieses Beispiel anwenden, folgen Sie den Schritten zur Einrichtung von PHP in der BigQuery-Kurzanleitung zur Verwendung von Clientbibliotheken. Weitere Angaben finden Sie in der Referenzdokumentation zur BigQuery PHP API.

Richten Sie zur Authentifizierung bei BigQuery die Standardanmeldedaten für Anwendungen ein. Weitere Informationen finden Sie unter Authentifizierung für Clientbibliotheken einrichten. 

use Google\Cloud\BigQuery\BigQueryClient;

/** Uncomment and populate these variables in your code */
// $projectId = 'The Google project ID';
// $query = 'SELECT id, view_count FROM `bigquery-public-data.stackoverflow.posts_questions`';

// Construct a BigQuery client object.
$bigQuery = new BigQueryClient([
    'projectId' => $projectId,
]);

// Set job configs
$jobConfig = $bigQuery->query($query);
$jobConfig->useQueryCache(false);
$jobConfig->dryRun(true);

// Extract query results
$queryJob = $bigQuery->startJob($jobConfig);
$info = $queryJob->info();

printf('This query will process %s bytes' . PHP_EOL, $info['statistics']['totalBytesProcessed']);

Python

Setzen Sie das Attribut QueryJobConfig.dry_run auf True. Client.query() gibt immer einen abgeschlossenen QueryJob zurück, wenn die Abfrage für einen Probelauf konfiguriert ist.

Bevor Sie dieses Beispiel ausprobieren, folgen Sie der Python-Einrichtungsanleitung in der BigQuery-Kurzanleitung zur Verwendung von Clientbibliotheken. Weitere Angaben finden Sie in der Referenzdokumentation zur BigQuery Python API.

Richten Sie zur Authentifizierung bei BigQuery die Standardanmeldedaten für Anwendungen ein. Weitere Informationen finden Sie unter Authentifizierung für Clientbibliotheken einrichten. 

from google.cloud import bigquery

# Construct a BigQuery client object.
client = bigquery.Client()

job_config = bigquery.QueryJobConfig(dry_run=True, use_query_cache=False)

# Start the query, passing in the extra configuration.
query_job = client.query(
    (
        "SELECT name, COUNT(*) as name_count "
        "FROM `bigquery-public-data.usa_names.usa_1910_2013` "
        "WHERE state = 'WA' "
        "GROUP BY name"
    ),
    job_config=job_config,
)  # Make an API request.

# A dry run query completes immediately.
print("This query will process {} bytes.".format(query_job.total_bytes_processed))

Keine Abfragen ausführen, um Tabellendaten zu untersuchen

Best Practice: Führen Sie keine Abfragen aus, um Tabellendaten zu entdecken oder eine Vorschau zu erstellen.

Wenn Sie mit Daten experimentieren oder diese erkunden, können Sie sie mit Tabellenvorschauoptionen kostenlos ansehen, ohne Ihr Kontingent zu nutzen.

In BigQuery stehen Ihnen die folgenden Optionen für eine Datenvorschau zur Verfügung:

  • Klicken Sie in der Google Cloud Console auf der Seite mit den Tabellendetails auf den Tab Vorschau, um die Daten abzufragen.
  • Verwenden Sie im bq-Befehlszeilentool den Befehl bq head und geben Sie die Anzahl der Zeilen für die Vorschau an.
  • Verwenden Sie in der API tabledata.list zum Abrufen von Tabellendaten aus einer bestimmten Gruppe von Zeilen.
  • Verwenden Sie LIMIT nicht in nicht geclusterten Tabellen. Bei nicht geclusterten Tabellen werden die Rechenkosten durch eine LIMIT-Klausel nicht gesenkt.

Anzahl der berechneten Byte einschränken

Best Practice: Verwenden Sie die Einstellung für maximal berechnete Bytes, um die Abfragekosten zu begrenzen.

Sie können die Anzahl der berechneten Bytes für eine Abfrage mit der Einstellung für maximal berechnete Bytes begrenzen. Wenn Sie einen maximalen Wert für die berechneten Byte festlegen, wird die Anzahl der Byte, die von der Abfrage gelesen werden, vor der Abfrageausführung geschätzt. Wenn die Anzahl der geschätzten Byte die Grenze überschreitet, schlägt die Abfrage fehl, ohne dass eine Gebühr anfällt.

Bei geclusterten Tabellen liegt die Schätzung der Anzahl der Byte, die für eine Abfrage in Rechnung gestellt werden, über eine Obergrenze und kann höher sein als die tatsächliche Anzahl von Byte, die nach Ausführen der Abfrage in Rechnung gestellt werden. Wenn Sie eine Höchstmenge für abgerechnete Byte festlegen, kann die Abfrage einer geclusterten Tabelle fehlschlagen, selbst wenn die tatsächlich abgerechneten Byte die festgelegte Höchstmenge nicht überschreiten würden.

Wenn eine Abfrage aufgrund der Einstellung für maximal abgerechnete Byte fehlschlägt, wird ein Fehler wie der folgende zurückgegeben:

Error: Query exceeded limit for bytes billed: 1000000. 10485760 or higher required.

So legen Sie die maximal berechneten Byte fest:

Console

  1. Klicken Sie im Abfrageeditor auf Mehr > Abfrageeinstellungen > Erweiterte Optionen.
  2. Geben Sie im Feld Maximale Menge abgerechneter Byte eine Ganzzahl ein.
  3. Klicken Sie auf Speichern.

bq

Führen Sie den Befehl bq query mit dem Flag --maximum_bytes_billed aus.

  bq query --maximum_bytes_billed=1000000 \
  --use_legacy_sql=false \
  'SELECT
     word
   FROM
     `bigquery-public-data`.samples.shakespeare'

API

Legen Sie das Attribut maximumBytesBilled in JobConfigurationQuery oder QueryRequest fest.

LIMIT nicht in nicht geclusterten Tabellen verwenden

Best Practice: Verwenden Sie für nicht geclusterte Tabellen nicht die LIMIT-Klausel zur Kostenkontrolle.

Bei nicht geclusterten Tabellen hat die Anwendung einer LIMIT-Klausel auf eine Abfrage keine Auswirkungen auf die Menge der gelesenen Daten. Ihnen werden damit also alle von der Abfrage in der kompletten Tabelle gelesenen Byte in Rechnung gestellt, auch wenn die Abfrage nur eine Teilmenge zurückgibt. Bei einer geclusterten Tabelle kann eine LIMIT-Klausel die Anzahl der gescannten Byte reduzieren, da der Scan beendet wird, wenn genügend Blöcke gescannt wurden, um das Ergebnis zu erhalten. Ihnen werden nur die gescannten Byte in Rechnung gestellt.

Kosten in einem Dashboard einsehen und Audit-Logs abfragen

Best Practice: Erstellen Sie ein Dashboard, um Ihre Abrechnungsdaten einzusehen und die Nutzung von BigQuery anzupassen. Darüber hinaus können Sie Ihre Audit-Logs in BigQuery streamen, um die Nutzungsmuster zu analysieren.

Sie können Ihre Abrechnungsdaten nach BigQuery exportieren und sie in einem Tool wie Looker Studio visualisieren. Eine Anleitung zum Erstellen eines Abrechnungs-Dashboards finden Sie unter Google Cloud-Abrechnung mit BigQuery und Looker Studio visualisieren.

Außerdem haben Sie die Möglichkeit, Ihre Audit-Logs in BigQuery zu streamen und sie auf Muster wie die Abfragekosten nach Nutzer zu analysieren.

Abfrageergebnisse in Phasen erfassen

Best Practice: Erfassen Sie Abfrageergebnisse nach Möglichkeit in separaten Phasen.

Wenn Sie eine große Abfrage mit mehreren Phasen erstellen, liest BigQuery jedes Mal, wenn Sie diese ausführen, alle Daten, auf die sich die Abfrage bezieht. Bei jeder Ausführung der Abfrage werden Ihnen alle gelesenen Daten in Rechnung gestellt.

Teilen Sie stattdessen Ihre Abfrage in Phasen auf, wobei jede Phase ihre Abfrageergebnisse in eine Zieltabelle schreibt. Durch das Abfragen der kleineren Zieltabelle verringert sich die Menge der gelesenen Daten und die Kosten sinken. Der finanzielle Aufwand für die Speicherung der erfassten Ergebnisse ist deutlich geringer als der für die Verarbeitung großer Datenmengen.

Tabellenablauf für Zieltabellen verwenden

Best Practice: Wenn Sie große Abfrageergebnisse in eine Zieltabelle schreiben, verwenden Sie am besten die Standardablaufzeit von Tabellen, um die Daten zu löschen, sobald sie nicht mehr benötigt werden.

Das Aufbewahren großer Ergebnissets im BigQuery-Speicher ist teuer. Wenn Sie die Ergebnisse nicht dauerhaft benötigen, sollten Sie die Daten durch Festlegen der Standardablaufzeit von Tabellen automatisch löschen lassen.

Weitere Informationen finden Sie unter Speicherpreise.

Nächste Schritte