BigQuery-Speicher optimieren

Auf dieser Seite finden Sie Best Practices zum Optimieren des BigQuery-Speichers.

Nicht benötigte Tabellen und Partitionen durch Ablaufeinstellungen entfernen

Best Practices: Für Datasets konfigurieren Sie die Standardablaufzeit von Tabellen, für Tabellen die Ablaufzeit und für partitionierte Tabellen die Ablaufzeit von Partitionen.

Sie können die Speicherkosten kontrollieren und die Speichernutzung optimieren, wenn Sie für die neu in einem Dataset erstellten Tabellen den Standardablauf festlegen. Wenn Sie die Property beim Erstellen des Datasets festlegen, werden alle im Dataset erstellen Tabellen nach dem Ablaufzeitraum gelöscht. Wenn Sie die Property erst später festlegen, werden nur die neu erstellten Tabellen nach dem Ablaufzeitraum gelöscht.

Wenn Sie beispielsweise den Standardablauf für Tabellen auf sieben Tage setzen, werden alle Daten, die älter als eine Woche sind, automatisch gelöscht.

Diese Option ist nützlich, wenn Sie nur Zugriff auf die neuesten Daten benötigen. Sie ist auch sinnvoll, um mit Daten zu experimentieren, die nicht aufbewahrt werden müssen.

Wenn Ihre Tabellen datumspartioniert sind, gilt der Standardablauf für Tabellen des Datasets für die jeweiligen Partitionen. Sie können den Ablauf der Partition auch mit dem Flag time_partitioning_expiration im bq-Befehlszeilentool oder der Konfigurationseinstellung expirationMs in der API steuern. Mit dem folgenden Befehl laufen Partitionen beispielsweise nach drei Tagen ab:

bq mk \
--time_partitioning_type=DAY \
--time_partitioning_expiration=259200 \
project_id:dataset.table

Langfristige Speicherung nutzen

Best Practice: Speichern Sie Ihre Daten in BigQuery.

Wenn Sie Daten aus Cloud Storage in BigQuery laden, werden Ihnen keine Kosten für den Ladevorgang in Rechnung gestellt. Es entstehen aber Kosten für die Speicherung der Daten in Cloud Storage. Nachdem die Daten in BigQuery geladen wurden, unterliegen sie dem Speicherpreis von BigQuery.

Nutzen Sie den Vorteil der günstigen Kosten der Langzeitspeicherung von BigQuery, anstatt ältere Daten mit einer anderen Speicheroption wie z. B. Cloud Storage zu exportieren.

Wenn eine Tabelle innerhalb von 90 aufeinanderfolgenden Tagen nicht bearbeitet wird, reduziert sich der Preis für die Speicherung dieser Tabelle um 50 % auf monatlich 0,01 $ pro GB. Dies entspricht dem Preis für Cloud Storage Nearline.

Die Kosten für jede Partition einer partitionierten Tabelle werden bei der Langzeitspeicherung separat berechnet. Wenn eine Partition in den letzten 90 Tagen nicht geändert wurde, werden die Daten in dieser Partition als Langzeitspeicherung betrachtet und zum Rabattpreis in Rechnung gestellt.

Speicherkosten mit dem Preisrechner schätzen

Best Practice: Eine Schätzung Ihrer Kosten erhalten Sie mit dem Google Cloud Platform-Preisrechner.

Um die Speicherkosten im Preisrechner der Google Cloud Platform zu schätzen, geben Sie die Menge der gespeicherten Byte in MB, GB, TB oder PB ein. In BigQuery stehen Ihnen monatlich 10 GB Speicherplatz kostenlos zur Verfügung.

Screenshot: Preisrechner