Spanner-Import und -Export – Übersicht

Sie können große Datenmengen in oder aus Spanner mit einer der folgenden Methoden:

  • Spanner-Datenbanken importieren oder exportieren mit Dataflow nutzen.
  • Sie können jede Spanner-Datenbank im Avro- oder CSV-Dateiformat in einen Cloud Storage-Bucket exportieren.
  • Daten aus Avro importieren oder CSV-Dateien in eine neue Spanner-Datenbank übertragen.

Anwendungsfälle

Sie können den Import und Export von Spanner für die folgenden Anwendungsfälle verwenden:

  • Bulk-Laden: Sie können Daten im Bulk-Verfahren in Spanner importieren.
  • Langfristige Sicherung und Archivierung: Sie können Ihre Datenbank jederzeit exportieren. und speichern sie langfristig an einem Cloud Storage-Bucket-Speicherort Ihrer Wahl. Sicherung oder Archivierung. Außerdem können Sie die Funktion Zu einem bestimmten Zeitpunkt Wiederherstellung, um eine Datenbank aus einem bestimmten Zeitstempel in der Vergangenheit zu exportieren. Wenn Sie nach Techniken zur Notfallwiederherstellung suchen, Wiederherstellung, haben aber eine kürzere Aufbewahrungsdauer, Back-ups verwenden oder die Wiederherstellung zu einem bestimmten Zeitpunkt.

  • Datenbanken in Entwicklungs- oder Testprojekte kopieren: Sie können eine Datenbank aus einem Produktionsprojekt und importieren sie dann in Ihre Entwicklungs- oder Testprojekt für Integrationstests oder andere Tests verwenden.

  • Aufnahme für Analysen: Sie können eine Datenbank exportieren, um Ihre Betriebsdaten im Bulk-Verfahren in Analysedienste wie BigQuery aufzunehmen. BigQuery kann Daten automatisch im Avro-Format aufnehmen aus einem Cloud Storage-Bucket, was die Ausführung von Analysen erleichtert zu Ihren Betriebsdaten. Wenn Sie BigQuery für die Echtzeitanalyse von Spanner-Daten verwenden möchten, ohne die Daten zu kopieren oder zu verschieben, können Sie stattdessen föderierte Spanner-Abfragen verwenden.

Import und Export vergleichen, um Daten zu sichern und wiederherzustellen

Der Import und Export von Spanner ist mit dem Sichern und Wiederherstellen vergleichbar in vielerlei Hinsicht nutzen. In der folgenden Tabelle werden Gemeinsamkeiten und Unterschiede beschrieben, um Ihnen die Entscheidung zu erleichtern.

Sichern und wiederherstellenImport und Export
Datenkonsistenz Sowohl Sicherungen als auch exportierte Datenbanken sind transaktional und extern konsistent.
Auswirkungen auf die Leistung Sicherungen haben keine Auswirkungen auf die Leistung einer Instanz. Spanner führt Sicherungen mit dedizierten Jobs aus, die nicht die Serverressourcen einer Instanz nutzen. Der Export wird als Aufgabe mittlerer Priorität ausgeführt, um die Auswirkungen auf die Datenbankleistung zu minimieren. Weitere Informationen finden Sie unter Aufgabenpriorität.
Speicherformat Verwendet ein proprietäres, verschlüsseltes Format, das für eine schnelle Wiederherstellung entwickelt wurde. Unterstützt sowohl CSV- als auch Avro-Dateiformate.
Portabilität Sie erstellen Sicherungen in derselben Instanz wie die Quelldatenbank.

Nachdem eine Sicherung erstellt wurde, können Sie sie in eine Instanz in einer anderen Region oder einem anderen Projekt kopieren, wenn Sie eine regions- oder projektübergreifende Sicherung benötigen. Sie können die Sicherung dann als neue Datenbank in einer beliebigen Instanz im selben Projekt wiederherstellen. Die Instanz, auf der Sie die Sicherung wiederherstellen, sollte dieselbe Instanzkonfiguration wie die Instanz haben, auf der die Sicherung gespeichert ist.
Exportierte Datenbanken befinden sich in Cloud Storage und die Daten können auf jedes System migriert werden, das CSV oder Avro unterstützt.
Aufbewahrung Sicherungen können bis zu ein Jahr lang aufbewahrt werden. Exportierte Datenbanken werden in Cloud Storage gespeichert und dort standardmäßig so lange aufbewahrt, bis sie gelöscht werden. Sie können Lebenszyklus- und Aufbewahrungsrichtlinien anpassen.
Preise Sicherungen werden Ihrem Spanner-Projekt basierend auf dem pro Einheitszeit verwendeten Speicherplatz in Rechnung gestellt. Weitere Informationen finden Sie im Abschnitt Preise. Die Abrechnung für den Import und Export ist aufgrund der Verwendung von Cloud Storage und Dataflow komplizierter. Weitere Informationen finden Sie unter Preise für Datenbankexport und -import.
Wiederherstellungszeit Die Wiederherstellung erfolgt in zwei Vorgängen: Wiederherstellung und Optimierung. Der Wiederherstellungsvorgang bietet eine schnelle Zeit bis zum ersten Byte, da die Datenbank die Sicherung direkt bereitstellt, ohne die Daten zu kopieren. Nach Abschluss des Wiederherstellungsvorgangs ist die Datenbank einsatzbereit. Die Leselatenz kann jedoch während der Optimierung etwas höher sein. Weitere Informationen finden Sie unter So funktioniert die Wiederherstellung. Der Import ist langsamer. Sie müssen warten, bis alle Daten in die Datenbank geschrieben wurden.

Dateiformate vergleichen

In der folgenden Tabelle werden die Unterschiede zwischen den Avro- und CSV-Dateiformaten beim Importieren und Exportieren von Spanner-Daten verglichen.

Leistungsvermögen Avro-Format CSV-Format
Ganze Datenbank importieren oder exportieren Ja Nein
Möglichkeit, nur ausgewählte Tabellen in einer Datenbank zu exportieren Ja Ja
Möglichkeit zum Importieren zuvor exportierter Tabellen Ja Ja
Export zu einem Zeitstempel in der Vergangenheit Ja Ja
Mit der Google Cloud CLI importieren oder exportieren Ja Ja
Mit Dataflow importieren oder exportieren Ja Ja
Mit Spanner importieren oder exportieren Ja Nein

Avro-Dateien

Beim Exportieren in das Avro-Format können Sie eine Liste mit Tabellen angeben, exportieren. Alle untergeordneten Tabellen, die auf diese Weise exportiert werden, müssen mit ihren übergeordneten Tabellen verknüpft sein. Spanner verwaltet das gesamte Datenbankschema in den exportierten Dateien.

Beim Import aus dem Avro-Format erstellt Spanner das gesamte Schema der exportierten Datenbank, einschließlich aller Tabellen, neu. Tabellen, die im ursprünglichen Export enthalten sind, erhalten alle exportierten Daten. Alle anderen Tabellen bleiben leer.

Die Spanner-Seite der Google Cloud Console bietet Import- und Exportoptionen im Avro-Format. Sie können z. B. keine Netzwerk- und Subnetzwerkoptionen. Verwenden Sie die Methode Dataflow-Seite.

CSV-Dateien

Sie können nur eine einzelne Spanner-Tabelle im CSV-Format unter folgendem Link exportieren: zu einer bestimmten Zeit. Beim Export werden nur die Daten exportiert, nicht das Schema.

Vor dem Import aus CSV-Dateien müssen Sie ein JSON-Manifest erstellen -Datei.

Preise

Für die Verwendung der Export- oder Importtools fallen keine zusätzlichen Spanner-Gebühren an. Sie bezahlen die Standardtarife für die Datenspeicherung, wenn Sie eine Datenbank in Spanner importieren. Es gibt jedoch noch andere potenzielle Gebühren im Zusammenhang mit dem Import und Export von Datenbanken. Weitere Informationen Siehe Preise für den Datenbankexport und -import.

Nächste Schritte