Sie können eine große Menge an Daten mit einer der folgenden Methoden in Spanner importieren oder aus Spanner exportieren:
- Spanner-Datenbanken mit Dataflow importieren oder exportieren
- Sie können jede Spanner-Datenbank im Avro- oder CSV-Dateiformat in einen Cloud Storage-Bucket exportieren.
- Daten aus Avro- oder CSV-Dateien in eine neue Spanner-Datenbank importieren.
Anwendungsfälle
Sie können den Import und Export von Spanner für die folgenden Anwendungsfälle verwenden:
- Bulk-Laden: Sie können Daten im Bulk-Verfahren in Spanner importieren.
Langfristige Sicherung und Archivierung: Sie können Ihre Datenbank jederzeit exportieren und zur langfristigen Sicherung oder Archivierung an einem beliebigen Cloud Storage-Bucket-Speicherort speichern. Außerdem können Sie mit der Wiederherstellung zu einem bestimmten Zeitpunkt eine Datenbank von einem bestimmten Zeitstempel in der Vergangenheit exportieren. Wenn Sie nach Notfallwiederherstellungsmethoden suchen, die eine schnellere Wiederherstellung bieten, aber kürzere Aufbewahrungszeiten haben, sollten Sie Sicherungen oder die Wiederherstellung zu einem bestimmten Zeitpunkt (PITR) verwenden.
Datenbanken in Entwicklungs- oder Testprojekte kopieren: Sie können eine Datenbank aus einem Produktionsprojekt exportieren und dann in Ihr Entwicklungs- oder Testprojekt importieren, um sie für Integrationstests oder andere Experimente zu verwenden.
Aufnahme für Analysen: Sie können eine Datenbank exportieren, um Ihre Betriebsdaten im Bulk-Verfahren in Analysedienste wie BigQuery aufzunehmen. BigQuery kann Daten im Avro-Format automatisch aus einem Cloud Storage-Bucket aufnehmen. So können Sie Analysen für Ihre Betriebsdaten einfacher durchführen. Wenn Sie BigQuery für die Echtzeitanalyse von Spanner-Daten verwenden möchten, ohne die Daten zu kopieren oder zu verschieben, können Sie stattdessen föderierte Spanner-Abfragen verwenden.
Import und Export vergleichen, um zu sichern und wiederherzustellen
Der Import und Export in Spanner ähnelt in vielerlei Hinsicht der Sicherung und Wiederherstellung. In der folgenden Tabelle werden Gemeinsamkeiten und Unterschiede beschrieben, um Ihnen die Entscheidung zu erleichtern.
Sichern und wiederherstellen | Import und Export | |
---|---|---|
Datenkonsistenz | Sowohl Sicherungen als auch exportierte Datenbanken sind transaktional und extern konsistent. | |
Auswirkungen auf die Leistung | Sicherungen haben keine Auswirkungen auf die Leistung einer Instanz. Spanner führt Sicherungen mit dedizierten Jobs aus, die nicht auf die Serverressourcen einer Instanz zugreifen. | Der Export wird als Aufgabe mittlerer Priorität ausgeführt, um die Auswirkungen auf die Datenbankleistung zu minimieren. Weitere Informationen finden Sie unter Aufgabenpriorität. |
Speicherformat | Verwendet ein proprietäres, verschlüsseltes Format, das für eine schnelle Wiederherstellung entwickelt wurde. | Unterstützt sowohl CSV- als auch Avro-Dateiformate. |
Portabilität | Sie erstellen Sicherungen in derselben Instanz wie die Quelldatenbank. Nachdem eine Sicherung erstellt wurde, können Sie sie in eine Instanz in einer anderen Region oder einem anderen Projekt kopieren, wenn Sie eine regions- oder projektübergreifende Sicherung benötigen. Sie können die Datenbank dann aus einer Sicherung als neue Datenbank in einer beliebigen Instanz im selben Projekt restore. Die Instanz, in der Sie die Sicherung wiederherstellen, sollte dieselbe Instanzkonfiguration wie die Instanz haben, in der die Sicherung gespeichert ist. |
Exportierte Datenbanken befinden sich in Cloud Storage und die Daten können zu jedem System migriert werden, das CSV oder Avro unterstützt. |
Aufbewahrung | Sicherungen können bis zu einem Jahr lang aufbewahrt werden. | Exportierte Datenbanken werden in Cloud Storage gespeichert und dort standardmäßig so lange aufbewahrt, bis sie gelöscht werden. Sie können Lebenszyklus- und Aufbewahrungsrichtlinien anpassen. |
Preise | Sicherungen werden Ihrem Spanner-Projekt basierend auf dem pro Zeiteinheit verwendeten Speicher in Rechnung gestellt. Weitere Informationen finden Sie im Abschnitt Preise. | Die Abrechnung für Import und Export ist aufgrund der Verwendung von Cloud Storage und Dataflow komplizierter. Weitere Informationen finden Sie unter Preise für Datenbankexport und -import. |
Wiederherstellungszeit | Die Wiederherstellung erfolgt in zwei Vorgängen: Wiederherstellung und Optimierung. Der Wiederherstellungsvorgang bietet eine schnelle Zeit bis zum ersten Byte, da die Datenbank die Sicherung direkt bereitstellt, ohne die Daten zu kopieren. Nach Abschluss des Wiederherstellungsvorgangs ist die Datenbank einsatzbereit. Die Leselatenz kann jedoch während der Optimierung etwas höher sein. Weitere Informationen finden Sie unter So funktioniert die Wiederherstellung. | Der Import ist langsamer. Sie müssen warten, bis alle Daten in die Datenbank geschrieben wurden. |
Dateiformate vergleichen
In der folgenden Tabelle werden die Unterschiede zwischen den Avro- und CSV-Dateiformaten beim Importieren und Exportieren von Spanner-Daten verglichen.
Leistungsvermögen | Avro-Format | CSV-Format |
---|---|---|
Eine ganze Datenbank importieren oder exportieren | Ja | Nein |
Möglichkeit, nur ausgewählte Tabellen in einer Datenbank zu exportieren | Ja | Ja |
Möglichkeit zum Importieren zuvor exportierter Tabellen | Ja | Ja |
Export zu einem Zeitstempel in der Vergangenheit | Ja | Ja |
Mit der Google Cloud CLI importieren oder exportieren | Ja | Ja |
Mit Dataflow importieren oder exportieren | Ja | Ja |
Mit Spanner importieren oder exportieren | Ja | Nein |
Avro-Dateien
Beim Exportieren in das Avro-Format können Sie eine Liste der zu exportierenden Tabellen angeben. Alle auf diese Weise exportierten untergeordneten Tabellen müssen mit ihren übergeordneten Tabellen verknüpft sein. Spanner verwaltet das gesamte Datenbankschema in den exportierten Dateien.
Beim Import aus dem Avro-Format erstellt Spanner das gesamte Schema der exportierten Datenbank, einschließlich aller Tabellen, neu. Tabellen, die im ursprünglichen Export enthalten sind, erhalten alle exportierten Daten. Alle anderen Tabellen bleiben leer.
Die Spanner-Seite der Google Cloud -Console bietet nur begrenzte Import- und Exportoptionen für das Avro-Format. Sie können beispielsweise keine Netzwerk- und Unternetzwerkoptionen festlegen. Auf der Dataflow-Seite finden Sie weitere Optionen.
CSV-Dateien
Sie können jeweils nur eine Spanner-Tabelle im CSV-Format exportieren. Beim Export werden nur die Daten exportiert, nicht das Schema.
Bevor Sie aus CSV-Dateien importieren können, müssen Sie eine JSON-Manifestdatei erstellen.
Preise
Für die Verwendung der Export- oder Importtools fallen keine zusätzlichen Spanner-Gebühren an. Sie bezahlen die Standardtarife für die Datenspeicherung, wenn Sie eine Datenbank in Spanner importieren. Allerdings können im Zusammenhang mit dem Import und Export von Datenbanken weitere Kosten anfallen. Weitere Informationen finden Sie unter Preise für Datenbankexport und -import.
Nächste Schritte
- Datenbanken von Spanner nach Avro exportieren
- Spanner Avro-Dateien importieren
- Daten im CSV-Format importieren und exportieren
- Daten aus Nicht-Spanner-Datenbanken importieren