Sie können große Datenmengen in oder aus Spanner mit einer der folgenden Methoden:
- Spanner-Datenbanken importieren oder exportieren mit Dataflow nutzen.
- Sie können jede Spanner-Datenbank im Avro- oder CSV-Dateiformat in einen Cloud Storage-Bucket exportieren.
- Daten aus Avro importieren oder CSV-Dateien in eine neue Spanner-Datenbank übertragen.
Anwendungsfälle
Sie können den Import und Export von Spanner für die folgenden Anwendungsfälle verwenden:
- Bulk-Laden: Sie können Daten im Bulk-Verfahren in Spanner importieren.
Langfristige Sicherung und Archivierung: Sie können Ihre Datenbank jederzeit exportieren. und speichern sie langfristig an einem Cloud Storage-Bucket-Speicherort Ihrer Wahl. Sicherung oder Archivierung. Außerdem können Sie die Funktion Zu einem bestimmten Zeitpunkt Wiederherstellung, um eine Datenbank aus einem bestimmten Zeitstempel in der Vergangenheit zu exportieren. Wenn Sie nach Techniken zur Notfallwiederherstellung suchen, Wiederherstellung, haben aber eine kürzere Aufbewahrungsdauer, Back-ups verwenden oder die Wiederherstellung zu einem bestimmten Zeitpunkt.
Datenbanken in Entwicklungs- oder Testprojekte kopieren: Sie können eine Datenbank aus einem Produktionsprojekt und importieren sie dann in Ihre Entwicklungs- oder Testprojekt für Integrationstests oder andere Tests verwenden.
Aufnahme für Analysen: Sie können eine Datenbank exportieren, um Ihre Betriebsdaten im Bulk-Verfahren in Analysedienste wie BigQuery aufzunehmen. BigQuery kann Daten automatisch im Avro-Format aufnehmen aus einem Cloud Storage-Bucket, was die Ausführung von Analysen erleichtert zu Ihren Betriebsdaten. Wenn Sie BigQuery für die Echtzeitanalyse von Spanner-Daten verwenden möchten, ohne die Daten zu kopieren oder zu verschieben, können Sie stattdessen föderierte Spanner-Abfragen verwenden.
Import und Export vergleichen, um Daten zu sichern und wiederherzustellen
Der Import und Export von Spanner ist mit dem Sichern und Wiederherstellen vergleichbar in vielerlei Hinsicht nutzen. In der folgenden Tabelle werden Gemeinsamkeiten und Unterschiede beschrieben, um Ihnen die Entscheidung zu erleichtern.
Sichern und wiederherstellen | Import und Export | |
---|---|---|
Datenkonsistenz | Sowohl Sicherungen als auch exportierte Datenbanken sind transaktional und extern konsistent. | |
Auswirkungen auf die Leistung | Sicherungen haben keine Auswirkungen auf die Leistung einer Instanz. Spanner führt Sicherungen mit dedizierten Jobs aus, die nicht die Serverressourcen einer Instanz nutzen. | Der Export wird als Aufgabe mittlerer Priorität ausgeführt, um die Auswirkungen auf die Datenbankleistung zu minimieren. Weitere Informationen finden Sie unter Aufgabenpriorität. |
Speicherformat | Verwendet ein proprietäres, verschlüsseltes Format, das für eine schnelle Wiederherstellung entwickelt wurde. | Unterstützt sowohl CSV- als auch Avro-Dateiformate. |
Portabilität | Sie erstellen Sicherungen in derselben Instanz wie die Quelldatenbank. Nachdem eine Sicherung erstellt wurde, können Sie sie in eine Instanz in einer anderen Region oder einem anderen Projekt kopieren, wenn Sie eine regions- oder projektübergreifende Sicherung benötigen. Sie können die Sicherung dann als neue Datenbank in einer beliebigen Instanz im selben Projekt wiederherstellen. Die Instanz, auf der Sie die Sicherung wiederherstellen, sollte dieselbe Instanzkonfiguration wie die Instanz haben, auf der die Sicherung gespeichert ist. |
Exportierte Datenbanken befinden sich in Cloud Storage und die Daten können auf jedes System migriert werden, das CSV oder Avro unterstützt. |
Aufbewahrung | Sicherungen können bis zu ein Jahr lang aufbewahrt werden. | Exportierte Datenbanken werden in Cloud Storage gespeichert und dort standardmäßig so lange aufbewahrt, bis sie gelöscht werden. Sie können Lebenszyklus- und Aufbewahrungsrichtlinien anpassen. |
Preise | Sicherungen werden Ihrem Spanner-Projekt basierend auf dem pro Einheitszeit verwendeten Speicherplatz in Rechnung gestellt. Weitere Informationen finden Sie im Abschnitt Preise. | Die Abrechnung für den Import und Export ist aufgrund der Verwendung von Cloud Storage und Dataflow komplizierter. Weitere Informationen finden Sie unter Preise für Datenbankexport und -import. |
Wiederherstellungszeit | Die Wiederherstellung erfolgt in zwei Vorgängen: Wiederherstellung und Optimierung. Der Wiederherstellungsvorgang bietet eine schnelle Zeit bis zum ersten Byte, da die Datenbank die Sicherung direkt bereitstellt, ohne die Daten zu kopieren. Nach Abschluss des Wiederherstellungsvorgangs ist die Datenbank einsatzbereit. Die Leselatenz kann jedoch während der Optimierung etwas höher sein. Weitere Informationen finden Sie unter So funktioniert die Wiederherstellung. | Der Import ist langsamer. Sie müssen warten, bis alle Daten in die Datenbank geschrieben wurden. |
Dateiformate vergleichen
In der folgenden Tabelle werden die Unterschiede zwischen den Avro- und CSV-Dateiformaten beim Importieren und Exportieren von Spanner-Daten verglichen.
Leistungsvermögen | Avro-Format | CSV-Format |
---|---|---|
Ganze Datenbank importieren oder exportieren | Ja | Nein |
Möglichkeit, nur ausgewählte Tabellen in einer Datenbank zu exportieren | Ja | Ja |
Möglichkeit zum Importieren zuvor exportierter Tabellen | Ja | Ja |
Export zu einem Zeitstempel in der Vergangenheit | Ja | Ja |
Mit der Google Cloud CLI importieren oder exportieren | Ja | Ja |
Mit Dataflow importieren oder exportieren | Ja | Ja |
Mit Spanner importieren oder exportieren | Ja | Nein |
Avro-Dateien
Beim Exportieren in das Avro-Format können Sie eine Liste mit Tabellen angeben, exportieren. Alle untergeordneten Tabellen, die auf diese Weise exportiert werden, müssen mit ihren übergeordneten Tabellen verknüpft sein. Spanner verwaltet das gesamte Datenbankschema in den exportierten Dateien.
Beim Import aus dem Avro-Format erstellt Spanner das gesamte Schema der exportierten Datenbank, einschließlich aller Tabellen, neu. Tabellen, die im ursprünglichen Export enthalten sind, erhalten alle exportierten Daten. Alle anderen Tabellen bleiben leer.
Die Spanner-Seite der Google Cloud Console bietet Import- und Exportoptionen im Avro-Format. Sie können z. B. keine Netzwerk- und Subnetzwerkoptionen. Verwenden Sie die Methode Dataflow-Seite.
CSV-Dateien
Sie können nur eine einzelne Spanner-Tabelle im CSV-Format unter folgendem Link exportieren: zu einer bestimmten Zeit. Beim Export werden nur die Daten exportiert, nicht das Schema.
Vor dem Import aus CSV-Dateien müssen Sie ein JSON-Manifest erstellen -Datei.
Preise
Für die Verwendung der Export- oder Importtools fallen keine zusätzlichen Spanner-Gebühren an. Sie bezahlen die Standardtarife für die Datenspeicherung, wenn Sie eine Datenbank in Spanner importieren. Es gibt jedoch noch andere potenzielle Gebühren im Zusammenhang mit dem Import und Export von Datenbanken. Weitere Informationen Siehe Preise für den Datenbankexport und -import.
Nächste Schritte
- Datenbanken von Spanner nach Avro exportieren
- Spanner Avro-Dateien importieren
- Daten im CSV-Format importieren und exportieren
- Daten aus Nicht-Spanner-Datenbanken importieren