Daten im CSV-Format importieren und exportieren

Auf dieser Seite wird beschrieben, wie Sie Daten aus Spanner in CSV-Dateien exportieren oder importieren Daten aus CSV-Dateien in eine Spanner-Datenbank zu übertragen.

• Wenn Sie eine zuvor exportierte Spanner-Datenbank importieren möchten auf Avro-Dateien in Cloud Storage, siehe Importieren Sie Spanner Avro-Dateien.
• Informationen zum Importieren von Avro-Dateien aus einer Nicht-Spanner-Datenbank finden Sie unter Daten aus Nicht-Spanner-Datenbanken importieren.

Der Vorgang verwendet Dataflow. Sie können Daten aus folgenden Quellen exportieren: in einen Cloud Storage-Bucket verschieben oder Daten in Spanner aus einem Cloud Storage-Bucket, der eine JSON-Datei enthält Manifestdatei und eine Reihe von CSV-Dateien.

Hinweis: Wenn Sie Spanner mit einer 90-tägigen kostenlosen Testinstanz ausprobieren möchten, Weitere Informationen finden Sie unter Kostenlose Spanner-Testinstanz erstellen.

Hinweise

So importieren oder exportieren Sie eine Spanner-Datenbank: Zuerst müssen Sie Spanner, Cloud Storage Compute Engine und Dataflow APIs:

Enable the APIs

Außerdem brauchen Sie ein ausreichend großes Kontingent und die erforderlichen IAM-Berechtigungen.

Kontingentanforderungen

Für Import- oder Exportjobs gelten folgende Kontingentanforderungen:

• Spanner: Sie müssen für die zu importierenden Daten ausreichend Rechenkapazität haben. Für den Import oder Export einer Datenbank ist keine zusätzliche Rechenkapazität erforderlich. Allerdings benötigen Sie möglicherweise weitere Rechenkapazität, damit der Job in angemessener Zeit abgeschlossen werden kann. Weitere Informationen finden Sie unter Jobs optimieren.
• Cloud Storage: Zum Importieren benötigen Sie einen Bucket mit Ihren zuvor exportierten Dateien. Zum Exportieren müssen Sie einen Bucket für die exportierten Dateien erstellen, sofern noch keiner vorhanden ist. Das können Sie in der Google Cloud Console erledigen – entweder auf der Cloud Storage-Seite oder beim Erstellen des Exports auf der Spanner-Seite. Sie müssen keine Größe für den Bucket festlegen.
• Dataflow: Für Importjobs gelten die gleichen Compute Engine-Kontingente für CPU, Laufwerksnutzung und IP-Adressen wie für andere Dataflow-Jobs.

• Compute Engine: Bevor Sie den Import- oder Exportjob ausführen, müssen Sie Kontingente für Compute Engine einrichten, die von Dataflow verwendet werden. Diese Kontingente stellen die maximale Anzahl an Ressourcen dar, die Dataflow für Ihren Job verwenden darf. Empfohlene Anfangswerte sind:

  • CPUs: 200
  • Verwendete IP-Adressen: 200
  • Nichtflüchtiger Standardspeicher: 50 TB

  In der Regel sind keine weiteren Anpassungen erforderlich. Dataflow bietet Autoscaling, sodass Sie nur für die Ressourcen zahlen, die beim Import oder Export tatsächlich verwendet werden. Wenn Ihr Job mehr Ressourcen verwenden kann, ist in der Dataflow-UI ein Warnsymbol zu sehen. Der Job sollte trotz dieses Warnsymbols beendet werden.

Erforderliche Rollen

Bitten Sie Ihren Administrator, Ihnen die folgenden IAM-Rollen für das Dataflow-Arbeiterdienstkonto zu gewähren, um die Berechtigungen zu erhalten, die Sie zum Exportieren einer Datenbank benötigen:

• Cloud Spanner-Betrachter (roles/spanner.viewer)
• Dataflow-Worker (roles/dataflow.worker)
• Storage-Administrator (roles/storage.admin)
• Spanner-Datenbankleser (roles/spanner.databaseReader)
• Datenbankadministrator (roles/spanner.databaseAdmin)

Hinweis: Die Rolle „Spanner-Datenbank-Administrator“ ist nur für Importjobs erforderlich.

Spanner-Daten in CSV-Dateien exportieren

Zum Exportieren von Daten aus Spanner in CSV-Dateien in Cloud Storage folgen Sie der Anleitung zur Verwendung der Google Cloud CLI, um einen Job mit der Vorlage „Cloud Storage Text für Spanner“ auszuführen.

Weitere Informationen finden Sie in diesem Dokument auch zum Ansehen oder Fehlerbeheben von Jobs, zum Optimieren langsamer Jobs und zu Faktoren, die die Jobleistung beeinflussen.

Hinweis: Weder Änderungsstream-Daten noch die Werte in gespeicherten generierten Spalten werden exportiert.

Daten aus CSV-Dateien in Spanner importieren

Der Vorgang zum Importieren von Daten aus CSV-Dateien umfasst die folgenden Schritte:

1. Exportieren Sie Ihre Daten in CSV-Dateien und speichern Sie diese Dateien in Cloud Storage. Fügen Sie keine Headerzeile ein.
2. Erstellen Sie eine JSON-Manifestdatei und speichern Sie die Datei zusammen mit Ihren CSV-Dateien.
3. Erstellen Sie leere Zieltabellen in Ihrer Spanner-Datenbank oder sorgen Sie dafür, dass die Datentypen für Spalten in Ihren CSV-Dateien mit allen entsprechenden Spalten in Ihren vorhandenen Tabellen übereinstimmen.
4. Führen Sie den Importjob aus.

Hinweis: Die Dataflow-Vorlage kann keine CSV-Dateien mit Überschriften verarbeiten.

Schritt 1: Daten aus einer Nicht-Spanner-Datenbank in CSV-Dateien exportieren

Beim Importieren werden Daten aus CSV-Dateien, die sich in einem Cloud Storage-Bucket befinden, geholt. Sie können Daten aus jeder Quelle im CSV-Format exportieren.

Beachten Sie beim Exportieren Ihrer Daten folgende Punkte:

• Zu importierende Textdateien müssen im CSV-Format vorliegen.

• Die Daten müssen einem der folgenden Typen entsprechen:

GoogleSQL

BOOL
INT64
FLOAT64
NUMERIC
STRING
DATE
TIMESTAMP
BYTES
JSON

PostgreSQL

boolean
bigint
double precision
numeric
character varying, text
date
timestamp with time zone
bytea

• Beim Exportieren der CSV-Dateien müssen Sie Metadaten weder hinzufügen noch generieren.

• Für Ihre Dateien müssen keine bestimmten Namenskonventionen eingehalten werden.

Wenn Sie Ihre Dateien nicht direkt nach Cloud Storage exportieren, müssen Sie die CSV-Dateien in einen Cloud Storage-Bucket hochladen.

Schritt 2: JSON-Manifestdatei erstellen

Außerdem müssen Sie eine Manifestdatei mit einer JSON-Beschreibung der zu importierenden Dateien erstellen und in demselben Cloud Storage-Bucket speichern, in dem Sie Ihre CSV-Dateien gespeichert haben. Diese Manifestdatei enthält ein tables-Array, in dem Name und Speicherort der Datendatei für jede Tabelle aufgeführt sind. In der Datei wird auch der empfangende Datenbankdialekt angegeben. Wenn der Dialekt weggelassen wird, wird standardmäßig GoogleSQL verwendet.

Hinweis: Wenn eine Tabelle generierte Spalten enthält, muss das Manifest ein explizite Liste der nicht generierten Spalten zum Importieren für diese Tabelle. Spanner verwendet diese Liste, um CSV-Spalten den richtigen Tabellenspalten zuzuordnen. Die generierten Spaltenwerte werden während des Imports automatisch berechnet.

Das Format der Manifestdatei entspricht dem folgenden Nachrichtentyp, der hier im Protokollpufferformat dargestellt wird:

message ImportManifest {
  // The per-table import manifest.
  message TableManifest {
    // Required. The name of the destination table.
    string table_name = 1;
    // Required. The CSV files to import. This value can be either a filepath or a glob pattern.
    repeated string file_patterns = 2;
    // The schema for a table column.
    message Column {
      // Required for each Column that you specify. The name of the column in the
      // destination table.
      string column_name = 1;
      // Required for each Column that you specify. The type of the column.
      string type_name = 2;
    }
    // Optional. The schema for the table columns.
    repeated Column columns = 3;
  }
  // Required. The TableManifest of the tables to be imported.
  repeated TableManifest tables = 1;

  enum ProtoDialect {
    GOOGLE_STANDARD_SQL = 0;
    POSTGRESQL = 1;
  }
  // Optional. The dialect of the receiving database. Defaults to GOOGLE_STANDARD_SQL.
  ProtoDialect dialect = 2;
}

Das folgende Beispiel zeigt eine Manifestdatei zum Importieren von Tabellen mit dem Namen Albums und Singers in eine GoogleSQL-Dialect-Datenbank. Die Tabelle Albums verwendet das Spaltenschema, das der Job aus der Datenbank abruft. Die Tabelle Singers verwendet das Schema, das in der Manifestdatei angegeben ist:

{
  "tables": [
    {
      "table_name": "Albums",
      "file_patterns": [
        "gs://bucket1/Albums_1.csv",
        "gs://bucket1/Albums_2.csv"
      ]
    },
    {
      "table_name": "Singers",
      "file_patterns": [
        "gs://bucket1/Singers*.csv"
      ],
      "columns": [
        {"column_name": "SingerId", "type_name": "INT64"},
        {"column_name": "FirstName", "type_name": "STRING"},
        {"column_name": "LastName", "type_name": "STRING"}
      ]
    }
  ]
}

Schritt 3: Tabelle für Ihre Spanner-Datenbank erstellen

Bevor Sie den Import ausführen, müssen Sie die Zieltabellen in Ihrer Spanner-Datenbank erstellen. Wenn die Ziel-Spanner-Tabelle bereits ein Schema hat, müssen alle in der Manifestdatei angegebenen Spalten dieselben Datentypen wie die entsprechenden Spalten im Schema der Zieltabelle haben.

Wir empfehlen, sekundäre Indexe und Fremdschlüssel zu erstellen und nach dem Import der Daten in Spanner streamt. erstellen Sie die Tabelle. Wenn Ihre Tabelle diese sollten Sie sie entfernen und später neu erstellen. wenn Sie Ihre Daten importieren.

Schritt 4: Dataflow-Importjob mit gcloud ausführen

Folgen Sie der Anleitung zum Ausführen eines Importvorgangs über die Google Cloud CLI mit der Vorlage „Cloud Storage Text für Spanner“, um einen Importjob zu starten.

Nachdem Sie einen Importjob gestartet haben, können Sie in der Google Cloud Console Details zum Job aufrufen.

Fügen Sie nach Abschluss des Importjobs alle erforderlichen sekundären Indexe, Fremdschlüssel und Änderungsstreams hinzu.

Hinweis: Um Kosten für ausgehende Datenübertragungen zu vermeiden, wählen Sie eine Region aus, die sich mit dem Speicherort Ihres Cloud Storage-Buckets überschneidet.

Region für den Importjob auswählen

Sie können auch eine andere Region auswählen, die auf dem Standort Ihres Cloud Storage-Bucket. Um dies zu vermeiden Gebühren für ausgehende Datenübertragung angegeben werden, wählen Sie eine Region aus, mit dem Speicherort Ihres Cloud Storage-Bucket übereinstimmt.

• Wenn der Speicherort Ihres Cloud Storage-Bucket eine Region ist, geben Sie können Sie die kostenlose Netzwerknutzung nutzen, indem Sie die dieselbe Region für Ihren Importjob, sofern diese Region verfügbar ist.

• Wenn sich der Speicherort Ihres Cloud Storage-Buckets in einer Region mit zwei Speicherorten befindet, können Sie von der kostenlosen Netzwerknutzung profitieren, indem Sie eine der beiden Regionen für Ihren Importjob auswählen, sofern eine der Regionen verfügbar ist.

• Wenn für Ihren Importjob keine Region mit demselben Standort verfügbar ist oder sich der Speicherort Ihres Cloud Storage-Buckets in einer multiregionalen Region befindet, fallen Gebühren für ausgehende Datenübertragungen an. Weitere Informationen finden Sie unter „Cloud Storage“. Datenübertragungspreise, um eine Region auszuwählen, in der der die niedrigsten Kosten für die Datenübertragung.

Jobs in der Dataflow-UI ansehen oder Fehler beheben

Nachdem Sie einen Import- oder Exportjob gestartet haben, können Sie die Details des Jobs aufrufen, einschließlich Logs im Abschnitt "Dataflow" der Google Cloud Console.

Dataflow-Jobdetails ansehen

So rufen Sie Details zu Import- oder Exportjobs auf, die Sie in der letzten Woche ausgeführt haben: einschließlich aller Jobs, die jetzt ausgeführt werden:

1. Wechseln Sie zur Seite Datenbanküberblick für die Datenbank.
2. Klicken Sie im linken Bereich auf den Menüpunkt Import/Export. Auf der Datenbankseite Import/Export wird eine Liste der letzten Jobs angezeigt.

3. Klicken Sie auf der Seite Import/Export der Datenbank in der Spalte Dataflow-Jobname auf den Jobnamen:

   

   In der Google Cloud Console werden Details zum Dataflow angezeigt. Job.

So rufen Sie einen Job auf, den Sie vor mehr als einer Woche ausgeführt haben:

1. Rufen Sie in der Google Cloud Console die Seite „Dataflow-Jobs“ auf.

   ZU JOBS

2. Suchen Sie den Job in der Liste und klicken Sie auf seinen Namen.

   In der Google Cloud Console werden Details zum Dataflow angezeigt. Job.

Hinweis: Jobs desselben Typs für dieselbe Datenbank haben denselben Namen. Sie können sie anhand der Werte in den Spalten Beginn und Ende unterscheiden.

Dataflow-Logs für einen Job aufrufen

Rufen Sie die Detailseite des Jobs auf und klicken Sie rechts neben dem Jobnamen auf Protokolle, um die Protokolle eines Dataflow-Jobs anzusehen.

Wenn ein Job fehlschlägt, suchen Sie in den Logs nach Fehlern. Falls Fehler aufgetreten sind, ist neben Logs die Fehleranzahl zu sehen:

So sehen Sie sich Jobfehler genauer an:

1. Klicken Sie auf die Fehleranzahl neben Logs.

   In der Google Cloud Console können Sie die Logs des Jobs ansehen. Unter Umständen müssen Sie scrollen, um die Fehler einzublenden.

2. Suchen Sie nach Einträgen mit dem Fehlersymbol .

3. Klicken Sie auf einen Logeintrag, um ihn zu maximieren.

Weitere Informationen zur Fehlerbehebung bei Dataflow-Jobs finden Sie unter Pipelinefehler beheben.

Fehlerbehebung bei fehlgeschlagenen Import- oder Exportjobs

Wenn in Ihren Joblogs die folgenden Fehler angezeigt werden:

com.google.cloud.spanner.SpannerException: NOT_FOUND: Session not found

--or--

com.google.cloud.spanner.SpannerException: DEADLINE_EXCEEDED: Deadline expired before operation could complete.

Überprüfen Sie die 99% Lese-/Schreiblatenz in der Tab Monitoring Ihrer Spanner-Datenbank in der Google Cloud Console Wenn hohe Werte angezeigt werden (mehrere Sekunden), bedeutet dies, dass die Instanz überlastet ist, was zu Lese-/Schreibfehlern führt.

Eine Ursache für eine hohe Latenz ist, dass der Dataflow-Job mit zu vielen Workern ausgeführt wird und die Spanner-Instanz zu stark belastet wird.

So legen Sie ein Limit für die Anzahl der Dataflow-Worker fest:

Console

Wenn Sie die Dataflow Console verwenden, befindet sich der Parameter Max. Worker im Abschnitt Optionale Parameter auf der Seite Job aus Vorlage erstellen.

Zu Dataflow

gcloud

Führen Sie den Befehl gcloud dataflow jobs run aus und geben Sie das Argument max-workers an. Beispiel:

  gcloud dataflow jobs run my-import-job \
    --gcs-location='gs://dataflow-templates/latest/GCS_Text_to_Cloud_Spanner' \
    --region=us-central1 \
    --parameters='instanceId=test-instance,databaseId=example-db,inputDir=gs://my-gcs-bucket' \
    --max-workers=10 \
    --network=network-123

Netzwerkfehler beheben

Der folgende Fehler kann beim Exportieren von Spanner auftreten Datenbanken:

Workflow failed. Causes: Error: Message: Invalid value for field
'resource.properties.networkInterfaces[0].subnetwork': ''. Network interface
must specify a subnet if the network resource is in custom subnet mode.
HTTP Code: 400

Dieser Fehler tritt auf, weil Spanner davon ausgeht, dass Sie im selben Projekt wie der Dataflow-Job ein VPC-Netzwerk im automatischen Modus namens default verwenden möchten. Wenn Sie kein Standard-VPC-Netzwerk oder wenn sich Ihr VPC-Netzwerk in einem benutzerdefinierten Modus befindet, einen Dataflow-Job erstellen und ein alternatives Netzwerk oder Subnetzwerk angeben.

Langsam ausgeführte Import- oder Exportjobs optimieren

Wenn Sie die Vorschläge für die Anfangseinstellungen befolgt haben, sollten in der Regel keine weiteren Anpassungen nötig sein. Falls der Job jedoch langsam ausgeführt wird, können Sie einige andere Optimierungen versuchen:

• Job- und Datenspeicherort optimieren: Führen Sie den Dataflow-Job in der Region der Spanner-Instanz und des Cloud Storage-Buckets aus.

• Auf ausreichende Dataflow-Ressourcen achten: Wenn der relevante Compute Engine-Kontingente die Ressourcen Ihres Dataflow-Jobs, die Seite „Dataflow“ in der Google Cloud Console zeigt ein Warnsymbol an und protokollieren Nachrichten:

  

  In diesem Fall kann das Erhöhen der Kontingente für CPUs, verwendete IP-Adressen und nichtflüchtigen Standardspeicher die Ausführungszeit des Jobs verkürzen, aber auch höhere Compute Engine-Gebühren zur Folge haben.

• Spanner-CPU-Auslastung prüfen: Wenn Sie feststellen, dass die CPU-Auslastung Auslastung der Instanz über 65 % liegt, können Sie Erhöhen Sie die Rechenkapazität in dieser Instanz. Die Kapazität erhöht die Kapazität Spanner-Ressourcen und der Job sollten schneller ausgeführt werden, Spanner-Gebühren.

Faktoren, die sich auf die Leistung von Import- oder Exportjobs auswirken

Die Zeit für einen Import- oder Exportjob wird von mehreren Faktoren beeinflusst.

• Größe der Spanner-Datenbank: Die Verarbeitung von mehr Daten erfordert mehr Zeit und Ressourcen.

• Spanner-Datenbankschema, einschließlich:

  • Anzahl der Tabellen
  • Größe der Zeilen
  • Anzahl der sekundären Indexe
  • Die Anzahl der Fremdschlüssel
  • Anzahl der Änderungsstreams

• Datenspeicherort: Daten werden zwischen Spanner und Cloud Storage mit Dataflow. Idealerweise befinden sich alle drei Komponenten in derselben Region. Wenn das nicht der Fall ist, dauert das regionsübergreifende Verschieben der Daten länger.

• Anzahl der Dataflow-Worker: Optimale Dataflow-Worker sind für eine gute Leistung erforderlich. Mithilfe von Autoscaling wählt Dataflow die Anzahl der Worker für einen Job abhängig vom Arbeitsumfang aus. Diese Anzahl wird jedoch durch die Kontingente für CPUs, verwendete IP-Adressen und nichtflüchtigen Standardspeicher begrenzt. In der Dataflow-UI ist ein Warnsymbol zu sehen, wenn Kontingentobergrenzen erreicht werden. In diesem Fall dauert die Verarbeitung länger, aber der Job sollte dennoch abgeschlossen werden. Das Autoscaling kann Spanner überlasten, was zu Fehlern führt, wenn große Datenmengen importieren können.

• Bestehende Auslastung von Spanner: Ein Importjob erhöht die CPU-Auslastung für eine Spanner-Instanz erheblich. Ein Exportjob steigert in der Regel die Auslastung für eine Spanner-Instanz nur wenig. Wenn die Instanz jedoch bereits eine erhebliche bestehende Auslastung aufweist, wird der Job langsamer ausgeführt.

• Menge der Spanner-Rechenkapazität: Wenn die CPU-Auslastung für die Instanz bei über 65 % liegt, wird der Job langsamer ausgeführt.

Feinabstimmung der Worker für eine gute Importleistung

Beim Starten eines Spanner-Importjobs muss auf einen optimalen Wert eingestellt werden, um eine gute Leistung zu erzielen. Zu viele Worker überlastet, und zu wenige Worker führt zu einer der Importleistung.

Die maximale Anzahl von Workern hängt stark von der Datengröße ab. Im Idealfall sollte die gesamte CPU-Auslastung von Spanner zwischen 70 % und 90 % liegen. Dies bietet ein ausgewogenes Verhältnis zwischen Spanner und und fehlerfreie Auftragserledigung.

Um dieses Nutzungsziel in den meisten Schemas und Szenarien zu erreichen, empfehlen eine maximale Anzahl von Worker-vCPUs, die im 4- bis 6-Fachen der Anzahl der Spanner-Knoten.

Beispiel: Für eine Spanner-Instanz mit 10 Knoten mit n1-standard-2 würden Sie die maximale Anzahl der Worker auf 25 festlegen, was 50 vCPUs ergibt.