Spanner Avro-Dateien importieren

Auf dieser Seite wird beschrieben, wie Sie Spanner-Datenbanken mithilfe von in der Google Cloud Console. Informationen zum Importieren von Avro-Dateien aus einer anderen Quelle finden Sie unter Daten aus Nicht-Spanner-Datenbanken importieren.

In diesem Vorgang wird Dataflow zum Importieren von Daten aus einem Cloud Storage-Bucket-Ordner verwendet, der eine Reihe von Avro-Dateien und JSON-Manifestdateien enthält. Der Importvorgang unterstützt nur aus Spanner exportierte Avro-Dateien.

So importieren Sie eine Spanner-Datenbank mit der REST API oder dem gcloud CLI: führen Sie die Schritte im Abschnitt Vorbereitung aus und lesen Sie dann die detaillierte Anleitung unter Cloud Storage Avro für Spanner.

Hinweise

So importieren Sie eine Spanner-Datenbank: Zuerst müssen Sie Spanner, Cloud Storage Compute Engine und Dataflow APIs:

Aktivieren Sie die APIs

Außerdem brauchen Sie ein ausreichend großes Kontingent und die erforderlichen IAM-Berechtigungen.

Kontingentanforderungen

Für Importjobs gelten die folgenden Kontingentanforderungen:

• Spanner Sie müssen genügend Rechenkapazität haben. um die zu importierenden Daten zu unterstützen. Für den Import einer Datenbank ist keine zusätzliche Rechenkapazität erforderlich. Allerdings benötigen Sie möglicherweise weitere Rechenkapazität, damit der Job in angemessener Zeit abgeschlossen werden kann. Weitere Informationen finden Sie unter Jobs optimieren.
• Cloud Storage: Zum Importieren benötigen Sie einen Bucket mit Ihren zuvor exportierten Dateien. Für den Bucket muss keine Größe festgelegt werden.
• Dataflow: Für Importjobs gelten dieselben Compute Engine-Kontingente für CPU, Laufwerksnutzung und IP-Adressen wie für andere Dataflow-Jobs.

• Compute Engine: Bevor Sie den Importjob ausführen, müssen Sie zuerst Kontingente für Compute Engine einrichten, die von Dataflow verwendet werden. Diese Kontingente stellen die maximale Anzahl von Ressourcen dar, die Dataflow für Ihren Job verwenden darf. Empfohlene Anfangswerte sind:

  • CPUs: 200
  • Verwendete IP-Adressen: 200
  • Nichtflüchtiger Standardspeicher: 50 TB

  In der Regel sind keine weiteren Anpassungen erforderlich. Dataflow bietet Autoscaling, sodass Sie nur für die Ressourcen zahlen, die beim Import tatsächlich verwendet werden. Wenn Ihr Job mehr Ressourcen verwenden kann, wird in der Dataflow-UI ein Warnsymbol angezeigt. Der Job sollte trotz dieses Warnsymbols beendet werden.

IAM-Anforderungen

Für das Importieren einer Datenbank benötigen Sie außerdem IAM-Rollen mit ausreichenden Berechtigungen, um alle Dienste nutzen zu können, die für einen Importjob erforderlich sind. Informationen zum Gewähren von Rollen und Berechtigungen finden Sie unter IAM-Rollen anwenden

Zum Importieren einer Datenbank benötigen Sie folgende Rollen:

• Auf Google Cloud-Projektebene:
  • Spanner-Betrachter (roles/spanner.viewer)
  • Dataflow-Administrator (roles/dataflow.admin)
  • Storage-Administrator (roles/storage.admin)
• Auf der Spanner-Datenbank- oder -Instanzebene bzw. auf der Google Cloud-Projektebene: <ph type="x-smartling-placeholder">
  </ph>
  • Spanner-Datenbank-Leser (roles/spanner.databaseReader)
  • Spanner-Datenbankadministrator (roles/spanner.databaseAdmin)

Hinweis: Die Rolle „Spanner-Datenbankadministrator“ ist nur für Importjobs erforderlich.

Optional: Datenbankordner in Cloud Storage suchen

So finden Sie den Ordner, der Ihre exportierte Datenbank enthält, in der Google Cloud Console öffnen Sie den Cloud Storage-Browser und klicken Sie auf für den Bucket, der den exportierten Ordner enthält.

Zum Cloud Storage-Browser

Der Name des Ordners mit Ihren exportierten Daten beginnt mit der ID Ihrer Instanz, dem Datenbanknamen und dem Zeitstempel des Exportjobs. Der Ordner enthält Folgendes:

• Eine spanner-export.json-Datei
• Eine TableName-manifest.json-Datei für jede Tabelle in der Datenbank, die Sie exportiert haben

• Mindestens eine TableName.avro-#####-of-#####-Datei Die erste Zahl in der Erweiterung .avro-#####-of-##### steht für den Index der Avro-Datei, beginnend bei null, und die zweite Zahl steht für die Anzahl der Avro-Dateien, die für jede Tabelle generiert werden.

  Songs.avro-00001-of-00002 ist beispielsweise die zweite von zwei Dateien, die die Daten der Tabelle Songs enthalten.

• Eine ChangeStreamName-manifest.json-Datei für jede Änderungsstream in der Datenbank, exportiert.

• A ChangeStreamName.avro-00000-of-00001 für jeden Änderungsstream. Diese Datei enthält leere Daten nur mit dem Avro-Schema des Änderungsstreams.

Datenbank importieren

So importieren Sie Ihre Spanner-Datenbank aus Cloud Storage in Ihren führen Sie die folgenden Schritte aus.

1. Rufen Sie die Spanner-Seite Instanzen auf.

   Zur Seite "Instanzen"

2. Klicken Sie auf den Namen der Instanz, in die die Datenbank zu importieren ist.

3. Klicken Sie auf den Menüpunkt Import/Export im linken Bereich und anschließend auf die Schaltfläche Import.

4. Klicken Sie unter Quellordner auswählen auf Durchsuchen.

5. Suchen Sie den Bucket mit Ihrem Export in der angezeigten Liste oder klicken Sie auf Suchen , um die Liste zu filtern und den Bucket zu ermitteln. Klicken Sie doppelt auf den Bucket, um die darin enthaltenen Ordner aufzurufen.

6. Suchen Sie den Ordner mit den exportierten Dateien und klicken Sie darauf, um ihn auszuwählen.

   Hinweis: Wählen Sie unbedingt den Ordner aus, der vom Exportjob erstellt wurde, und nicht einen übergeordneten Ordner, der den exportierten Ordner enthält.

7. Klicken Sie auf Auswählen.

8. Geben Sie einen Namen für die neue Datenbank ein, die Spanner während der Datenimport und -import. Der Datenbankname darf in Ihrer Instanz nicht bereits vorhanden sein.

9. Wählen Sie den Dialekt für die neue Datenbank aus (GoogleSQL oder PostgreSQL).

10. Optional: So schützen Sie die neue Datenbank mit einem vom Kunden verwalteter Verschlüsselungsschlüssel an, klicken Sie auf Verschlüsselungsoptionen einblenden und wählen Sie Verwenden Sie einen vom Kunden verwalteten Verschlüsselungsschlüssel (CMEK). Wählen Sie dann einen Schlüssel aus in der Drop-down-Liste.

11. Wählen Sie aus dem Drop-down-Menü Region für den Importjob auswählen eine Region aus.

    Hinweis: Um Gebühren für ausgehende Datenübertragung zu vermeiden, wählen Sie eine Region aus, überschneidet sich mit dem Speicherort Ihres Cloud Storage-Bucket. Weitere Informationen finden Sie unter Wählen Sie unten eine Region aus, um weitere Informationen zu erhalten.

12. (Optional) An Dataflow-Pipelinestatus verschlüsseln mit einem vom Kunden verwalteten Verschlüsselungsschlüssel, klicken Sie auf Verschlüsselungsoptionen einblenden und Wählen Sie Vom Kunden verwalteten Verschlüsselungsschlüssel (CMEK) verwenden aus. Wählen Sie dann einen Schlüssel aus in der Drop-down-Liste aus.

13. Klicken Sie das Kästchen unter Belastungen bestätigen an, um zu bestätigen, dass Gebühren zusätzlich zu den Gebühren für Ihre vorhandene Spanner-Instanz.

14. Klicken Sie auf Importieren.

    In der Google Cloud Console wird die Seite Datenbankdetails angezeigt, wird nun ein Feld mit einer Beschreibung des Importjobs angezeigt, einschließlich der verstrichenen Zeit Zeit:

    

Wenn der Job abgeschlossen oder beendet wird, wird in der Google Cloud Console eine Meldung auf der Seite Datenbankdetails. Wurde der Job erfolgreich beendet, lautet sie:

Hinweis: Nachdem der Dataflow-Importjob erfolgreich abgeschlossen wurde, Spanner erstellt Indexe und Fremdschlüssel für die importierte Datenbank. Während der Indexerstellung wird in der Google Cloud Console eine Fortschrittssymbol, das angibt, dass ein lang andauernder Vorgang ausgeführt wird. Das Symbol befindet sich neben dem Namen des Index in der Datenbankhierarchie links neben der Seite Datenbankdetails. Wenn statt des Symbols "In Bearbeitung" das Indexsymbol  angezeigt wird, ist die Erstellung dieses Index abgeschlossen. Sie können SPANNER_STATE in der Ansicht INFORMATION_SCHEMA.REFERENTIAL_CONSTRAINTS abfragen und so den Fortschritt bei der Erstellung von Fremdschlüsseln einsehen.

Wenn der Job nicht erfolgreich war, wird eine Fehlermeldung angezeigt:

Wenn der Job fehlschlägt, prüfen Sie die Dataflow-Logs des Jobs auf Fehler. finden Sie weitere Informationen unter Fehlerbehebung bei fehlgeschlagenen Importjobs.

Hinweis zum Importieren von generierten Spalten und Änderungsstreams

Spanner verwendet die Definition jeder generierten Spalte im Avro-Schema ein, um diese Spalte neu zu erstellen. Spanner berechnet die generierten Spaltenwerte automatisch während des Imports.

In ähnlicher Weise verwendet Spanner die Definition jeder Änderung Stream im Avro-Schema, um es während des Imports neu zu erstellen. Ändern Streamdaten weder exportiert noch über Avro importiert werden, sodass alle Änderungsstreams, die mit einer neu importierten Datenbank verknüpft sind, keine Änderungsdatensätze.

Hinweis zum Importieren von Sequenzen

Jede Sequenz (GoogleSQL, PostgreSQL) die von Spanner exportiert werden, die GET_INTERNAL_SEQUENCE_STATE() (GoogleSQL, PostgreSQL) um ihren aktuellen Status zu erfassen. Spanner fügt dem Zähler einen Puffer von 1.000 hinzu und schreibt den neuen Zählerwert zu den Eigenschaften des Eintragsfelds. Beachten Sie, dass dies nur eine um Fehler durch doppelte Werte zu vermeiden, die nach dem Import auftreten können. Passen Sie den tatsächlichen Sequenzzähler an, wenn mehr Schreibvorgänge in den Quelldatenbank während des Datenexports abrufen.

Beim Import beginnt die Sequenz bei diesem neuen Zähler anstelle des Zählers. aus dem Schema. Bei Bedarf können Sie die ALTER SEQUENCE (GoogleSQL, PostgreSQL) , um auf einen neuen Zähler zu aktualisieren.

Region für den Importjob auswählen

Sie können eine andere Region auf Grundlage des Standorts Ihres Cloud Storage-Bucket. Um dies zu vermeiden Gebühren für ausgehende Datenübertragung angegeben werden, wählen Sie eine Region aus, mit dem Speicherort Ihres Cloud Storage-Bucket übereinstimmt.

• Wenn der Speicherort Ihres Cloud Storage-Bucket eine Region ist, gilt Folgendes: können Sie die kostenlose Netzwerknutzung nutzen, indem Sie die dieselbe Region für Ihren Importjob, sofern diese Region verfügbar ist.

• Wenn der Speicherort Ihres Cloud Storage-Bucket eine Dual-Region ist, können Sie die kostenlose Netzwerknutzung nutzen, indem Sie einer der beiden Regionen, aus denen die Dual-Region für Ihren Importjob besteht, vorausgesetzt, eine der Regionen ist verfügbar.

• Wenn für Ihren Importjob keine am selben Standort befindliche Region verfügbar ist oder Ihr Der Speicherort des Cloud Storage-Bucket ist multiregional Es fallen Gebühren für ausgehende Datenübertragungen an. Weitere Informationen finden Sie unter „Cloud Storage“. Datenübertragungspreise, um eine Region auszuwählen, in der der die niedrigsten Kosten für die Datenübertragung.

Jobs in der Dataflow-UI ansehen oder Fehler beheben

Nachdem Sie einen Importjob gestartet haben, können Sie Details dazu aufrufen, Logs im Abschnitt "Dataflow" der Google Cloud Console.

Dataflow-Jobdetails ansehen

So rufen Sie Details zu allen Import-/Exportjobs auf, die Sie in der letzten Woche ausgeführt haben, einschließlich aller derzeit ausgeführten Jobs:

1. Wechseln Sie zur Seite Datenbanküberblick für die Datenbank.
2. Klicken Sie im linken Bereich auf den Menüpunkt Import/Export. Auf der Datenbankseite Import/Export wird eine Liste der letzten Jobs angezeigt.

3. Klicken Sie auf der Seite Import/Export der Datenbank in der Spalte Dataflow-Jobname auf den Jobnamen:

   

   In der Google Cloud Console werden Details zum Dataflow angezeigt. Job.

So rufen Sie einen Job auf, den Sie vor mehr als einer Woche ausgeführt haben:

1. Rufen Sie in der Google Cloud Console die Seite mit den Dataflow-Jobs auf.

   Zur Jobseite

2. Suchen Sie den Job in der Liste und klicken Sie auf seinen Namen.

   In der Google Cloud Console werden Details zum Dataflow angezeigt. Job.

Hinweis: Jobs desselben Typs für dieselbe Datenbank haben denselben Namen. Sie können sie anhand der Werte in den Spalten Beginn und Ende unterscheiden.

Dataflow-Logs für Ihren Job ansehen

Rufen Sie wie oben beschrieben die Detailseite des Jobs auf und klicken Sie rechts neben dem Jobnamen auf Logs, um die Logs eines Dataflow-Jobs anzusehen.

Wenn ein Job fehlschlägt, suchen Sie in den Logs nach Fehlern. Falls Fehler aufgetreten sind, ist neben Logs die Fehleranzahl zu sehen:

So sehen Sie sich Jobfehler genauer an:

1. Klicken Sie auf die Fehleranzahl neben Logs.

   In der Google Cloud Console werden die Logs des Jobs angezeigt. Unter Umständen müssen Sie scrollen, um die Fehler einzublenden.

2. Suchen Sie nach Einträgen mit dem Fehlersymbol .

3. Klicken Sie auf einen Logeintrag, um ihn zu maximieren.

Weitere Informationen zur Fehlerbehebung bei Dataflow-Jobs finden Sie unter Fehler in der Pipeline beheben

Fehlerbehebung bei fehlgeschlagenen Importjobs

Wenn in Ihren Joblogs die folgenden Fehler angezeigt werden:

com.google.cloud.spanner.SpannerException: NOT_FOUND: Session not found

--or--

com.google.cloud.spanner.SpannerException: DEADLINE_EXCEEDED: Deadline expired before operation could complete.

Überprüfen Sie die 99% Schreiblatenz in der Tab Monitoring Ihrer Spanner-Datenbank in der Google Cloud Console Wenn hohe Werte angezeigt werden (mehrere Sekunden), bedeutet dies, dass die Instanz überlastet ist, was zu Schreibfehlern führt.

Eine Ursache für die hohe Latenz ist, dass der Dataflow-Job mit zu vielen die die Spanner-Instanz zu stark belastet.

Wenn Sie ein Limit für die Anzahl der Dataflow-Worker festlegen möchten, verwenden Sie nicht die Methode Tab „Importieren/Exportieren“ auf der Seite „Instanzdetails“ von Spanner in der Google Cloud Console müssen Sie den Dataflow-Import Vorlage „Cloud Storage Avro für Cloud Spanner“ und geben Sie die maximale Anzahl von Workern an, wie unten beschrieben: <ph type="x-smartling-placeholder">

</ph>

• Wenn Sie die Dataflow Console verwenden, befindet sich der Parameter Max. Worker im Abschnitt Optionale Parameter auf der Seite Job aus Vorlage erstellen.

• Wenn Sie gcloud verwenden, geben Sie das Argument max-workers an. Beispiel:

  gcloud dataflow jobs run my-import-job \
  --gcs-location='gs://dataflow-templates/latest/GCS_Avro_to_Cloud_Spanner' \
  --region=us-central1 \
  --parameters='instanceId=test-instance,databaseId=example-db,inputDir=gs://my-gcs-bucket' \
  --max-workers=10
  

Langsam ausgeführte Importjobs optimieren

Wenn Sie die Vorschläge für die Anfangseinstellungen befolgt haben, sollten in der Regel keine weiteren Anpassungen nötig sein. Falls der Job jedoch langsam ausgeführt wird, können Sie einige andere Optimierungen versuchen:

• Job und Datenspeicherort optimieren: Dataflow-Job ausführen in derselben Region, in der sich auch die Spanner-Instanz und Cloud Storage-Bucket befinden.

• Auf ausreichende Dataflow-Ressourcen achten: Wenn der relevante Compute Engine-Kontingente die Ressourcen Ihres Dataflow-Jobs, die Seite „Dataflow“ in der Google Cloud Console zeigt ein Warnsymbol an und protokollieren Nachrichten:

  

  In diesem Fall kann das Erhöhen der Kontingente für CPUs, verwendete IP-Adressen und nichtflüchtigen Standardspeicher die Ausführungszeit des Jobs verkürzen, aber auch höhere Compute Engine-Gebühren zur Folge haben.

• Spanner-CPU-Auslastung prüfen: Wenn Sie feststellen, dass die CPU-Auslastung Auslastung der Instanz über 65 % liegt, können Sie Erhöhen Sie die Rechenkapazität in dieser Instanz. Die Kapazität erhöht die Kapazität Spanner-Ressourcen und der Job sollten schneller ausgeführt werden. Spanner-Gebühren.

Faktoren, die sich auf die Leistung von Importjobs auswirken

Mehrere Faktoren beeinflussen die Zeit, die für einen Importjob benötigt wird.

• Spanner-Datenbankgröße: Die Verarbeitung von mehr Daten nimmt mehr Zeit in Anspruch. und Ressourcen.

• Spanner-Datenbankschema, einschließlich:

  • Die Anzahl der Tabellen
  • Die Größe der Zeilen
  • Die Anzahl der sekundären Indexe
  • Die Anzahl der Fremdschlüssel
  • Anzahl der Änderungsstreams

Beachten Sie, dass Index und Fremdschlüssel Erstellung wird nach dem Dataflow-Importjob fortgesetzt abgeschlossen wird. Änderungsstreams werden erstellt, bevor der Importjob abgeschlossen ist. aber nachdem alle Daten importiert wurden.

• Datenspeicherort: Daten werden zwischen Spanner und Cloud Storage mit Dataflow. Idealerweise befinden sich alle drei Komponenten in derselben Region. Wenn das nicht der Fall ist, dauert das regionsübergreifende Verschieben der Daten länger.

• Anzahl der Dataflow-Worker: Optimale Dataflow-Worker sind für eine gute Leistung erforderlich. Mithilfe von Autoscaling wählt Dataflow die Anzahl der Worker für einen Job abhängig vom Arbeitsumfang aus. Diese Anzahl wird jedoch durch die Kontingente für CPUs, verwendete IP-Adressen und nichtflüchtigen Standardspeicher begrenzt. In der Dataflow-UI ist ein Warnsymbol zu sehen, wenn Kontingentobergrenzen erreicht werden. In diesem Fall dauert die Verarbeitung länger, aber der Job sollte dennoch abgeschlossen werden. Autoscaling kann Spanner überlasten, was zu Fehlern führt, große Datenmengen importieren können.

• Bestehende Auslastung von Spanner: Ein Importjob fügt erheblich CPU-Last auf einer Spanner-Instanz. Wenn die Instanz jedoch bereits eine erhebliche bestehende Auslastung aufweist, wird der Job langsamer ausgeführt.

• Menge der Spanner-Rechenkapazität: Wenn die CPU-Auslastung für die Instanz bei über 65 % liegt, wird der Job langsamer ausgeführt.

Feinabstimmung der Worker für eine gute Importleistung

Beim Starten eines Spanner-Importjobs muss auf einen optimalen Wert eingestellt werden, um eine gute Leistung zu erzielen. Zu viele Worker überlastet, und zu wenige Worker führt zu einer der Importleistung.

Die maximale Anzahl von Workern hängt stark von der Datengröße ab, Idealerweise sollte die gesamte Spanner-CPU-Auslastung 70% bis 90%. Dies bietet ein ausgewogenes Verhältnis zwischen Spanner und und fehlerfreie Auftragserledigung.

Um dieses Nutzungsziel in den meisten Schemas und Szenarien zu erreichen, empfehlen eine maximale Anzahl von Worker-vCPUs, die im 4- bis 6-Fachen der Anzahl der Spanner-Knoten.

Beispiel: Für eine Spanner-Instanz mit 10 Knoten mit n1-standard-2 würden Sie die maximale Anzahl der Worker auf 25 festlegen, was 50 vCPUs ergibt.