Auf dieser Seite wird beschrieben, wie Sie Avro-Dateien vorbereiten, aus denen Sie exportiert haben andere Datenbanken und importieren diese Dateien in Spanner. Wenn Sie eine zuvor exportierte Spanner-Datenbank importieren möchten, finden Sie weitere Informationen unter Spanner Avro-Dateien importieren.
Der Vorgang verwendet Dataflow; Es importiert Daten aus einem Cloud Storage-Bucket, der eine Reihe von Avro-Dateien und eine JSON-Manifestdatei enthält, die die Zieltabellen und Avro-Dateien angibt, mit denen die einzelnen Tabellen gefüllt werden.
Hinweis
So importieren Sie eine Spanner-Datenbank: Zuerst müssen Sie Spanner, Cloud Storage Compute Engine und Dataflow APIs:
Außerdem brauchen Sie ein ausreichend großes Kontingent und die erforderlichen IAM-Berechtigungen.
Kontingentanforderungen
Die Kontingentanforderungen für Importjobs sehen so aus:
- Spanner: Sie müssen genügend Rechenkapazität haben. um die zu importierenden Daten zu unterstützen. Für den Import einer Datenbank ist keine zusätzliche Rechenkapazität erforderlich. Allerdings benötigen Sie möglicherweise weitere Rechenkapazität, damit der Job in angemessener Zeit abgeschlossen werden kann. Weitere Informationen finden Sie unter Jobs optimieren.
- Cloud Storage: Zum Importieren benötigen Sie einen Bucket mit Ihren zuvor exportierten Dateien. Sie müssen keine Größe für den Bucket festlegen.
- Dataflow: Für Importjobs gelten dieselben Compute Engine-Kontingente für CPU, Laufwerksnutzung und IP-Adressen wie für andere Dataflow-Jobs.
Compute Engine: Bevor Sie den Importjob ausführen, müssen Sie zuerst Kontingente für Compute Engine einrichten, die von Dataflow verwendet werden. Diese Kontingente stellen die maximale Anzahl von Ressourcen dar, die Dataflow für Ihren Job verwenden darf. Empfohlene Anfangswerte sind:
- CPUs: 200
- Verwendete IP-Adressen: 200
- Nichtflüchtiger Standardspeicher: 50 TB
In der Regel sind keine weiteren Anpassungen erforderlich. Dataflow bietet Autoscaling, sodass Sie nur für die Ressourcen zahlen, die beim Import tatsächlich verwendet werden. Wenn Ihr Job mehr Ressourcen verwenden kann, wird in der Dataflow-UI ein Warnsymbol angezeigt. Der Job sollte trotz dieses Warnsymbols beendet werden.
Erforderliche Rollen
Um die Berechtigungen zu erhalten, die Sie zum Exportieren einer Datenbank benötigen, bitten Sie Ihren Administrator, Ihnen folgende IAM-Rollen für das Dataflow-Worker-Dienstkonto:
-
Cloud Spanner-Betrachter (
roles/spanner.viewer) -
Dataflow-Worker (
roles/dataflow.worker) -
Storage-Administrator (
roles/storage.admin) -
Spanner-Datenbankleser (
roles/spanner.databaseReader) -
Datenbankadministrator (
roles/spanner.databaseAdmin)
Daten aus einer Nicht-Spanner-Datenbank in Avro-Dateien exportieren
Beim Importvorgang werden Daten aus Avro-Dateien in einem Cloud Storage-Bucket übernommen. Sie können Daten im Avro-Format aus jeder Quelle exportieren und dazu jede verfügbare Methode verwenden.
So exportieren Sie Daten aus einer nicht von Spanner stammenden Datenbank in Avro-Dateien:
Beachten Sie beim Exportieren Ihrer Daten folgende Punkte:
- Der Export lässt sich mit einem der primitiven Avro-Typen sowie mit dem komplexen Array-Typ ausführen.
Jede Spalte der Avro-Dateien muss einen der folgenden Spaltentypen verwenden:
ARRAYBOOLBYTES*DOUBLEFLOATINTLONG†STRING‡
* Eine Spalte vom Typ
BYTESwird zum Importieren eines Spanner-NUMERICverwendet. Siehe Weitere Informationen†,‡ Sie können einen
LONGimportieren, der einen Zeitstempel speichert, oder einenSTRING, der einen Zeitstempel als Spanner-TIMESTAMPspeichert. Weitere Informationen finden Sie unten im Abschnitt Empfohlene Zuordnungen.Sie müssen beim Export der Avro keine Metadaten hinzufügen oder generieren. -Dateien.
Sie müssen keine bestimmte Namenskonvention für Ihre Dateien befolgen.
Wenn Sie Ihre Dateien nicht direkt nach Cloud Storage exportieren, müssen Sie die Avro-Dateien in einen Cloud Storage-Bucket hochladen. Ausführliche Informationen Objekte in Cloud Storage hochladen
Avro-Dateien aus Nicht-Spanner-Datenbanken in Spanner importieren
So importieren Sie Avro-Dateien aus einer Nicht-Spanner-Datenbank in Spanner: führen Sie folgende Schritte aus:
- Erstellen Sie Zieltabellen und definieren Sie das Schema für Ihre Spanner-Datenbank.
- Erstellen Sie in Ihrem Cloud Storage-Bucket eine
spanner-export.json-Datei. - Dataflow-Importjob mit der gcloud CLI ausführen
Schritt 1: Schema für die Spanner-Datenbank erstellen
Bevor Sie den Import ausführen, müssen Sie die Zieltabelle in Spanner erstellen und ihr Schema definieren.
Sie müssen ein Schema erstellen, das den entsprechenden Spaltentyp für jede Spalte in den Avro-Dateien verwendet.
Empfohlene Zuordnungen
GoogleSQL
| Avro-Spaltentyp | Spanner-Spaltentyp |
|---|---|
ARRAY |
ARRAY |
BOOL |
BOOL |
BYTES |
|
DOUBLE |
FLOAT64 |
FLOAT |
FLOAT64 |
INT |
INT64 |
LONG |
|
STRING |
|
PostgreSQL
| Avro-Spaltentyp | Spanner-Spaltentyp |
|---|---|
ARRAY |
ARRAY |
BOOL |
BOOLEAN |
BYTES |
|
DOUBLE |
DOUBLE PRECISION |
FLOAT |
DOUBLE PRECISION |
INT |
BIGINT |
LONG |
|
STRING |
|
Schritt 2: spanner-export.json-Datei erstellen
Außerdem müssen Sie in Ihrem Cloud Storage-Bucket eine Datei mit dem Namen spanner-export.json erstellen. Diese Datei gibt den Datenbankdialekt und
enthält ein tables-Array, das eine Liste der
den Namen und die Speicherorte der Datendateien für jede Tabelle.
Der Inhalt der Datei hat folgendes Format:
{
"tables": [
{
"name": "TABLE1",
"dataFiles": [
"RELATIVE/PATH/TO/TABLE1_FILE1",
"RELATIVE/PATH/TO/TABLE1_FILE2"
]
},
{
"name": "TABLE2",
"dataFiles": ["RELATIVE/PATH/TO/TABLE2_FILE1"]
}
],
"dialect":"DATABASE_DIALECT"
}
Dabei gilt: DATABASE_DIALECT = {GOOGLE_STANDARD_SQL | POSTGRESQL}
Wird das Dialektelement nicht angegeben, wird standardmäßig GOOGLE_STANDARD_SQL verwendet.
Schritt 3: Dataflow-Importjob mit der gcloud CLI ausführen
Folgen Sie der Anleitung zum Verwenden der Google Cloud CLI, um den Importjob zu starten zum Ausführen eines Jobs mit der Vorlage "Avro zu Spanner".
Nachdem Sie einen Importjob gestartet haben, können Sie in der Google Cloud Console Details zum Job aufrufen.
Fügen Sie nach Abschluss des Importjobs alle erforderlichen sekundären Indexe und Fremdschlüssel hinzu.
Region für den Importjob auswählen
Sie können auch eine andere Region auswählen, die auf dem Standort Ihres Cloud Storage-Bucket. Um Kosten für ausgehende Datenübertragungen zu vermeiden, wählen Sie eine Region aus, die mit dem Speicherort Ihres Cloud Storage-Buckets übereinstimmt.
Wenn der Speicherort Ihres Cloud Storage-Buckets eine Region ist, können Sie von der kostenlosen Netzwerknutzung profitieren, indem Sie dieselbe Region auch für den Importjob auswählen, sofern diese Region verfügbar ist.
Wenn sich der Speicherort Ihres Cloud Storage-Buckets in einer Region mit zwei Speicherorten befindet, können Sie von der kostenlosen Netzwerknutzung profitieren, indem Sie eine der beiden Regionen für Ihren Importjob auswählen, sofern eine der Regionen verfügbar ist.
Wenn für Ihren Importjob keine Region mit demselben Standort verfügbar ist oder sich der Speicherort Ihres Cloud Storage-Buckets in einer multiregionalen Region befindet, fallen Gebühren für ausgehende Datenübertragungen an. Weitere Informationen finden Sie unter „Cloud Storage“. Datenübertragungspreise, um eine Region auszuwählen, in der der die niedrigsten Kosten für die Datenübertragung.
Jobs in der Dataflow-UI ansehen oder Fehler beheben
Nachdem Sie einen Importjob gestartet haben, können Sie in der Google Cloud Console im Abschnitt „Dataflow“ Details zum Job einschließlich der Logs ansehen.
Dataflow-Jobdetails ansehen
So rufen Sie Details zu allen Import-/Exportjobs auf, die Sie in der letzten Woche ausgeführt haben, einschließlich aller derzeit ausgeführten Jobs:
- Wechseln Sie zur Seite Datenbanküberblick für die Datenbank.
- Klicken Sie im linken Bereich auf den Menüpunkt Import/Export. Auf der Datenbankseite Import/Export wird eine Liste der letzten Jobs angezeigt.
Klicken Sie auf der Seite Import/Export der Datenbank in der Spalte Dataflow-Jobname auf den Jobnamen:
In der Google Cloud Console werden Details zum Dataflow angezeigt. Job.
So rufen Sie einen Job auf, den Sie vor mehr als einer Woche ausgeführt haben:
Rufen Sie in der Google Cloud Console die Seite mit den Dataflow-Jobs auf.
Suchen Sie den Job in der Liste und klicken Sie auf seinen Namen.
In der Google Cloud Console werden Details zum Dataflow angezeigt. Job.
Dataflow-Logs für Ihren Job ansehen
Rufen Sie wie oben beschrieben die Detailseite des Jobs auf und klicken Sie rechts neben dem Jobnamen auf Logs, um die Logs eines Dataflow-Jobs anzusehen.
Wenn ein Job fehlschlägt, suchen Sie in den Logs nach Fehlern. Falls Fehler aufgetreten sind, ist neben Logs die Fehleranzahl zu sehen:
So sehen Sie sich Jobfehler genauer an:
Klicken Sie auf die Fehleranzahl neben Logs.
In der Google Cloud Console können Sie die Logs des Jobs ansehen. Unter Umständen müssen Sie scrollen, um die Fehler einzublenden.
Suchen Sie nach Einträgen mit dem Fehlersymbol
.Klicken Sie auf einen Logeintrag, um ihn zu maximieren.
Weitere Informationen zur Fehlerbehebung bei Dataflow-Jobs finden Sie unter Pipelinefehler beheben.
Fehlerbehebung bei fehlgeschlagenen Importjobs
Wenn in Ihren Joblogs die folgenden Fehler angezeigt werden:
com.google.cloud.spanner.SpannerException: NOT_FOUND: Session not found --or-- com.google.cloud.spanner.SpannerException: DEADLINE_EXCEEDED: Deadline expired before operation could complete.
Überprüfen Sie die 99% Schreiblatenz in der Tab Monitoring Ihrer Spanner-Datenbank in der Google Cloud Console Wenn hohe Werte angezeigt werden (mehrere Sekunden), bedeutet dies, dass die Instanz überlastet ist, was zu Schreibfehlern führt.
Eine Ursache für die hohe Latenz ist, dass der Dataflow-Job mit zu vielen die die Spanner-Instanz zu stark belastet.
Wenn Sie ein Limit für die Anzahl der Dataflow-Worker festlegen möchten, verwenden Sie nicht die Methode Tab „Importieren/Exportieren“ auf der Seite „Instanzdetails“ von Spanner in der Google Cloud Console müssen Sie den Dataflow-Import Vorlage „Cloud Storage Avro für Cloud Spanner“ und geben Sie die maximale Anzahl von Workern an, wie unten beschrieben:Wenn Sie die Dataflow Console verwenden, befindet sich der Parameter Max. Worker im Abschnitt Optionale Parameter auf der Seite Job aus Vorlage erstellen.
Wenn Sie gcloud verwenden, geben Sie das Argument
max-workersan. Beispiel:gcloud dataflow jobs run my-import-job \ --gcs-location='gs://dataflow-templates/latest/GCS_Avro_to_Cloud_Spanner' \ --region=us-central1 \ --parameters='instanceId=test-instance,databaseId=example-db,inputDir=gs://my-gcs-bucket' \ --max-workers=10
Langsam laufende Importjobs optimieren
Wenn Sie die Vorschläge für die Anfangseinstellungen befolgt haben, sollten in der Regel keine weiteren Anpassungen nötig sein. Falls der Job jedoch langsam ausgeführt wird, können Sie einige andere Optimierungen versuchen:
Job- und Datenspeicherort optimieren: Führen Sie den Dataflow-Job in der Region der Spanner-Instanz und des Cloud Storage-Buckets aus.
Auf ausreichende Dataflow-Ressourcen achten: Wenn der relevante Compute Engine-Kontingente die Ressourcen Ihres Dataflow-Jobs, Seite „Dataflow“ in der Google Cloud Console zeigt ein Warnsymbol an
und protokollieren
Nachrichten:
In diesem Fall kann das Erhöhen der Kontingente für CPUs, verwendete IP-Adressen und nichtflüchtigen Standardspeicher die Ausführungszeit des Jobs verkürzen, aber auch höhere Compute Engine-Gebühren zur Folge haben.
Spanner-CPU-Auslastung prüfen: Wenn die CPU-Auslastung für die Instanz über 65 % liegt, können Sie die Rechenkapazität in dieser Instanz erhöhen. Die zusätzliche Kapazität liefert mehr Spanner-Ressourcen, damit der Job schneller ausgeführt wird, aber es fallen auch höhere Spanner-Gebühren an.
Faktoren, die sich auf die Leistung von Importjobs auswirken
Mehrere Faktoren beeinflussen die Zeit, die für einen Importjob benötigt wird.
Größe der Spanner-Datenbank: Die Verarbeitung von mehr Daten erfordert mehr Zeit und Ressourcen.
Spanner-Datenbankschema, einschließlich:
- Die Anzahl der Tabellen
- Die Größe der Zeilen
- Anzahl der sekundären Indexe
- Die Anzahl der Fremdschlüssel
- Anzahl der Änderungsstreams
Datenspeicherort: Daten werden mit Dataflow zwischen Spanner und Cloud Storage übertragen. Idealerweise befinden sich alle drei Komponenten in derselben Region. Wenn das nicht der Fall ist, dauert das regionsübergreifende Verschieben der Daten länger.
Anzahl der Dataflow-Worker: Optimale Dataflow-Worker sind für eine gute Leistung erforderlich. Mithilfe von Autoscaling wählt Dataflow die Anzahl der Worker für einen Job abhängig vom Arbeitsumfang aus. Diese Anzahl wird jedoch durch die Kontingente für CPUs, verwendete IP-Adressen und nichtflüchtigen Standardspeicher begrenzt. In der Dataflow-UI ist ein Warnsymbol zu sehen, wenn Kontingentobergrenzen erreicht werden. In diesem Fall dauert die Verarbeitung länger, aber der Job sollte dennoch abgeschlossen werden. Das automatische Skalieren kann Spanner überlasten und zu Fehlern führen, wenn eine große Datenmenge zum Importieren vorliegt.
Bestehende Auslastung von Spanner: Ein Importjob erhöht die CPU-Auslastung für eine Spanner-Instanz erheblich. Wenn die Instanz jedoch bereits eine erhebliche bestehende Auslastung aufweist, wird der Job langsamer ausgeführt.
Menge der Spanner-Rechenkapazität: Wenn die CPU-Auslastung für die Instanz über 65 % liegt, wird der Job langsamer ausgeführt.
Feinabstimmung der Worker für eine gute Importleistung
Beim Starten eines Spanner-Importjobs muss auf einen optimalen Wert eingestellt werden, um eine gute Leistung zu erzielen. Zu viele Worker zu wenige Worker überlastet, der Importleistung.
Die maximale Anzahl von Workern hängt stark von der Datengröße ab. Im Idealfall sollte die gesamte CPU-Auslastung von Spanner zwischen 70 % und 90 % liegen. Dies bietet ein ausgewogenes Verhältnis zwischen Spanner und und fehlerfreie Auftragserledigung.
Um dieses Auslastungsziel in der Mehrzahl der Schemas und Szenarien zu erreichen, empfehlen wir eine maximale Anzahl von Worker-vCPUs zwischen dem Vier- und Sechsfachen der Anzahl der Spanner-Knoten.
Beispiel: Für eine Spanner-Instanz mit 10 Knoten mit n1-standard-2 würden Sie die maximale Anzahl der Worker auf 25 festlegen, was 50 vCPUs ergibt.