Daten exportieren

Auf dieser Seite wird beschrieben, wie Sie Daten von Cloud SQL-Instanzen oder von einem Datenbankserver exportieren, der nicht von Cloud SQL verwaltet wird.

Zum Exportieren von Daten nach Cloud Storage muss für das Dienstkonto der Instanz im betreffenden Projekt die IAM-Rolle storage.objectAdmin festgelegt sein. Weitere Informationen finden Sie unter Cloud Identity and Access Management für Cloud Storage.

Best Practices zum Export von Daten finden Sie unter Best Practices zum Import und Export von Daten.

Sie können eine CSV-Datei exportieren. Sie können auch eine SQL-Dumpdatei exportieren, um beispielsweise Daten in eine andere SQL-Datenbank zu exportieren.

Standardexport im Vergleich zum serverlosen Export

Bei einem Standardexport aus Cloud SQL wird der Export ausgeführt, während die Datenbank online ist. Wenn die zu exportierenden Datenbanken kleiner sind, ist die Auswirkung wahrscheinlich minimal. Falls Datenbanken jedoch groß sind oder große Objekte wie BLOBs enthalten, besteht die Möglichkeit, dass der Export die Datenbankleistung beeinträchtigt. Dies kann sich auf die Dauer von Datenbankabfragen und -vorgängen auswirken, die für die Datenbank ausgeführt werden. Sobald Sie einen Export gestartet haben, kann er nicht mehr abgebrochen werden, wenn die Datenbank langsam reagiert.

Mit dem serverlosen Export können Sie langsame Antworten während eines Exports vermeiden. Beim serverlosen Export erstellt Cloud SQL eine separate temporäre Instanz, um den Exportvorgang auszulagern. Damit können Datenbanken auf der primären Instanz weiterhin Abfragen verarbeiten und Vorgänge mit der üblichen Leistungsrate ausführen. Wenn der Datenexport abgeschlossen ist, wird die temporäre Instanz automatisch gelöscht.

Ein serverloser Export dauert länger als ein Standardexport, da das Erstellen der temporären Instanz einige Zeit in Anspruch nimmt. Er kann mindestens fünf Minuten länger dauern, bei größeren Datenbanken allerdings noch länger. Berücksichtigen Sie die Auswirkungen auf Zeit und Leistung, bevor Sie den zu verwendenden Exporttyp bestimmen.

Sie können den serverlosen Export auf einer primären Instanz oder einem Lesereplikat ausführen.

Best Practices zum Export von Daten finden Sie unter Best Practices zum Import und Export von Daten.

Daten aus Cloud SQL in eine SQL-Dumpdatei exportieren

Wenn Sie mit Cloud SQL einen Export in der Cloud Console, mit dem gcloud-Befehlszeilentool oder der API ausführen, verwenden Sie das Dienstprogramm pg_dump mit den Optionen, die erforderlich sind, damit die ausgegebene Exportdatei in Cloud SQL importiert werden kann.

Sie können pg_dump auch manuell mit dem psql-Client ausführen, wenn Sie in eine Datenbank exportieren, die nicht von Cloud SQL verwaltet wird.

Wenn Sie dagegen Ihre Daten in Cloud SQL importieren möchten, folgen Sie der Anleitung unter Daten von einem externen Datenbankserver exportieren, damit Ihre SQL-Dumpdatei korrekt für Cloud SQLCloud SQL formatiert wird.

Vorbereitung

Bei dieser Vorgehensweise müssen Sie eine Datei nach Cloud Storage exportieren. Zum Exportieren von Daten nach Cloud Storage müssen für das Dienstkonto der Instanz die storage.objectAdmin-IAM-Rollen im Projekt festgelegt sein. Informationen zu IAM-Rollen finden Sie unter Cloud Identity and Access Management für Cloud Storage.

Sie finden den Dienstkontonamen der Instanz in der Google Cloud Console auf der Seite Übersicht Ihrer Instanz. Mit dem gsutil-Tool können Sie prüfen, welche Rollen für den Cloud Storage-Bucket festgelegt sind:

gsutil iam get gs://[BUCKET_NAME]

Weitere Informationen zur Verwendung von IAM mit Buckets

Daten in eine SQL-Dumpdatei in Cloud Storage exportieren

So exportieren Sie Daten aus einer Datenbank in einer Cloud SQL-Instanz in eine SQL-Dumpdatei in einem Cloud Storage-Bucket:

Console

  1. Öffnen Sie in der Google Cloud Console die Seite "Cloud SQL-Instanzen".

    Zur Seite "Cloud SQL-Instanzen"

  2. Klicken Sie auf die Instanz, aus der Sie Daten exportieren möchten, um die zugehörige Seite Übersicht zu öffnen.
  3. Klicken Sie in der Schaltflächenleiste auf EXPORTIEREN.
  4. Wählen Sie unter Cloud Storage-Exportspeicherort die Option Durchsuchen aus, um nach einem Cloud Storage-Bucket oder -Ordner für den Export zu suchen.
  5. Klicken Sie unter Format auf SQL, um eine SQL-Dumpdatei zu erstellen.
  6. Wählen Sie im Drop-down-Menü unter Datenbank für den Export die Datenbank aus, aus der Sie exportieren möchten.
  7. Klicken Sie auf Exportieren, um mit dem Export zu beginnen.
  8. Das Dialogfeld Datenbank exportieren? wird mit einer Meldung geöffnet, dass der Exportvorgang bei großen Datenbanken eine Stunde oder länger dauern kann. Während des Exports können nur Informationen zur Instanz abgerufen werden. Sobald der Export gestartet wurde, kann er nicht mehr angehalten werden. Klicken Sie auf EXPORTIEREN, wenn der Zeitpunkt für den Export günstig ist. Andernfalls klicken Sie auf ABBRECHEN.

gcloud

  1. Erstellen Sie einen Cloud Storage-Bucket, falls noch nicht geschehen.

    Informationen zum Erstellen eines Buckets finden Sie unter Storage-Buckets erstellen.

  2. Laden Sie die Datei in den Bucket hoch.

    Informationen zum Hochladen von Dateien in Buckets finden Sie unter Objekt hochladen.

  3. Geben Sie die Instanz an, aus der Sie exportieren möchten:
      gcloud sql instances describe [INSTANCE_NAME]
      
  4. Kopieren Sie das Feld "serviceAccountEmailAddress".
  5. Weisen Sie mit gsutil iam die IAM-Rolle storage.objectAdmin dem Dienstkonto für den Bucket zu. Weitere Informationen zum Festlegen von IAM-Berechtigungen finden Sie unter IAM-Berechtigungen verwenden.
  6. Exportieren Sie die Datenbank:
      gcloud sql export sql [INSTANCE_NAME] gs://[BUCKET_NAME]/sqldumpfile.gz \
                                  --database=[DATABASE_NAME] --offload
      

    Mit dem Befehl export sql werden zwar Ansichten exportiert, jedoch keine Trigger oder gespeicherten Prozeduren. Verwenden Sie das Tool pg_dump, um Trigger und/oder gespeicherte Prozeduren zu exportieren.

    Weitere Informationen zur Verwendung des Befehls export sql finden Sie auf der Referenzseite des Befehls sql export sql.

  7. Wenn Sie die zuvor festgelegte IAM-Rolle nicht beibehalten möchten, entfernen Sie sie jetzt.

REST

  1. Erstellen Sie einen Bucket für den Export:
    gsutil mb -p [PROJECT_NAME] -l [LOCATION_NAME] gs://[BUCKET_NAME]
    

    Dieser Schritt ist nicht erforderlich, wird aber dringend empfohlen, damit kein Zugriff auf andere Daten möglich ist.

  2. Weisen Sie Ihrer Instanz die IAM-Rolle storage.objectAdmin für Ihren Bucket zu. Weitere Informationen zum Festlegen von IAM-Berechtigungen finden Sie unter IAM-Berechtigungen verwenden.
  3. Exportieren Sie Ihre Datenbank:

    Ersetzen Sie diese Werte in den folgenden Anweisungen:

    • project-id: die Projekt-ID
    • instance-id: die Instanz-ID
    • bucket_name: der Name des Cloud Storage-Buckets
    • path_to_dump_file: der Pfad zur SQL-Dumpdatei
    • database_name_1: der Name einer Datenbank in der Cloud SQL-Instanz
    • database_name_2: der Name einer Datenbank in der Cloud SQL-Instanz
    • offload: aktiviert die Exportauslagerung Legen Sie true fest, um die Exportauslagerung zu verwenden.

    HTTP-Methode und URL:

    POST https://www.googleapis.com/sql/v1beta4/projects/project-id/instances/instance-id/export

    JSON-Text anfordern:

    {
     "exportContext":
       {
          "fileType": "SQL",
          "uri": "gs://bucket_name/path_to_dump_file",
          "databases": ["database_name"]
          "offload": true | false
        }
    }
    

    Wenn Sie die Anfrage senden möchten, maximieren Sie eine der folgenden Optionen:

    Sie sollten in etwa folgende JSON-Antwort erhalten:

  4. Wenn Sie die zuvor festgelegte IAM-Rolle nicht beibehalten möchten, entfernen Sie sie jetzt.
Die vollständige Liste der Parameter für diese Anfrage finden Sie auf der Seite instances:export.

Daten aus Cloud SQL in eine CSV-Datei exportieren

Sie können Ihre Daten im CSV-Format exportieren, das von anderen Tools und Umgebungen verwendet werden kann. Exporte erfolgen auf Datenbankebene. Während eines CSV-Exports können Sie die zu exportierenden Schemas angeben. Alle Schemas auf Datenbankebene können exportiert werden.

Vorbereitung

Bei dieser Vorgehensweise müssen Sie eine Datei nach Cloud Storage exportieren. Zum Exportieren von Daten nach Cloud Storage müssen für das Dienstkonto der Instanz die storage.objectAdmin-IAM-Rollen im Projekt festgelegt sein. Informationen zu IAM-Rollen finden Sie unter Cloud Identity and Access Management für Cloud Storage.

Sie finden den Dienstkontonamen der Instanz in der Google Cloud Console auf der Seite Übersicht Ihrer Instanz. Mit dem gsutil-Tool können Sie prüfen, welche Rollen für den Cloud Storage-Bucket festgelegt sind:

gsutil iam get gs://[BUCKET_NAME]

Weitere Informationen zur Verwendung von IAM mit Buckets

Daten in eine CSV-Datei in Cloud Storage exportieren

So exportieren Sie Daten aus einer Datenbank in einer Cloud SQL-Instanz in eine SQL-Dumpdatei in einem Cloud Storage-Bucket:

Console

  1. Öffnen Sie in der Google Cloud Console die Seite "Cloud SQL-Instanzen".

    Zur Seite "Cloud SQL-Instanzen"

  2. Klicken Sie auf die Instanz, um ihre Übersichtsseite zu öffnen.
  3. Klicken Sie auf EXPORTIEREN.
  4. Wählen Sie unter Cloud Storage-Exportspeicherort einen Cloud Storage-Bucket oder -Ordner für den Export aus.
  5. Geben Sie im Feld Name einen Namen für die Exportdatei ein und klicken Sie auf Auswählen.

    Sie können die Dateiendung .gz verwenden, um Ihre Exportdatei zu komprimieren.

  6. Legen Sie das Format auf CSV fest.
  7. Geben Sie unter Cloud Storage-Exportspeicherort den Namen des Buckets, des Ordners und der Datei für den Export ein oder klicken Sie auf Durchsuchen, um einen Bucket, einen Ordner oder eine Datei zu suchen oder zu erstellen.

    Wenn Sie auf Durchsuchen klicken, gehen Sie so vor:

    1. Wählen Sie unter Speicherort einen Cloud Storage-Bucket oder -Ordner für den Export aus.
    2. Geben Sie im Textfeld Name einen Namen für die Datei CSV ein. Wenn Sie die Datei zuvor erstellt haben, wählen Sie den Namen aus der Liste unter Speicherort aus.

      Sie können die Dateiendung .gz (die vollständige Erweiterung lautet .csv.gz) verwenden, um die Exportdatei zu komprimieren.

    3. Klicken Sie auf Auswählen.
  8. Klicken Sie unter Format auf CSV.
  9. Wählen Sie unter Datenbank für den Export den Namen der Datenbank aus dem Drop-down-Menü aus.
  10. Geben Sie unter SQL-Abfrage eine SQL-Abfrage ein, um die Tabelle anzugeben, aus der Daten exportiert werden sollen.

    Wenn Sie beispielsweise den gesamten Inhalt der Tabelle entries in die Datenbank guestbook exportieren möchten, geben Sie Folgendes ein:

    SELECT * FROM guestbook.entries;
    Sie müssen in Ihrer Abfrage eine Tabelle der angegebenen Datenbank festlegen, da Sie keine komplette Datenbank im CSV-Format exportieren können.

  11. Klicken Sie auf Exportieren, um den Export zu starten.
  12. Das Dialogfeld Datenbank exportieren? wird mit einer Meldung geöffnet, dass der Exportvorgang bei großen Datenbanken eine Stunde oder länger dauern kann. Während des Exports können nur Informationen zur Instanz abgerufen werden. Sobald der Export gestartet wurde, kann er nicht mehr angehalten werden. Klicken Sie auf EXPORTIEREN, wenn der Zeitpunkt für den Export günstig ist. Klicken Sie andernfalls auf ABBRECHEN.

gcloud

  1. Erstellen Sie einen Cloud Storage-Bucket, falls noch nicht geschehen.

    Informationen zum Erstellen eines Buckets finden Sie unter Storage-Buckets erstellen.

  2. Laden Sie die Datei in den Bucket hoch.

    Informationen zum Hochladen von Dateien in Buckets finden Sie unter Objekt hochladen.

  3. Geben Sie die Instanz an, aus der Sie exportieren möchten:
    gcloud sql instances describe [INSTANCE_NAME]
    
  4. Weisen Sie mit gsutil iam die IAM-Rolle storage.objectAdmin dem Dienstkonto für den Bucket zu. Weitere Informationen zum Festlegen von IAM-Berechtigungen finden Sie unter IAM-Berechtigungen verwenden.
  5. Exportieren Sie die Datenbank:
    gcloud sql export csv [INSTANCE_NAME] gs://[BUCKET_NAME]/[FILE_NAME] \
                                --database=[DATABASE_NAME]
                                --offload
                                --query=[SELECT_QUERY]
    

    Informationen zum Verwenden des Befehls export csv finden Sie auf der Referenzseite des Befehls sql export csv.

  6. Wenn Sie die zuvor festgelegte IAM-Rolle nicht beibehalten möchten, entfernen Sie sie jetzt.

REST

  1. Erstellen Sie einen Bucket für den Export:
    gsutil mb -p [PROJECT_NAME] -l [LOCATION_NAME] gs://[BUCKET_NAME]
    

    Dieser Schritt ist nicht erforderlich, wird aber dringend empfohlen, damit kein Zugriff auf andere Daten möglich ist.

  2. Weisen Sie Ihrer Instanz die IAM-Rolle storage.objectAdmin für Ihren Bucket zu. Weitere Informationen zum Festlegen von IAM-Berechtigungen finden Sie unter IAM-Berechtigungen verwenden.
  3. Exportieren Sie Ihre Datenbank:

    Ersetzen Sie diese Werte in den folgenden Anweisungen:

    • project-id: die Projekt-ID
    • instance-id: die Instanz-ID
    • bucket_name: der Name des Cloud Storage-Buckets
    • path_to_csv_file: der Pfad zur CSV-Datei
    • database_name: der Name einer Datenbank in der Cloud SQL-Instanz
    • offload: aktiviert die Exportauslagerung Legen Sie true fest, um die Exportauslagerung zu verwenden.
    • select_query: die SQL-Abfrage für den Export

    HTTP-Methode und URL:

    POST https://www.googleapis.com/sql/v1beta4/projects/project-id/instances/instance-id/export

    JSON-Text anfordern:

    {
     "exportContext":
       {
          "fileType": "CSV",
          "uri": "gs://bucket_name/path_to_csv_file",
          "databases": ["database_name"],
          "offload": true | false
          "csvExportOptions":
           {
               "selectQuery":"select_query"
           }
       }
    }
    

    Wenn Sie die Anfrage senden möchten, maximieren Sie eine der folgenden Optionen:

    Sie sollten in etwa folgende JSON-Antwort erhalten:

    Sie müssen genau eine Datenbank mit dem Attribut databases angeben. Wenn Sie in der Auswahlabfrage eine Datenbank festlegen, muss diese damit identisch sein.

  4. Wenn Sie die zuvor festgelegte IAM-Rolle nicht beibehalten möchten, entfernen Sie sie jetzt.
Die vollständige Liste der Parameter für diese Anfrage finden Sie auf der Seite instances:export.

Beim CSV-Export wird eine Standard-CSV-Ausgabe erstellt. Wenn Sie ein nicht standardmäßiges CSV-Format benötigen, können Sie die folgende Anweisung in einem psql-Client verwenden:

  \copy [table_name] TO '[csv_file_name].csv' WITH
      (FORMAT csv, ESCAPE '[escape_character]', QUOTE '[quote_character]',
      DELIMITER '[delimiter_character]', ENCODING 'UTF8', NULL '[null_marker_string]');
Die vollständige Liste der Parameter für diese Anfrage finden Sie auf der Seite instances:export.

Daten mit pg_dump von einem lokalen PostgreSQL-Server exportieren

Wenn Sie eine Datenbank exportieren möchten, die nicht von Cloud SQL verwaltet wird, um sie später in Cloud SQL zu importieren, verwenden Sie das Dienstprogramm pg_dump mit den folgenden Flags:

  • --no-owner

    Die SQL-Dumpdatei darf keine Änderungsbefehle für Eigentumsrechte enthalten.

  • --format=plain

    Cloud SQL unterstützt derzeit nur das einfache SQL-Format.

  • --no-acl

    Dieses Flag ist erforderlich, wenn Ihr Dump ansonsten Anweisungen zum Gewähren oder Widerrufen der Zuweisung einer SUPERUSER-Rolle enthalten würde.

Darüber hinaus müssen Sie Folgendes entfernen:

  • Auf Erweiterungen bezogene Anweisungen, wenn Cloud SQL die jeweilige Erweiterung nicht unterstützt. Die Liste der unterstützten Erweiterungen finden Sie unter PostgreSQL-Erweiterungen.
  • CREATE EXTENSION- oder DROP EXTENSION-Anweisungen, die auf "plpgsql" verweisen. Diese Erweiterung ist auf Cloud SQL-Postgres-Instanzen vorinstalliert.
  • COMMENT ON EXTENSION-Anweisungen.

Führen Sie über die Befehlszeile pg_dump aus:

pg_dump -U [USERNAME] --format=plain --no-owner --no-acl [DATABASE_NAME] \
    | sed -E 's/(DROP|CREATE|COMMENT ON) EXTENSION/-- \1 EXTENSION/g' > [SQL_FILE].sql

Bei der sed-Nachbearbeitung werden alle Erweiterungsanweisungen in der SQL-Dumpdatei auskommentiert.

Prüfen Sie, ob die von den Datenbankeinstellungen festgelegte Standardcodierung für Ihre Daten korrekt ist. Bei Bedarf können Sie die Standardeinstellung mit dem Flag --encoding überschreiben.

Für den parallelen Export verwenden Sie das Flag -j NUM_CORES. NUM_CORES steht dabei für die Anzahl der Kerne auf der Quellinstanz. Verwenden Sie das gleiche Flag mit pg_restore für einen parallelen Import.

Weitere Informationen zu pg_dump finden Sie in der pg_dump-Referenz.

Weitere Informationen