Datenexporte planen

Auf dieser Seite wird gezeigt, wie Sie Exporte Ihrer Firestore-Daten planen und terminieren. Um Exporte nach einem Zeitplan auszuführen, empfehlen wir die Verwendung von Cloud Functions und Cloud Scheduler.

Hinweise

Bevor Sie Datenexporte mit verwalteten Daten planen, müssen Sie die folgenden Aufgaben ausführen:

Aktivieren Sie die Abrechnung für Ihr Google Cloud-Projekt. Das Export- und Import-Feature kann nur für Google Cloud-Projekte mit aktivierter Abrechnung genutzt werden.
Hinweis: Firebase-Projekte müssen im Blaze-Tarif sein, um die verwaltete Export- und Importfunktion zu nutzen. Wenn Sie die Abrechnung für Google Cloud aktivieren, wird Ihr Firebase-Projekt automatisch auf den Blaze-Tarif aktualisiert.
Für Exportvorgänge ist ein Cloud Storage-Ziel-Bucket erforderlich. Erstellen Sie einen Cloud Storage-Bucket in der Nähe Ihres Firestore-Datenbankstandorts. Für Exportvorgänge kann kein Bucket mit der Funktion "Anfragesteller bezahlt" verwendet werden.

Cloud Functions- und Cloud Scheduler-Job erstellen

Erstellen Sie nach der folgenden Anleitung eine Cloud Functions-Funktion für Node.js, die Firestore-Datenexporte initiiert, sowie einen Cloud Scheduler-Job, der diese Funktion aufruft:

Firebase CLI

Installieren Sie die Firebase CLI. Initialisieren Sie in einem neuen Verzeichnis die CLI für Cloud Functions:
```
firebase init functions --project PROJECT_ID
```
1. Wählen Sie JavaScript als Sprache aus.
2. Aktivieren Sie optional ESLint.
3. Geben Sie y ein, um Abhängigkeiten zu installieren.

Ersetzen Sie den Code in der Datei functions/index.js durch Folgendes:

const functions = require('firebase-functions');
const firestore = require('@google-cloud/firestore');
const client = new firestore.v1.FirestoreAdminClient();

// Replace BUCKET_NAME
const bucket = 'gs://BUCKET_NAME';

exports.scheduledFirestoreExport = functions.pubsub
                                            .schedule('every 24 hours')
                                            .onRun((context) => {

  const projectId = process.env.GCP_PROJECT;
  const databaseName =
    client.databasePath(projectId, '(default)');

  return client.exportDocuments({
    name: databaseName,
    outputUriPrefix: bucket,
    // Leave collectionIds empty to export all collections
    // or set to a list of collection IDs to export,
    // collectionIds: ['users', 'posts']
    collectionIds: []
    })
  .then(responses => {
    const response = responses[0];
    console.log(`Operation Name: ${response['name']}`);
  })
  .catch(err => {
    console.error(err);
    throw new Error('Export operation failed');
  });
});index.js

Ändern Sie im Code oben Folgendes:
- Ersetzen Sie BUCKET_NAME durch den Namen Ihres Buckets:
- Ändern Sie every 24 hours, um Ihren Exportplan festzulegen. Verwenden Sie entweder AppEngine cron.yaml-Syntax oder das Unix-Cron-Format (* * * * *).
- Ändern Sie collectionIds: [], um nur die angegebenen Sammlungsgruppen zu exportieren. Lassen Sie dies unverändert, um alle Sammlungen zu exportieren.
  
  Hinweis: Wenn Sie alle Sammlungen exportieren, müssen alle nachfolgenden Importvorgänge alle Sammlungen in die Exportdatendateien importieren.
Stellen Sie die geplante Funktion bereit:
```
firebase deploy --only functions
```

Google Cloud Console

Cloud Functions-Funktion erstellen

Rufen Sie in der Google Cloud Console die Seite Cloud Functions auf:

Zu Cloud Functions
Klicken Sie auf Funktion erstellen.
Geben Sie einen Funktionsnamen wie firestoreExport ein.
Wählen Sie unter Trigger die Option Cloud Pub/Sub aus.
Wählen Sie unter Thema Neues Thema erstellen aus. Geben Sie einen Namen für das Pub/Sub-Thema ein, z. B. initiateFirestoreExport. Notieren Sie sich den Namen des Themas, wenn Sie ihn zum Erstellen Ihres Cloud Scheduler-Auftrags benötigen.

Wählen Sie unter Quellcode Inline-Editor aus. Geben Sie den folgenden Code unter index.js: ein.

const firestore = require('@google-cloud/firestore');
const client = new firestore.v1.FirestoreAdminClient();
// Replace BUCKET_NAME
const bucket = 'gs://BUCKET_NAME'

exports.scheduledFirestoreExport = (event, context) => {
  const databaseName = client.databasePath(
    process.env.GCP_PROJECT,
    '(default)'
  );

  return client
    .exportDocuments({
      name: databaseName,
      outputUriPrefix: bucket,
      // Leave collectionIds empty to export all collections
      // or define a list of collection IDs:
      // collectionIds: ['users', 'posts']
      collectionIds: [],
    })
    .then(responses => {
      const response = responses[0];
      console.log(`Operation Name: ${response['name']}`);
      return response;
    })
    .catch(err => {
      console.error(err);
    });
};

Ändern Sie im Code oben Folgendes:

Ersetzen Sie BUCKET_NAME durch den Namen Ihres Buckets:
Ändern Sie collectionIds: [], um nur die angegebenen Sammlungsgruppen zu exportieren. Lassen Sie dies unverändert, um alle Sammlungen zu exportieren.

Hinweis: Wenn Sie alle Sammlungen exportieren, müssen alle nachfolgenden Importvorgänge alle Sammlungen in die Exportdatendateien importieren.

Fügen Sie unter package.json die folgende Abhängigkeit hinzu:

{
  "dependencies": {
    "@google-cloud/firestore": "^1.3.0"
  }
}

Geben Sie unter Auszuführende Funktion scheduledFirestoreExport ein, den Namen der Funktion in index.js.
Klicken Sie auf Erstellen, um die Cloud Functions-Funktion bereitzustellen.

Cloud Scheduler-Job erstellen

Erstellen Sie als Nächstes einen Cloud Scheduler-Job, der Ihre Cloud Functions-Funktion aufruft:

Rufen Sie in der Google Cloud Console die Seite Cloud Scheduler auf:

Zu Cloud Scheduler
Klicken Sie auf Job erstellen.
Geben Sie einen Namen für den Job ein, z. B. scheduledFirestoreExport.
Geben Sie eine Häufigkeit ein, z. B. every 24 hours.
Wählen Sie eine Zeitzone aus.
Wählen Sie unter Ziel Pub/Sub aus. Geben Sie im Feld Thema den Namen des Pub/Sub-Themas ein, das Sie zusammen mit Ihrer Cloud Functions-Funktion definiert haben (initiateFirestoreExport im obigen Beispiel).
Geben Sie im Feld Nutzlast start export ein. Für den Job muss eine Nutzlast definiert sein, aber die Cloud Functions-Funktion oben verwendet diesen Wert nicht.
Klicken Sie auf Erstellen.

Sie haben Ihre Cloud Functions-Funktion und Ihren Cloud Scheduler-Job bereitgestellt. Allerdings benötigt die Cloud Functions-Funktion noch Zugriffsberechtigungen, um Exportvorgänge auszuführen.

Zugriffsberechtigungen konfigurieren

Weisen Sie der Cloud Functions-Funktion die Berechtigung zu, Exportvorgänge zu starten und in Ihren GCS-Bucket zu schreiben.

Diese Cloud Functions-Funktion verwendet das Standarddienstkonto Ihres Projekts, um Exportvorgänge zu authentifizieren und zu autorisieren. Wenn Sie ein Projekt erstellen, wird ein Standarddienstkonto mit folgendem Namen für Sie erstellt:

PROJECT_ID@appspot.gserviceaccount.com

Dieses Dienstkonto benötigt die Berechtigung zum Starten eines Exportvorgangs und zum Schreiben in Ihren Cloud Storage-Bucket. Weisen Sie dem Standarddienstkonto die folgenden IAM-Rollen für diese Berechtigungen zu:

Cloud Datastore Import Export Admin
Hinweis: Diese Datastore-Rolle gewährt auch Berechtigungen für Firestore.
Rolle Owner oder Storage Admin für den Bucket

Sie können diese Rollen mit den Befehlszeilentools gcloud und gsutil zuweisen.

Falls sie noch nicht installiert sind, können Sie über Cloud Shell in der Google Cloud Console auf diese Tools zugreifen:
Cloud Shell starten

Weisen Sie die Rolle Import-Export-Administrator für Cloud Datastore zu. Ersetzen Sie PROJECT_ID und führen Sie folgenden Befehl aus:

gcloud projects add-iam-policy-binding PROJECT_ID \
    --member serviceAccount:PROJECT_ID@appspot.gserviceaccount.com \
    --role roles/datastore.importExportAdmin

Weisen Sie Ihrem Bucket die Rolle Storage-Administrator zu. Ersetzen Sie PROJECT_ID sowie BUCKET_NAME und führen Sie folgenden Befehl aus:
```
gsutil iam ch serviceAccount:PROJECT_ID@appspot.gserviceaccount.com:admin \
    gs://BUCKET_NAME
```

Wenn Sie Ihr App Engine-Standarddienstkonto deaktivieren oder löschen, verliert Ihre App Engine-Anwendung den Zugriff auf Ihre Firestore-Datenbank. Wenn Sie Ihr App Engine-Dienstkonto deaktiviert haben, können Sie es wieder aktivieren. Siehe Dienstkonto aktivieren. Wenn Sie Ihr App Engine-Dienstkonto innerhalb der letzten 30 Tage gelöscht haben, können Sie es wiederherstellen. Weitere Informationen finden Sie unter Dienstkonto wiederherstellen.

Cloud Scheduler-Job und Cloud Functions-Funktion testen

Sie können Ihren Cloud Scheduler-Job auf der Seite Cloud Scheduler in der Google Cloud Console testen.

Rufen Sie in der Google Cloud Console die Seite Cloud Scheduler auf.
Zu Cloud Scheduler
Klicken Sie in der Zeile für Ihren neuen Cloud Scheduler-Job auf Jetzt ausführen.

Nach einigen Sekunden sollte der Cloud Scheduler-Job die Ergebnisspalte Erfolgreich und Zuletzt ausgeführt auf die aktuelle Zeit aktualisieren. Möglicherweise müssen Sie auf Aktualisieren klicken.

Auf der Cloud Scheduler-Seite wird nur bestätigt, dass der Job Ihre Cloud Functions-Funktion aufgerufen hat. Öffnen Sie die Cloud Functions-Seite, um die Logs Ihrer Funktion anzuzeigen.

Cloud Functions-Logs aufrufen

Um zu sehen, ob Cloud Functions einen Exportvorgang erfolgreich gestartet hat, öffnen Sie die Logs der Funktion:

Firebase Console

Rufen Sie in der Firebase Console die Seite Cloud Functions auf.

Zu Funktionslogs

Die GCP Console

Rufen Sie in der Google Cloud Console die Seite Cloud Functions auf.

Loganzeige aufrufen

Exportfortschritt anzeigen

Sie können den Befehl gcloud firestore operations listverwenden, um den Fortschritt Ihrer Exportvorgänge einzusehen (siehe dazu Export- und Importvorgänge verwalten).

Nach Abschluss eines Exportvorgangs können Sie die Ausgabedateien in Ihrem Cloud Storage-Bucket anzeigen:

Zur Seite "Storage-Browser"