Datenübertragungen mit der Konsole erstellen und verwalten

Auf dieser Seite wird gezeigt, wie Sie mit der Google Cloud Console Übertragungsjobs einrichten und verwalten. Informationen zur programmatischen Arbeit mit dem Storage Transfer Service finden Sie unter Storage Transfer Service-Client erstellen und Datenübertragungen programmatisch erstellen und verwalten.

Hinweis

Bevor Sie Übertragungsjobs im Storage Transfer Service einrichten können, benötigen Sie die erforderlichen Zugriffsrechte:

  • Zugriff auf den Storage Transfer Service: Ihnen muss eine der folgenden Rollen zugewiesen sein:

    • roles/owner
    • roles/editor
    • roles/storagetransfer.admin
    • roles/storagetransfer.user
    • Eine benutzerdefinierte Rolle, die mindestens die Berechtigung roles/storagetransfer.user umfasst.

      Weitere Informationen zum Hinzufügen und Anzeigen von Berechtigungen auf Projektebene finden Sie unter IAM-Berechtigungen mit Projekten verwenden.

    Weitere Informationen zu IAM-Rollen und Berechtigungen im Storage Transfer Service finden Sie unter Zugriffssteuerung mit IAM-Rollen und -Berechtigungen.

  • Zugriff auf Quelle und Senke: Storage Transfer Service verwendet ein Dienstkonto zum Ausführen von Übertragungen. Für den Zugriff auf die Datenquelle und die Datensenke muss dieses Dienstkonto Quellberechtigungen und Senkenberechtigungen haben.

Übertragungsjob einrichten

  1. Öffnen Sie in der Google Cloud Console die Seite "Übertragen".

    Öffnen Sie die Seite Übertragung.

  2. Klicken Sie auf Übertragung erstellen.

    Wählen Sie einen der nachstehenden Tabs aus, um Anleitungen zum Einrichten aufzurufen. Die nötigen Schritte hängen davon ab, ob es sich bei der Quelle um einen Cloud Storage-Bucket, einen Amazon S3-Bucket, ein Microsoft Azure Storage-Blob oder eine URL-Liste handelt.

Cloud Storage

  1. Wählen Sie unter Quelle auswählen die Option Google Cloud Storage-Bucket aus.

  2. Geben Sie im Textfeld Cloud Storage-Bucket den Namen des Quell-Buckets ohne das Präfix gs:// ein. Sie können den Bucket auch suchen und auswählen.

    Wenn Sie einen Cloud Storage-Bucket aus einem anderen Projekt angeben möchten, geben Sie den Namen genau in das Textfeld Cloud Storage-Bucket ein.

  3. Wenn Sie eine Untergruppe von Dateien in der Quelle angeben möchten, klicken Sie unterhalb des Bucket-Felds auf Dateifilter angeben. Sie können Dateien basierend auf dem Dateinamenspräfix und Dateialter ein- oder ausschließen. Weitere Informationen finden Sie unter Quellobjekte zur Übertragung auswählen.

  4. Wählen Sie unter Ziel auswählen einen Bucket für die Datensenke aus oder erstellen Sie einen neuen Bucket.

    Zum Auswählen eines vorhandenen Buckets geben Sie den Namen des Buckets ohne das Präfix gs:// ein oder klicken auf Durchsuchen, um zum Speicherort des Buckets zu gehen.

    Wenn Sie Dateien in einen neuen Bucket übertragen möchten, klicken Sie auf Durchsuchen und dann auf das Symbol Neuer Bucket.

  5. Aktivieren Sie bei Bedarf die Optionen zum Überschreiben oder Löschen.

    Standardmäßig überschreibt der Storage Transfer Service ein Objekt nur dann, wenn sich die Version der Quelle von der Version der Senke unterscheidet. Es werden keine anderen Objekte überschrieben oder gelöscht. Zusätzliche Optionen zum Überschreiben/Löschen können Sie unter Übertragungsoptionen aktivieren. Weitere Informationen zu den vorhandenen Optionen finden Sie in der API-Referenz unter TransferOptions.

  6. Legen Sie unter Übertragung konfigurieren mithilfe der Optionen Jetzt ausführen (einmalig) oder Täglich ausführen um den Ausführungszeitpunkt des Übertragungsjobs in Ihrer lokalen Zeitzone fest.

  7. (Optional) Bearbeiten Sie unter Beschreibung den Namen des Übertragungsjobs. Verwenden Sie einen eindeutigen, aussagekräftigen Namen, um den Übertragungsjob später leichter identifizieren zu können.

  8. Klicken Sie auf Erstellen.

Amazon S3

  1. Wählen Sie unter Quelle auswählen die Option Amazon S3-Bucket aus.

  2. Geben Sie im Textfeld Amazon S3-Bucket den Namen des Amazon S3-Quell-Buckets an.

    Der Bucket-Name ist der Name, der in der AWS Management Console angezeigt wird.

  3. Geben Sie in die entsprechenden Textfelder die Zugriffsschlüssel-ID und den geheimen Schlüssel ein, die dem Amazon S3-Bucket zugeordnet sind.

  4. Wenn Sie eine Untergruppe von Dateien in der Quelle angeben möchten, klicken Sie unterhalb des Bucket-Felds auf Dateifilter angeben. Sie können Dateien basierend auf dem Dateinamenspräfix und Dateialter ein- oder ausschließen. Weitere Informationen finden Sie unter Quellobjekte zur Übertragung auswählen.

  5. Wählen Sie unter Ziel auswählen einen Bucket für die Datensenke aus oder erstellen Sie einen neuen Bucket.

    Zum Auswählen eines vorhandenen Buckets geben Sie den Namen des Buckets ohne das Präfix gs:// ein oder klicken auf Durchsuchen, um zum Speicherort des Buckets zu gehen.

    Wenn Sie Dateien in einen neuen Bucket übertragen möchten, klicken Sie auf Durchsuchen und dann auf das Symbol Neuer Bucket.

  6. Aktivieren Sie bei Bedarf die Optionen zum Überschreiben oder Löschen.

    Standardmäßig überschreibt Ihr Übertragungsjob ein Objekt nur dann, wenn sich die Version der Quelle von der Version der Senke unterscheidet. Es werden keine anderen Objekte überschrieben oder gelöscht. Zusätzliche Optionen zum Überschreiben/Löschen können Sie unter Übertragungsoptionen aktivieren. Weitere Informationen zu den vorhandenen Optionen finden Sie in der API-Referenz unter TransferOptions.

  7. Legen Sie unter Übertragung konfigurieren mithilfe der Optionen Jetzt ausführen (einmalig) oder Täglich ausführen um den Ausführungszeitpunkt des Übertragungsjobs in Ihrer lokalen Zeitzone fest.

  8. (Optional) Bearbeiten Sie unter Beschreibung den Namen des Übertragungsjobs. Verwenden Sie einen eindeutigen, aussagekräftigen Namen, um den Übertragungsjob später leichter identifizieren zu können.

  9. Klicken Sie auf Erstellen.

Microsoft Azure Blob Storage

  1. Wählen Sie unter Quelle auswählen die Option Microsoft Azure Storage-Container aus.

  2. Geben Sie Folgendes an:

    1. Name des Storage-Kontos: der Name des Microsoft Azure Storage-Quellkontos.

      Der Name des Speicherkontos wird im Microsoft Azure Storage-Portal unter Alle Dienste angezeigt.

    2. Containername: der Name des Microsoft Azure Storage-Containers

      Der Containername wird im Microsoft Azure Storage-Portal unter Storage Explorer > Blob-Container angezeigt.

    3. Shared Access Signature (SAS): Das Microsoft Azure Storage-SAS-Token, das aus einer gespeicherten Zugriffsrichtlinie erstellt wurde. Weitere Informationen finden Sie unter Gewähren des Zugriffs auf Azure Storage-Ressourcen mit freigegebenen Zugriffssignaturen (SAS).

      Die Standardablaufzeit für SSA-Tokens beträgt 8 Stunden. Achten Sie bei der Erstellung des Storage-Tokens darauf, eine angemessene Ablaufzeit festzulegen, damit Sie die Übertragung erfolgreich abschließen können.
  3. (Optional) Geben Sie Dateifilter für die Übertragung an. Klicken Sie dazu auf Dateifilter angeben.

URL-Liste

  1. Wählen Sie unter Quelle auswählen die Option Liste der Objekt-URLs aus.

  2. Geben Sie unter URL der TSV-Datei die URL zu einer TSV-Datei ein und klicken Sie anschließend auf Weiter. Details zum Erstellen der TSV-Datei finden Sie unter URL-Liste erstellen.

  3. Wählen Sie unter Ziel auswählen einen Bucket für die Datensenke aus oder erstellen Sie einen neuen Bucket.

    Zum Auswählen eines vorhandenen Buckets geben Sie den Namen des Buckets ohne das Präfix gs:// ein oder klicken auf Durchsuchen, um zum Speicherort des Buckets zu gehen.

    Wenn Sie Dateien in einen neuen Bucket übertragen möchten, klicken Sie auf Durchsuchen und dann auf das Symbol Neuer Bucket.

  4. Aktivieren Sie bei Bedarf die Optionen zum Überschreiben oder Löschen.

    Standardmäßig überschreibt Ihr Übertragungsjob ein Objekt nur dann, wenn sich die Version der Quelle von der Version der Senke unterscheidet. Es werden keine anderen Objekte überschrieben oder gelöscht. Zusätzliche Optionen zum Überschreiben/Löschen können Sie unter Übertragungsoptionen aktivieren. Weitere Informationen zu den vorhandenen Optionen finden Sie in der API-Referenz unter TransferOptions.

  5. Legen Sie unter Übertragung konfigurieren mithilfe der Optionen Jetzt ausführen (einmalig) oder Täglich ausführen um den Ausführungszeitpunkt des Übertragungsjobs in Ihrer lokalen Zeitzone fest.

  6. (Optional) Bearbeiten Sie unter Beschreibung den Namen des Übertragungsjobs. Verwenden Sie einen eindeutigen, aussagekräftigen Namen, um den Übertragungsjob später leichter identifizieren zu können.

  7. Klicken Sie auf Erstellen.

Lokale Daten

Storage Transfer Service ermöglicht die Übertragung von Onlinedaten zu Cloud Storage. Zum Synchronisieren von Cloud Storage-Buckets mit lokalen Daten verwenden Sie gsutil rsync.

Übertragungsjobs bearbeiten

Sie können die Konfiguration nur für folgende Übertragungsjobs bearbeiten:

  • Wiederkehrende Übertragungsjobs, die nicht beendet wurden
  • Einmalige Übertragungsjobs, die noch nicht ausgeführt wurden

Trifft eine dieser Bedingungen zu, dann bearbeiten Sie die Konfiguration wie folgt:

  1. Öffnen Sie in der Google Cloud Console die Seite "Übertragen".

    Öffnen Sie die Seite Übertragung.

  2. Klicken Sie auf den Namen des Übertragungsjobs, um die Details abzurufen.

  3. Wählen Sie Konfiguration bearbeiten aus und befolgen Sie die Anweisungen unter Übertragung einrichten.

    Änderungen an einem wiederkehrenden Übertragungsjob, der gerade ausgeführt wird, werden bei der nächsten geplanten Ausführung der Übertragung wirksam.

Verlauf eines Übertragungsjobs anzeigen

  1. Öffnen Sie in der Google Cloud Console die Seite "Übertragen".

    Öffnen Sie die Seite Übertragung.

  2. Klicken Sie auf den Namen des Übertragungsjobs, um die Details abzurufen.

  3. Wählen Sie den Tab Vorgänge aus.

  4. Klicken Sie in der Liste der Einträge auf das Startdatum eines Übertragungsvorgangs, um Details wie möglicherweise aufgetretene Fehler einzusehen.

    Einmalige Übertragungsjobs werden nur einmal ausgeführt, sodass nur ein Eintrag im Verlauf der Übertragungsvorgänge vorhanden ist.

Aktiven Übertragungsvorgang anhalten oder abbrechen

So können Sie einen laufenden Übertragungsvorgang anhalten bzw. abbrechen:

  1. Öffnen Sie in der Google Cloud Console die Seite "Übertragen".

    Öffnen Sie die Seite Übertragung.

  2. Klicken Sie auf den Namen des Übertragungsjobs, um die Details abzurufen.

  3. Wählen Sie den Tab Vorgänge aus.

    Aktive Übertragungsvorgänge haben in der Liste der Einträge rechts neben der Statusspalte Schaltflächen zum Anhalten (||) und Abbrechen (X)

  4. Klicken Sie auf die Schaltfläche zum Anhalten, um die Übertragung vorübergehend anzuhalten, oder auf die Schaltfläche zum Abbrechen, um die Übertragung endgültig abzubrechen.

  5. Wenn Sie die angehaltene Übertragung fortsetzen möchten, klicken Sie auf die Schaltfläche zum Fortsetzen (►).

    Wenn Sie den Übertragungsvorgang abbrechen, wird ein Bestätigungsfenster angezeigt. Klicken Sie auf Übertragung abbrechen, um den Abbruch zu bestätigen.

Geplante oder wiederkehrende Übertragungsjobs löschen

  1. Öffnen Sie in der Google Cloud Console die Seite "Übertragen".

    Öffnen Sie die Seite Übertragung.

  2. Aktivieren Sie das Kästchen des Übertragungsjobs, den Sie entfernen möchten.

  3. Klicken Sie auf Löschen über der Liste der Übertragungsjobs.

  4. Klicken Sie im anschließend angezeigten Bestätigungsfenster auf OK.

Quellobjekte zur Übertragung auswählen

Storage Transfer Service verfügt über Präfixe, mit denen Sie auswählen können, welche Dateien aus der Datenquelle übertragen bzw. von der Übertragung ausgeschlossen werden. Sie können sich die Präfixe wie einen Filter vorstellen, der die Auswahl der zu übertragenden Objekte eingrenzt. Sie können entweder nur einschließende Präfixe, nur ausschließende Präfixe oder beides verwenden. Die folgenden Anleitungen gelten für die Datenquellen Amazon S3, Microsoft Azure Blob Storage und Cloud Storage.

  • Lassen Sie bei der Eingabe eines Präfixes den Schrägstrich am Anfang weg. Wenn Sie beispielsweise das Objekt requests.gz in eine Übertragung aus dem folgenden Bucket-Pfad s3://my-aws-bucket/logs/y=2015/requests.gz aufnehmen möchten, geben Sie das Include-Präfix als logs/y=2015/requests.gz an.

  • Wenn Sie einschließende und ausschließende Präfixe zusammen verwenden, müssen die ausschließenden Präfixe mit dem Wert eines der einschließenden Präfixe beginnen. Beispiel: Wenn Sie a als einschließendes Präfix festlegen, können die ausschließenden Präfixe z. B. a/b, aaa oder abc lauten.

  • Wenn Sie nur ausschließende Präfixe verwenden, können Sie beliebige Präfixwerte festlegen.

  • Wenn Sie keine Präfixe angeben, werden alle Objekte übertragen, die sich im Bucket befinden.

  • Geben Sie für die Namen der Datenquelle und des Datensenken-Buckets keine Pfadnamen an. Beispiel: s3://my-aws-bucket und gs://example-bucket sind gültig, s3://my-aws-bucket/subfolder oder gs://example-bucket/files jedoch nicht. Verwenden Sie einschließende und ausschließende Präfixe, um Pfade anzugeben.

  • Storage Transfer Service unterstützt keine Neuzuordnungen. Sie können also den Pfad files/2015 in der Datenquelle nicht in files/2016 in der Datensenke kopieren.

Weitere Informationen zum Arbeiten mit und Ausschließen von Präfixen finden Sie in den API-Beschreibungen includePrefixes und excludePrefixes.

Allgemeine Informationen zu Präfixen finden Sie in der Amazon S3-Dokumentation unter Hierarchische Auflistung von Schlüsseln mit einem Präfix und einem Trennzeichen oder in der Methode "Objects: list" für Cloud Storage.

Amazon S3-IAM-Nutzer erstellen

Die folgenden Schritte bieten einen Überblick über die Erstellung von Amazon S3-Anmeldedaten, die für Datenübertragungen von einem Amazon S3-Bucket in einen Cloud Storage-Bucket verwendet werden können. Ausführliche Informationen finden Sie unter Erstellen eines IAM-Nutzers in Ihrem AWS-Konto und Beispiele für Bucket-Richtlinien.

  1. Erstellen Sie einen neuen Nutzer in der AWS IAM-Konsole (Identity and Access Management).

  2. Notieren Sie sich die Anmeldedaten oder laden Sie sie herunter.

    Die heruntergeladenen Anmeldedaten enthalten den Benutzernamen, die Zugriffsschlüssel-ID und den geheimen Zugriffsschlüssel. Wenn Sie den Übertragungsjob in Cloud Storage konfigurieren, benötigen Sie lediglich die Zugriffsschlüssel-ID und den geheimen Zugriffsschlüssel.

  3. Verknüpfen Sie den IAM-Nutzer mit einer verwalteten Richtlinie, die die zum Ausführen einer Übertragung erforderlichen Berechtigungen enthält.

    Verknüpfen Sie die Richtlinie AmazonS3FullAccess, wenn die Übertragung für das Löschen von Quellobjekten konfiguriert wurde. Ansonsten fügen Sie die AmazonS3ReadyOnlyAccess-Richtlinie hinzu. Die verwaltete Richtlinie AmazonS3FullAccess, die über die IAM-Konsole mit einem Nutzer verknüpft ist, lautet beispielsweise:

    {
      "Version": "2012-10-17",
      "Statement": [
        {
          "Effect": "Allow",
          "Action": "s3:*",
          "Resource": "*"
        }
      ]
    }
    
  4. Optional: Erstellen Sie eine Richtlinie, die restriktiver als die verwalteten Richtlinien ist.

    Zum Beispiel können Sie eine Richtlinie erstellen, die den Zugriff auf den Amazon S3-Bucket beschränkt. Weitere Informationen finden Sie unter Beispiele für Bucket-Richtlinien.

Nächste Schritte

Cloud Storage verwenden