Datenübertragungen mit der Console erstellen und verwalten

Auf dieser Seite wird gezeigt, wie Sie mit der Google Cloud Platform Console Übertragungsjobs einrichten und verwalten. Informationen zur programmatischen Arbeit mit dem Storage Transfer Service finden Sie unter Storage Transfer Service-Client erstellen und Datenübertragungen programmatisch erstellen und verwalten.

Vorbereitung

Um in der GCP Console Übertragungsjobs einzurichten, benötigen Sie die erforderlichen Zugriffsrechte:

  • Zugriff auf Cloud Storage: Sie müssen ein Inhaber oder Bearbeiter des Projekts sein, das die Datenübertragung verwaltet. Dieses Projekt braucht weder mit der Quelle noch mit der Senke verknüpft zu sein.

    Schrittweise Anleitungen zum Hinzufügen und Aufrufen von Berechtigungen auf Projektebene finden Sie unter IAM mit Projekten verwenden.

  • Zugriff auf Quelle und Senke: Storage Transfer Service verwendet ein Dienstkonto zum Ausführen von Übertragungen. Für den Zugriff auf die Datenquelle und die Datensenke muss dieses Dienstkonto Quellberechtigungen und Senkenberechtigungen haben.

Übertragungsjob einrichten

  1. Öffnen Sie in der Google Cloud Platform Console die Seite "Transfer" (Übertragung).

    Zur Seite Transfer

  2. Klicken Sie auf Übertragung erstellen.

    Wählen Sie einen der nachstehenden Tabs aus, um Anleitungen zum Einrichten aufzurufen. Die nötigen Schritte hängen davon ab, ob es sich bei der Quelle um einen Cloud Storage-Bucket, einen Amazon S3-Bucket oder eine URL-Liste handelt.

Google Cloud Storage

  1. Wählen Sie unter Quelle auswählen die Option Google Cloud Storage-Bucket aus.

  2. Geben Sie im Textfeld Cloud Storage-Bucket den Namen des Quell-Buckets ohne das Präfix gs:// ein. Sie können den Bucket auch suchen und auswählen.

  3. Wenn Sie eine Untergruppe von Dateien in der Quelle angeben möchten, klicken Sie unterhalb des Bucket-Felds auf Dateifilter angeben. Sie können Dateien basierend auf dem Dateinamenspräfix und Dateialter ein- oder ausschließen. Weitere Informationen finden Sie unter Quellobjekte zur Übertragung auswählen.

  4. Wählen Sie unter Ziel auswählen einen Bucket für die Datensenke aus oder erstellen Sie einen neuen Bucket.

    Zum Auswählen eines vorhandenen Buckets geben Sie den Namen des Buckets ohne das Präfix gs:// ein oder klicken auf Durchsuchen, um zum Speicherort des Buckets zu navigieren.

    Wenn Sie Dateien in einen neuen Bucket übertragen möchten, klicken Sie auf Durchsuchen und dann auf das Symbol Neuer Bucket.

  5. Aktivieren Sie bei Bedarf die Optionen zum Überschreiben oder Löschen.

    Standardmäßig überschreibt der Storage Transfer Service ein Objekt nur dann, wenn sich die Version der Quelle von der Version der Senke unterscheidet. Es werden keine anderen Objekte überschrieben oder gelöscht. Zusätzliche Optionen zum Überschreiben/Löschen können Sie unter Übertragungsoptionen aktivieren. Weitere Informationen zu den vorhandenen Optionen finden Sie in der API-Referenz unter TransferOptions.

  6. Legen Sie unter Übertragung konfigurieren mithilfe der Optionen Jetzt ausführen (einmalig) oder Täglich ausführen um den Ausführungszeitpunkt des Übertragungsjobs in Ihrer lokalen Zeitzone fest.

  7. (Optional) Bearbeiten Sie unter Beschreibung den Namen des Übertragungsjobs. Verwenden Sie einen eindeutigen, aussagekräftigen Namen, um den Übertragungsjob später leichter identifizieren zu können.

  8. Klicken Sie auf Erstellen.

Amazon S3

  1. Wählen Sie unter Quelle auswählen die Option Amazon S3-Bucket aus.

  2. Geben Sie im Textfeld Amazon S3-Bucket den Namen des Amazon S3-Quell-Buckets an.

    Der Bucket-Name ist der Name, der in der AWS Management Console angezeigt wird.

  3. Geben Sie in die entsprechenden Textfelder die Zugriffsschlüssel-ID und den geheimen Schlüssel ein, die dem Amazon S3-Bucket zugeordnet sind.

  4. Wenn Sie eine Untergruppe von Dateien in der Quelle angeben möchten, klicken Sie unterhalb des Bucket-Felds auf Dateifilter angeben. Sie können Dateien basierend auf dem Dateinamenspräfix und Dateialter ein- oder ausschließen. Weitere Informationen finden Sie unter Quellobjekte zur Übertragung auswählen.

  5. Wählen Sie unter Ziel auswählen einen Bucket für die Datensenke aus oder erstellen Sie einen neuen Bucket.

    Zum Auswählen eines vorhandenen Buckets geben Sie den Namen des Buckets ohne das Präfix gs:// ein oder klicken auf Durchsuchen, um zum Speicherort des Buckets zu navigieren.

    Wenn Sie Dateien in einen neuen Bucket übertragen möchten, klicken Sie auf Durchsuchen und dann auf das Symbol Neuer Bucket.

  6. Aktivieren Sie bei Bedarf die Optionen zum Überschreiben oder Löschen.

    Standardmäßig überschreibt Ihr Übertragungsjob ein Objekt nur dann, wenn sich die Version der Quelle von der Version der Senke unterscheidet. Es werden keine anderen Objekte überschrieben oder gelöscht. Zusätzliche Optionen zum Überschreiben/Löschen können Sie unter Übertragungsoptionen aktivieren. Weitere Informationen zu den vorhandenen Optionen finden Sie in der API-Referenz unter TransferOptions.

  7. Legen Sie unter Übertragung konfigurieren mithilfe der Optionen Jetzt ausführen (einmalig) oder Täglich ausführen um den Ausführungszeitpunkt des Übertragungsjobs in Ihrer lokalen Zeitzone fest.

  8. (Optional) Bearbeiten Sie unter Beschreibung den Namen des Übertragungsjobs. Verwenden Sie einen eindeutigen, aussagekräftigen Namen, um den Übertragungsjob später leichter identifizieren zu können.

  9. Klicken Sie auf Erstellen.

URL-Liste

  1. Wählen Sie unter Quelle auswählen die Option Liste der Objekt-URLs aus.

  2. Geben Sie unter URL der TSV-Datei die URL zu einer TSV-Datei ein und klicken Sie anschließend auf Weiter. Details zum Erstellen der TSV-Datei finden Sie unter URL-Liste erstellen.

  3. Wählen Sie unter Ziel auswählen einen Bucket für die Datensenke aus oder erstellen Sie einen neuen Bucket.

    Zum Auswählen eines vorhandenen Buckets geben Sie den Namen des Buckets ohne das Präfix gs:// ein oder klicken auf Durchsuchen, um zum Speicherort des Buckets zu navigieren.

    Wenn Sie Dateien in einen neuen Bucket übertragen möchten, klicken Sie auf Durchsuchen und dann auf das Symbol Neuer Bucket.

  4. Aktivieren Sie bei Bedarf die Optionen zum Überschreiben oder Löschen.

    Standardmäßig überschreibt Ihr Übertragungsjob ein Objekt nur dann, wenn sich die Version der Quelle von der Version der Senke unterscheidet. Es werden keine anderen Objekte überschrieben oder gelöscht. Zusätzliche Optionen zum Überschreiben/Löschen können Sie unter Übertragungsoptionen aktivieren. Weitere Informationen zu den vorhandenen Optionen finden Sie in der API-Referenz unter TransferOptions.

  5. Legen Sie unter Übertragung konfigurieren mithilfe der Optionen Jetzt ausführen (einmalig) oder Täglich ausführen um den Ausführungszeitpunkt des Übertragungsjobs in Ihrer lokalen Zeitzone fest.

  6. (Optional) Bearbeiten Sie unter Beschreibung den Namen des Übertragungsjobs. Verwenden Sie einen eindeutigen, aussagekräftigen Namen, um den Übertragungsjob später leichter identifizieren zu können.

  7. Klicken Sie auf Erstellen.

Lokale Daten

Storage Transfer Service ermöglicht die Übertragung von Onlinedaten zu Cloud Storage. Verwenden Sie gsutil rsync, um Cloud Storage-Buckets mit lokalen Daten zu synchronisieren.

Übertragungsjobs bearbeiten

Sie können die Konfiguration nur für folgende Übertragungsjobs bearbeiten:

  • Wiederkehrende Übertragungsjobs, die nicht beendet wurden
  • Einmalige Übertragungsjobs, die noch nicht ausgeführt wurden

Trifft eine dieser Bedingungen zu, dann bearbeiten Sie die Konfiguration wie folgt:

  1. Öffnen Sie in der Google Cloud Platform Console die Seite "Transfer" (Übertragung).

    Zur Seite Transfer

  2. Klicken Sie auf den Namen des Übertragungsjobs, um die Details abzurufen.

  3. Wählen Sie Konfiguration bearbeiten aus und befolgen Sie die Anweisungen unter Übertragung einrichten.

    Änderungen an einem wiederkehrenden Übertragungsjob, der gerade ausgeführt wird, werden bei der nächsten geplanten Ausführung der Übertragung wirksam.

Verlauf eines Übertragungsjobs anzeigen

  1. Öffnen Sie in der Google Cloud Platform Console die Seite "Transfer" (Übertragung).

    Zur Seite Transfer

  2. Klicken Sie auf den Namen des Übertragungsjobs, um die Details abzurufen.

  3. Wählen Sie den Tab Vorgänge aus.

  4. Klicken Sie in der Liste der Einträge auf das Startdatum eines Übertragungsvorgangs, um Details wie möglicherweise aufgetretene Fehler einzusehen.

    Einmalige Übertragungsjobs werden nur einmal ausgeführt, sodass nur ein Eintrag im Verlauf der Übertragungsvorgänge vorhanden ist.

Aktiven Übertragungsvorgang anhalten oder abbrechen

So können Sie einen laufenden Übertragungsvorgang anhalten bzw. abbrechen:

  1. Öffnen Sie in der Google Cloud Platform Console die Seite "Transfer" (Übertragung).

    Zur Seite Transfer

  2. Klicken Sie auf den Namen des Übertragungsjobs, um die Details abzurufen.

  3. Wählen Sie den Tab Vorgänge aus.

    Aktive Übertragungsvorgänge haben in der Liste der Einträge rechts neben der Statusspalte Schaltflächen zum Anhalten (||) und Abbrechen (X).

  4. Klicken Sie auf die Schaltfläche zum Anhalten, um die Übertragung vorübergehend anzuhalten, oder auf die Schaltfläche zum Abbrechen, um die Übertragung endgültig abzubrechen.

  5. Wenn Sie die angehaltene Übertragung fortsetzen möchten, klicken Sie auf die Schaltfläche zum Fortsetzen (►).

    Wenn Sie den Übertragungsvorgang abbrechen, wird ein Bestätigungsfenster angezeigt. Klicken Sie auf Übertragung abbrechen, um den Abbruch zu bestätigen.

Geplante oder wiederkehrende Übertragungsjobs löschen

  1. Öffnen Sie in der Google Cloud Platform Console die Seite "Transfer" (Übertragung).

    Zur Seite Transfer

  2. Aktivieren Sie das Kästchen des Übertragungsjobs, den Sie entfernen möchten.

  3. Klicken Sie auf Löschen über der Liste der Übertragungsjobs.

  4. Klicken Sie im anschließend angezeigten Bestätigungsfenster auf OK.

Quellobjekte zur Übertragung auswählen

Storage Transfer Service verfügt über Präfixe, mit denen Sie auswählen können, welche Dateien aus der Datenquelle übertragen bzw. von der Übertragung ausgeschlossen werden. Sie können sich die Präfixe wie einen Filter vorstellen, der die Auswahl der zu übertragenden Objekte eingrenzt. Sie können entweder nur einschließende Präfixe, nur ausschließende Präfixe oder beides verwenden. Die folgenden Hinweise gelten für beide Arten von Datenquellen: Amazon S3-Buckets (Amazon Simple Storage Service) und Cloud Storage-Buckets.

  • Lassen Sie bei der Eingabe eines Präfixes den Schrägstrich am Anfang weg. Wenn Sie z. B. das Objekt requests.gz in eine Übertragung aus dem Bucket-Pfad s3://my-aws-bucket/logs/y=2015/requests.gz einschließen möchten, geben Sie das einschließende Präfix so an: logs/y=2015/requests.gz.

  • Wenn Sie einschließende und ausschließende Präfixe zusammen verwenden, müssen die ausschließenden Präfixe mit dem Wert eines der einschließenden Präfixe beginnen. Beispiel: Wenn Sie a als einschließendes Präfix festlegen, können die ausschließenden Präfixe z. B. a/b, aaa oder abc lauten.

  • Wenn Sie nur ausschließende Präfixe verwenden, können Sie beliebige Präfixwerte festlegen.

  • Wenn Sie keine Präfixe angeben, werden alle Objekte übertragen, die sich im Bucket befinden.

  • Geben Sie für die Namen der Datenquelle und des Datensenken-Buckets keine Pfadnamen an. Beispiel: s3://my-aws-bucket und gs://example-bucket sind gültig, aber s3://my-aws-bucket/subfolder oder gs://example-bucket/files sind ungültig. Verwenden Sie einschließende und ausschließende Präfixe, um Pfade anzugeben.

  • Storage Transfer Service unterstützt keine Neuzuordnungen. Sie können deshalb den Pfad files/2015 in der Datenquelle nicht nach files/2016 in der Datensenke kopieren.

Weitere Informationen zur Verwendung von einschließenden und ausschließenden Präfixen finden Sie in den Feldbeschreibungen includePrefixes und excludePrefixes in der API.

Allgemeine Informationen zu Präfixen finden Sie in der Amazon S3-Dokumentation unter Hierarchische Auflistung von Schlüsseln mit einem Präfix und einem Trennzeichen oder in der Methode "Objects: list" für Cloud Storage.

Amazon S3-IAM-Nutzer erstellen

Die folgenden Schritte bieten einen Überblick über die Erstellung von Amazon S3-Anmeldedaten, die für Datenübertragungen von einem Amazon S3-Bucket in einen Cloud Storage-Bucket verwendet werden können. Ausführliche Informationen finden Sie unter Erstellen eines IAM-Nutzers in Ihrem AWS-Konto und Beispiele für Bucket-Richtlinien.

  1. Erstellen Sie einen neuen Nutzer in der AWS IAM-Konsole (Identity and Access Management).

  2. Notieren Sie sich die Anmeldedaten oder laden Sie sie herunter.

    Die heruntergeladenen Anmeldedaten enthalten den Benutzernamen, die Zugriffsschlüssel-ID und den geheimen Zugriffsschlüssel. Wenn Sie den Übertragungsjob in Cloud Storage konfigurieren, benötigen Sie lediglich die Zugriffsschlüssel-ID und den geheimen Zugriffsschlüssel.

  3. Verknüpfen Sie den IAM-Nutzer mit einer verwalteten Richtlinie, die die zum Ausführen einer Übertragung erforderlichen Berechtigungen enthält.

    Verknüpfen Sie die Richtlinie AmazonS3FullAccess, wenn die Übertragung für das Löschen von Quellobjekten konfiguriert wurde. Ansonsten verknüpfen Sie die Richtlinie AmazonS3ReadyOnlyAccess. Die verwaltete Richtlinie AmazonS3FullAccess sieht z. B. wie folgt aus, wenn Sie über die IAM-Konsole mit einem Nutzer verknüpft wird:

    {
      "Version": "2012-10-17",
      "Statement": [
        {
          "Effect": "Allow",
          "Action": "s3:*",
          "Resource": "*"
        }
      ]
    }
    
  4. Optional können Sie eine Richtlinie erstellen, die restriktiver als die verwalteten Richtlinien ist.

    Zum Beispiel können Sie eine Richtlinie erstellen, die den Zugriff nur auf den Amazon S3-Bucket beschränkt. Weitere Informationen finden Sie unter Beispiele für Bucket-Richtlinien.

Hat Ihnen diese Seite weitergeholfen? Teilen Sie uns Ihr Feedback mit:

Feedback geben zu...

Dokumentation zum Cloud Storage Transfer Service