Hinweis

Wenn Sie zum ersten Mal einen Transfer Service for On Premises Data-Job erstellen, müssen Sie erforderliche APIs aktivieren und die richtigen Berechtigungen gewähren.

Wenn beim Ausführen der Ersteinrichtung Fehler auftreten, prüfen Sie, ob die Nutzerdaten, mit denen Sie sich angemeldet haben, die erforderlichen Berechtigungen zum Ausführen der Schritte haben. Manchmal sind diese Berechtigungen nicht für alle Nutzer verfügbar. In diesem Fall müssen Sie sich möglicherweise an einen Projektadministrator wenden.

APIs aktivieren

  1. Google Storage Transfer API aktivieren.

    Aktivieren Sie die API

  2. Pub/Sub API aktivieren.

    Aktivieren Sie die API

Docker installieren

Installieren Sie die Docker Community Edition auf einer physischen oder virtuellen Linux-Maschine:

curl -fsSL https://get.docker.com -o get-docker.sh
sudo sh get-docker.sh
sudo systemctl enable docker

Wenn ein Installationsfehler auftritt, finden Sie weitere Informationen unter Fehlerbehebung.

Berechtigungen zuweisen

Verwenden Sie den Google Cloud-Projektadministrator, einen Nutzer mit Berechtigungen vom Typ resourcemanager.projects.setIamPolicy, um den entsprechenden Nutzern und Dienstkonten Berechtigungen und Rollen von Identity and Access Management (IAM) zu erteilen.

Das Administratorkonto des Google Cloud-Projekts ist nur erforderlich, um Nutzern und Dienstkonten Berechtigungen zu erteilen. Es ist nicht erforderlich, um Übertragungsjobs zu starten.

Weitere Informationen zum Zuweisen von IAM-Rollen finden Sie unter Zugriff auf Ressourcen erteilen, ändern und entziehen.

Wenn Sie benutzerdefinierte Rollen für die lokale Übertragung erstellen möchten, lesen Sie IAM-Berechtigungen für lokale Datenübertragungen und benutzerdefinierte IAM-Rollen.

Administratorkonten

Storage Transfer Service-Administratorkonten sind Superuser-Konten, die Kollegen unterstützen, die Übertragungen durchführen. Administratoren verwalten Transfer-Agents, legen Limits für die Bandbreitennutzung fest und können Übertragungsjobs löschen.

Weisen Sie zum Einrichten eines Administratorkontos die folgenden IAM-Berechtigungen und -Rollen zu:

Rolle/Berechtigung Funktion Hinweise
resourcemanager.projects.getIamPolicy Mit dieser Berechtigung wird bestätigt, dass das Transfer for On Premises-Dienstkonto die erforderlichen Berechtigungen für eine Übertragung hat.
Storage Transfer-Administrator (roles/storagetransfer.admin) Ermöglicht administrative Aktionen im Übertragungsprojekt, z. B. Projekteinrichtung und Agent-Monitoring. Eine ausführliche Liste der gewährten Berechtigungen finden Sie unter Vordefinierte Rollen für Storage Transfer Service.

Nutzerkonten

Storage Transfer Service-Nutzerkonten können zum Erstellen und Ausführen von Übertragungen verwendet werden. Diese Konten haben in der Regel keinen Zugriff zum Löschen von Übertragungsjobs.

Weisen Sie dem Konto die folgenden Berechtigungen und Rollen zu, um ein Transfer for On Premises-Nutzerkonto einzurichten:

Rolle/Berechtigung Funktion Hinweise
resourcemanager.projects.getIamPolicy Wird verwendet, um zu bestätigen, dass das Transfer for On Premises-Dienstkonto die erforderlichen Pub/Sub-Berechtigungen für eine Übertragung hat.
Storage Transfer-Nutzer (roles/storagetransfer.user) Der Nutzer kann Übertragungen erstellen, abrufen, aktualisieren und auflisten. Eine ausführliche Liste der gewährten Berechtigungen finden Sie unter Vordefinierte Rollen für Storage Transfer Service.
Storage-Objekt-Administrator (roles/storage.objectAdmin) Der Nutzer kann Cloud Storage-Objekte im Rahmen einer Übertragung erstellen, aktualisieren und löschen. Muss für jeden Cloud Storage-Bucket erteilt werden, der von diesem Konto für Übertragungen verwendet wird.

Eine ausführliche Liste der gewährten Berechtigungen finden Sie unter Vordefinierte Cloud Storage-Rollen.

Dienstkonto

Storage Transfer Service verwendet ein von Google verwaltetes Dienstkonto, um Ihre Daten zu bewegen. Dieses Dienstkonto wird automatisch erstellt, wenn Sie einen Übertragungsjob zum ersten Mal erstellen, einen Agent-Pool erstellen, googleServiceAccounts.get aufrufen oder die Seite zum Erstellen von Jobs in der Google Cloud Console aufrufen.

Das Dienstkonto hat meist das Format project-PROJECT_NUMBER@storage-transfer-service.iam.gserviceaccount.com. Verwenden Sie zum Ermitteln der spezifischen PROJECT_NUMBER den API-Aufruf googleServiceAccounts.get.

Wenn Sie dem Storage Transfer Service-Dienstkonto Zugriff auf Ressourcen gewähren möchten, die für die Übertragung erforderlich sind, weisen Sie dem Dienstkonto die folgenden Rollen oder entsprechende Berechtigungen zu:

Rolle/Berechtigung Funktion Hinweise
Storage-Objekt-Ersteller (roles/storage.objectCreator) Aktiviert die lokale Übertragung, um Übertragungs-Logs in dem mit dieser Übertragung verknüpften Cloud Storage-Bucket zu erstellen. Allen Cloud Storage-Buckets zuweisen, die in einer Übertragung verwendet werden. Sie können die Rolle auf Projektebene für das Projekt zuweisen, über das Transfer for On Premises ausgeführt wird, wenn dies für Ihre Situation erforderlich ist.

Eine detaillierte Liste der Berechtigungen, die diese Rollen gewähren, finden Sie unter Vordefinierte Cloud Storage-Rollen.
Storage-Objekt-Betrachter (roles/storage.objectViewer) Aktiviert die lokale Übertragung, um zu bestimmen, ob eine Datei bereits zu oder von Cloud Storage übertragen wurde.
Pub/Sub-Bearbeiter (roles/pubsub.editor) Hiermit kann Transfer for On Premises automatisch Pub/Sub-Themen erstellen und ändern, um die Kommunikation zwischen Google Cloud und Transfer for On Premises-Agents zu ermöglichen. Wenden Sie die Rolle auf Projektebene auf das Projekt an, über das Transfer for On Premises ausgeführt wird.

Eine detaillierte Auflistung der Berechtigungen, die diese Rolle gewährt, finden Sie unter Pub/Sub-Rollen.
Leser von Legacy-Storage-Buckets (roles/storage.legacyBucketReader) Aktiviert die lokale Übertragung, um Metadaten von Cloud Storage-Buckets zu lesen. Wird allen Cloud Storage-Buckets zugewiesen, die in einer Übertragung verwendet werden.

Agents übertragen

Storage Transfer Service-Transfer-Agents können entweder mit dem Nutzerkonto oder mit einem Dienstkonto ausgeführt werden.

Weisen Sie die Rolle "Transfer-Agent-Dienstkonto" oder "Nutzerkonto" zu, mit dem die Transfer-Agents ausgeführt werden:

Rolle/Berechtigung Funktion Hinweise
Storage Transfer-Agent (roles/storagetransfer.transferAgent) Gewährt Transfer for On Premises-Agents die Berechtigungen des Storage Transfer Service und der Pub/Sub, um für eine Übertragung erforderlich zu sein. Weisen Sie diese Rolle dem Nutzer oder Dienstkonto zu, das von Agents verwendet wird.

Eine detaillierte Liste der Berechtigungen, die diese Rolle gewährt, finden Sie unter Zugriffssteuerung mit IAM.

Quell- und Zielberechtigungen

Außerdem müssen Sie darauf achten, dass das Agent-Konto über die richtigen Berechtigungen verfügt, um auf die Quelldaten zuzugreifen und in das Ziel zu schreiben.

Dateisystem in Cloud Storage

Wenn das Ziel Ihrer Übertragung ein Cloud Storage-Bucket ist, benötigt der Transfer-Agent die folgenden Berechtigungen für den Ziel-Bucket. Eine Anleitung finden Sie unter Hauptkonto zu einer Richtlinie auf Bucket-Ebene hinzufügen.

Berechtigung Beschreibung
storage.objects.create Ermöglicht dem Agent-Konto, während der Übertragung Cloud Storage-Objekte zu schreiben.
storage.objects.get Ermöglicht dem Agent-Konto, Objektdaten und Metadaten zu lesen.
storage.objects.delete Erforderlich, wenn die Übertragung so konfiguriert ist, dass Objekte in der Senke überschrieben oder gelöscht werden Beispiel: overwriteObjectsAlreadyExistingInSink oder deleteObjectsUniqueInSink sind in der transferOptions-Konfiguration Ihrer Übertragung festgelegt.
Cloud Storage zum Dateisystem

Wenn die Quelle der Übertragung ein Cloud Storage-Bucket ist, benötigt der Transfer-Agent die folgende Berechtigung für den Quell-Bucket.

Berechtigung Beschreibung
storage.objects.get Ermöglicht dem Agent-Konto, Objektdaten und Metadaten zu lesen.
Dateisystem zum Dateisystem

Wenn die Übertragung zwischen zwei Dateisystemen erfolgt, benötigt der Transfer-Agent die folgenden Berechtigungen für den Zwischen-Bucket.

Berechtigung Beschreibung
storage.objects.create Ermöglicht dem Agent-Konto, während der Übertragung Cloud Storage-Objekte zu schreiben.
storage.objects.get Ermöglicht dem Agent-Konto, Objektdaten und Metadaten zu lesen.
storage.objects.delete Erforderlich, wenn die Übertragung für das Löschen von Objekten im Zwischen-Bucket konfiguriert wurde, nachdem die Übertragung abgeschlossen wurde.

Nächste Schritte