Transfer for On Premises-Jobs verwalten

Bevor Sie eine Übertragung starten können, müssen Sie einen Übertragungsjob erstellen und einen oder mehrere Agents installiert und mit dem Übertragungsjob verbunden haben. In diesem Dokument wird die Ersteinrichtung, das Erstellen eines Übertragungsjobs, das Installieren von Übertragungs-Agents und das Verwalten von Übertragungsjobs beschrieben.

Voraussetzungen

Für die Verwendung von Transfer for On Premises benötigen Sie:

  • Eine POSIX-konforme Quelle.

  • Eine Netzwerkverbindung mit mindestens 300 Mbit/s.

  • Ein von Docker unterstützter 64-Bit-Linux-Server oder eine virtuelle Maschine, die auf die Daten zugreifen kann, die Sie übertragen möchten.

    Die Docker Community Edition unterstützt die Betriebssysteme CentOs, Debian, Fedora und Ubuntu.

    Informationen zur Verwendung anderer Linux-Betriebssysteme finden Sie unter Docker Enterprise.

  • Schließen Sie die Ersteinrichtung von Transfer for On Premises ab.

Prüfen Sie vor dem Starten einer Übertragung Folgendes:

  • TCP-Ports 80 (HTTP) und 443 (HTTPS) sind für ausgehende Verbindungen offen.
  • Für alle Agent-Prozesse innerhalb eines Google Cloud-Projekts wird dasselbe Dateisystem an demselben Bereitstellungspunkt bereitgestellt.

Skalierungseinschränkungen für Jobs und Agents

Für Transfer for On Premises gelten die folgenden Skalierungsbeschränkungen für Übertragungsjobs und Agents:

  • Weniger als eine Milliarde Dateien pro Job
  • Maximal 100 Agents pro Übertragungsprojekt
  • Die Bandbreitenobergrenze muss über 1 Mbit/s liegen

Ersteinrichtung

Wenn Sie zum ersten Mal einen Transfer Service for On Premises Data-Job erstellen, müssen Sie erforderliche APIs aktivieren und die richtigen Berechtigungen gewähren.

Wenn beim Ausführen der Ersteinrichtung Fehler auftreten, prüfen Sie, ob die Nutzerdaten, mit denen Sie sich angemeldet haben, die erforderlichen Berechtigungen zum Ausführen der Schritte haben. Manchmal sind diese Berechtigungen nicht für alle Nutzer verfügbar. In diesem Fall müssen Sie sich möglicherweise an einen Projektadministrator wenden.

So nehmen Sie die Ersteinrichtung vor:

  1. Pub/Sub-API aktivieren:

    1. Rufen Sie in der Google Cloud Console die Seite API-Bibliothek auf.

    Zur Seite "API-Bibliothek"

    1. Geben Sie Pub/Sub API in das Suchfeld ein.

    2. Wählen Sie Pub/Sub API aus.

      Die Pub/Sub API-Seite wird angezeigt.

    3. Klicken Sie auf Aktivieren.

      Die Pub/Sub API-Übersicht wird angezeigt.

  2. Verwenden Sie den Google Cloud-Projektadministrator, einen Nutzer mit resourcemanager.projects.setIamPolicy-Berechtigungen, um IAM-Berechtigungen oder -Rollen (Identity and Access Management) für folgende Aufgaben zu erteilen:
    • Transfer for On Premises-Administratorkonten (Admin) – Superuser-Konten, die Arbeitskollegen bei der Durchführung von Übertragungen unterstützen. Administratoren verwalten Transfer for On Premises-Agents und legen Limits für die Bandbreitennutzung fest.
    • Transfer for On Premises-Nutzerkonten – Konten, mit denen Übertragungen erstellt und ausgeführt werden. Diese Konten haben in der Regel keinen Zugriff zum Löschen von Übertragungsjobs.
    • Das Transfer for On Premises-Dienstkonto – das Dienstkonto, das von Transfer for On Premises für Übertragungen verwendet wird.
    • Identität des Transfer for On Premises-Agents – die Identität, die zum Ausführen des Transfer for On Premises-Agent verwendet wird. Transfer for On Premises-Agents können entweder von einem Dienstkonto oder von einem Nutzerkonto eingerichtet werden.

    Das Administratorkonto des Google Cloud-Projekts ist nur erforderlich, um Übertragungsnutzer einzurichten und dem Transfer for On Premises-Dienstkonto die erforderlichen Berechtigungen zu erteilen. Es ist nicht erforderlich, um Übertragungsjobs zu starten.

    Weitere Informationen zum Gewähren von IAM-Berechtigungen (Identity and Access Management) finden Sie unter Zugriff auf Ressourcen erteilen, ändern und entziehen.

    1. Zum Einrichten eines Transfer for On Premises-Administratorkontos weisen Sie dem Konto die folgenden IAM-Berechtigungen und -Rollen zu:
      Rolle/Berechtigung Funktion Hinweise
      resourcemanager.projects.getIamPolicy Mit dieser Berechtigung wird bestätigt, dass das Transfer for On Premises-Dienstkonto die erforderlichen Berechtigungen für eine Übertragung hat.
      roles/storagetransfer.admin Ermöglicht administrative Aktionen im Übertragungsprojekt, z. B. Projekteinrichtung und Agent-Monitoring. Eine ausführliche Liste der gewährten Berechtigungen finden Sie unter Vordefinierte Rollen.
    2. Weisen Sie dem Konto die folgenden Berechtigungen und Rollen zu, um ein Transfer for On Premises-Nutzerkonto einzurichten:
      Rolle/Berechtigung Funktion Hinweise
      resourcemanager.projects.getIamPolicy Wird verwendet, um zu bestätigen, dass das Transfer for On Premises-Dienstkonto die erforderlichen Pub/Sub-Berechtigungen für eine Übertragung hat.
      roles/storagetransfer.user Der Nutzer kann Übertragungen erstellen, abrufen, aktualisieren und auflisten. Eine ausführliche Liste der gewährten Berechtigungen finden Sie unter Vordefinierte Rollen.
      roles/storage.objectAdmin Der Nutzer kann Cloud Storage-Objekte im Rahmen einer Übertragung erstellen, aktualisieren und löschen. Muss für jeden Cloud Storage-Bucket erteilt werden, der von diesem Konto für Übertragungen verwendet wird.

      Eine ausführliche Liste der erteilten Berechtigungen finden Sie unter Vordefinierte Rollen.
    3. Damit das Transfer for On Premises-Dienstkonto auf Ressourcen zugreifen kann, die für die Übertragung erforderlich sind, weisen Sie dem Transfer for On Premises-Dienstkonto cloud-ingest-dcp@cloud-ingest.iam.gserviceaccount.com die folgenden Rollen oder entsprechende Berechtigungen zu:
      Rolle/Berechtigung Funktion Hinweise
      roles/storage.objectCreator Hiermit kann Transfer for On Premises Übertragungslogs im Cloud Storage-Ziel-Bucket erstellen. Allen Cloud Storage-Buckets zuweisen, die in einer Übertragung verwendet werden. Sie können die Rolle auf Projektebene für das Projekt zuweisen, über das Transfer for On Premises ausgeführt wird, wenn dies für Ihre Situation erforderlich ist.

      Eine detaillierte Liste der Berechtigungen, die diese Rollen gewähren, finden Sie unter Vordefinierte Rollen.
      roles/storage.objectViewer Hiermit kann Transfer for On Premises bestimmen, ob eine Datei bereits in Cloud Storage hochgeladen wurde.
      roles/pubsub.editor Hiermit kann Transfer for On Premises automatisch Pub/Sub-Themen erstellen und ändern, um die Kommunikation zwischen Google Cloud und Transfer for On Premises-Agents zu ermöglichen. Wenden Sie die Rolle auf Projektebene auf das Projekt an, über das Transfer for On Premises ausgeführt wird.

      Eine detaillierte Liste der Berechtigungen, die diese Rolle gewährt, finden Sie unter Rollen.
      storage.buckets.get Diese Berechtigung ermöglicht das Lesen von Cloud Storage-Bucket-Metadaten.
    4. Weisen Sie die folgenden Berechtigungen und Rollen zu, um ein Transfer for On Premises-Agent-Dienstkonto oder ein Nutzerkonto einzurichten, das die Transfer for On Premises-Agents ausführt:
      Rolle/Berechtigung Funktion Hinweise
      roles/storage.objectAdmin Hiermit können Transfer for On Premises-Agents Cloud Storage-Objekte im Rahmen einer Übertragung erstellen, aktualisieren und löschen. Allen Cloud Storage-Buckets zuweisen, die in einer Übertragung verwendet werden. Sie können die Rolle auf Projektebene für das Projekt zuweisen, über das Transfer for On Premises ausgeführt wird, wenn dies für Ihre Situation erforderlich ist.

      Eine detaillierte Liste der Berechtigungen, die diese Rolle gewährt, finden Sie unter Rollen.
      roles/pubsub.publisher Hiermit kann Transfer for On Premises Informationen über Pub/Sub-Themen mit Google Cloud teilen. Eine detaillierte Auflistung der Berechtigungen, die diese Rolle gewährt, finden Sie unter Rollen.
      roles/pubsub.subscriber Hiermit kann Google Cloud über Pub/Sub-Themen Informationen mit Transfer for On Premises-Agents teilen. Eine detaillierte Auflistung der Berechtigungen, die diese Rolle gewährt, finden Sie unter Rollen.
      pubsub.subscriptions.create Mit dieser Berechtigung können Transfer for On Premises-Agents Pub/Sub-Abos für das Pub/Sub-Thema erstellen, das für die Kommunikation zwischen Google Cloud und Transfer for On Premises-Agents verwendet wird.
      pubsub.subscriptions.delete Mit dieser Berechtigung können Transfer for On Premises-Agents, die ordnungsgemäß beendet werden, alle von ihnen erstellten Pub/Sub-Abos bereinigen.
  3. Sie müssen auf allen verwendeten Rechnern lokale Agents installieren und ausführen.

Übertragungsjob erstellen

Bevor Sie eine Übertragung starten können, müssen Sie einen Übertragungsjob erstellen. Der Übertragungsjob koordiniert und steuert Ihre lokalen Agents beim Verschieben Ihrer Daten.

So erstellen Sie einen Übertragungsjob:

  1. Rufen Sie in der Google Cloud Console die Transfer Service for On Premises Data-Webkonsole auf.

    Zur Seite "Transfer Service for On Premises Data"

  2. Klicken Sie auf Übertragungsjob erstellen.

    Die Seite Übertragungsjob erstellen wird angezeigt.

  3. Übertragungsjob beschreiben Geben Sie eine kurze Beschreibung der Übertragung ein, um sie besser nachverfolgen zu können.

  4. Geben Sie als Quelle den vollständig qualifizierten Pfad des Quelldateisystems der Quelldatei ein.

  5. Geben Sie einen Cloud Storage-Ziel-Bucket an. Sie können einen Cloud Storage-Bucket-Namen eingeben oder einen neuen Bucket erstellen.

    So erstellen Sie einen neuen Bucket und wählen ihn aus:

    1. Klicken Sie auf Durchsuchen.

    2. Klicken Sie auf Neuer Bucket.

      Das Formular Bucket erstellen wird angezeigt.

    3. Füllen Sie das Formular aus, klicken Sie auf Erstellen und klicken Sie dann auf Auswählen.

  6. Optional: Geben Sie ein Objektpräfix ein. Ohne Objektpräfix werden Objekte mit dem Pfad der Quelle in Cloud Storage übertragen, ohne dass der Stammpfad vor dem Dateinamen im Dateisystem enthalten ist. Angenommen, Sie haben die folgenden Dateien:

    • /source_root_path/file1.txt
    • /source_root_path/dirA/file2.txt
    • /source_root_path/dirA/dirB/file3.txt
    Dann sind die Objektnamen in Cloud Storage Folgende:
    • file1.txt
    • dirA/file2.txt
    • dirA/dirB/file3.txt
    Das Objektpräfix wird dem Zielnamen des Objekts in Cloud Storage nach dem Zeichen / des Ziel-Bucket-Namens und vor den Namen von Pfaden hinzugefügt, aus denen das Objekt übertragen wurde. Bei diesen Pfaden handelt es sich nicht um den Stammpfad der Quelle. Hiermit können Sie besser zwischen Objekten unterscheiden, die von anderen Übertragungsjobs übertragen wurden.

    In der folgenden Tabelle werden mehrere Beispiele für Objektpräfixe und ihre resultierenden Objektnamen in Cloud Storage dargestellt, wenn der Pfad des Quellobjekts /source_root_path/sub_folder_name/object_name ist:
    Präfix Name des Zielobjekts
    /destination_bucket/sub_folder_name/object_name
    prefix /destination_bucket/prefixsub_folder_name/object_name
    prefix- /destination_bucket/prefix-sub_folder_name/object_name
    prefix/ /destination_bucket/prefix/sub_folder_name/object_name

  7. Optional: Erstellen Sie einen Zeitplan für den Job.

  8. Klicken Sie auf Erstellen.

Sie müssen auf allen verwendeten Rechnern Transfer for On Premises-Agents installieren und ausführen, falls noch nicht geschehen.

Bandbreitennutzung für Transfer Service for On Premises Data steuern

Bandbreitenlimits sind nützlich, wenn Sie die Datenmenge begrenzen müssen, die Transfer Service for On Premises Data zum Übertragen von Daten an Cloud Storage verwendet. Die Verwendung eines Bandbreitenlimits gewährleistet Folgendes:

  • Die Netzwerkverbindungen werden bei der Verwendung von Transfer Service for On Premises Data nicht beeinträchtigt.

  • Das Verhalten Ihrer Anwendung während der Übertragung bleibt unverändert.

  • Wenn Sie eine Netzwerkverbindung haben, bei der Gebühren anhand der maximalen Bandbreite berechnet werden, lösen Sie keine plötzliche Preiserhöhung aus.

Bandbreitenlimits gelten für das gesamte Projekt.

Bandbreitenlimit festlegen

So legen Sie ein Bandbreitenlimit fest:

  1. Rufen Sie in der Google Cloud Console die Transfer Service for On Premises Data-Verbindungseinstellungen auf.

    Zur Seite mit den Transfer Service for On Premises Data-Verbindungseinstellungen

  2. Klicken Sie auf Bandbreitenlimit festlegen.

  3. Der Bereich Bandbreitenlimit für dieses Projekt festlegen wird angezeigt.

  4. Geben Sie im Textfeld Bandbreitenlimit das gewünschte Netzwerklimit in Megabyte pro Sekunde (MB/s) ein und klicken Sie auf Bandbreitenlimit festlegen.

    Das Bandbreitenlimit für das Projekt wird angezeigt.

Bandbreitenlimit bearbeiten

So bearbeiten Sie ein vorhandenes Bandbreitenlimit:

  1. Rufen Sie in der Google Cloud Console die Transfer Service for On Premises Data-Verbindungseinstellungen auf.

    Zur Seite mit den Transfer Service for On Premises Data-Verbindungseinstellungen

  2. Klicken Sie im angezeigten Bandbreitenlimit auf Bearbeiten.

  3. Geben Sie im Textfeld Bandbreitenlimit das gewünschte Netzwerklimit in Megabyte pro Sekunde (MB/s) ein und klicken Sie auf Bandbreitenlimit festlegen.

    Das Bandbreitenlimit für das Projekt wird angezeigt.

Bandbreitenlimit entfernen

So entfernen Sie ein vorhandenes Bandbreitenlimit:

  1. Rufen Sie in der Google Cloud Console die Transfer Service for On Premises Data-Verbindungseinstellungen auf.

    Zur Seite mit den Transfer Service for On Premises Data-Verbindungseinstellungen

  2. Klicken Sie in der angezeigten Bandbreitenbeschränkung auf Gesamte Bandbreite verwenden.

  3. Klicken Sie zur Bestätigung, dass Sie das vorhandene Limit entfernen möchten, auf Bestätigen.

Jobs überwachen

Sie können Ihre Transfer Service for On Premises Data-Jobs überwachen, um zu prüfen, ob sie wie erwartet funktionieren.

So überwachen Sie Ihre Übertragungsjobs:

  1. Rufen Sie in der Google Cloud Console die Seite Transfer Service for On Premises Data-Jobs auf.

    Zur Seite "Transfer Service for On Premises Data-Jobs"

    Eine Liste der Jobs wird angezeigt. Diese Liste enthält laufende und abgeschlossene Jobs.

  2. Zum Aufrufen detaillierter Informationen zu einem Übertragungsjob klicken Sie auf die Jobbeschreibung des entsprechenden Jobs.

    Die Seite Jobdetails wird angezeigt.

Auf der Seite Jobdetails wird Folgendes angezeigt:

  • Anzahl der übertragenen Daten.

  • Konfigurationsinformationen zum Übertragungsjob.

  • Informationen zu geplanten oder wiederkehrenden Jobs.

  • Details zur letzten Jobausführung.

  • Verlauf aller früheren Jobausführungen.

Jobs filtern

Wenn Sie viele Jobs haben und nur einen Teil davon überwachen möchten, können Sie die Jobs anhand von Filtern sortieren und nur diejenigen anzeigen, die für Sie relevant sind.

So filtern Sie Übertragungsjobs:

  1. Klicken Sie auf Filterliste .

  2. Wählen Sie die gewünschten Filter aus.

Jobkonfigurationen bearbeiten

Sie können die folgenden Elemente für einen vorhandenen Übertragungsjob bearbeiten:

  • Die Jobbeschreibung
  • Synchronisierungsoption
  • Planen

So bearbeiten Sie eine Jobkonfiguration:

  1. Rufen Sie in der Google Cloud Console die Seite Transfer Service for On Premises Data-Jobs auf.

    Zur Seite "Transfer Service for On Premises Data-Jobs"

  2. Klicken Sie auf die Jobbeschreibung für den Job, den Sie gerade bearbeiten.

    Die Seite Jobdetails wird angezeigt.

  3. Klicken Sie auf Konfiguration.

  4. Klicken Sie neben dem Konfigurationselement, das Sie bearbeiten möchten, auf .

Jobs noch einmal ausführen

Transfer Service for On Premises Data unterstützt das wiederholte Ausführen eines abgeschlossenen Jobs. Dies kann hilfreich sein, wenn Sie weitere Daten verschieben müssen und eine vorhandene Jobkonfiguration wiederverwenden möchten.

So führen Sie einen Job noch einmal aus:

  1. Rufen Sie in der Google Cloud Console die Seite Transfer Service for On Premises Data-Jobs auf.

    Zur Seite "Transfer Service for On Premises Data-Jobs"

  2. Klicken Sie auf die Jobbeschreibung für den Job, den Sie gerade bearbeiten.

    Die Seite Jobdetails wird angezeigt.

  3. Klicken Sie auf Wieder ausführen.

    Der Job wird gestartet.

Fehler ansehen

So rufen Sie ein Beispiel für Fehler auf, die während der Übertragung aufgetreten sind:

  1. Rufen Sie in der Google Cloud Console die Seite Transfer Service for On Premises Data-Jobs auf.

    Zur Seite "Transfer Service for On Premises Data-Jobs"

  2. Klicken Sie auf die Jobbeschreibung für den Job, den Sie gerade bearbeiten.

    Die Seite Jobdetails wird angezeigt.

  3. Klicken Sie auf Fehlerdetails ansehen.

    Die Seite Fehlerdetails wird angezeigt. Hier sehen Sie ein Beispiel für Fehler, die während der Übertragung aufgetreten sind.

Übertragungslogs ansehen

Transfer Service for On Premises Data erzeugt detaillierte Übertragungslogs, mit denen Sie die Ergebnisse des Übertragungsjobs prüfen können. Jeder Job erzeugt eine Sammlung von Übertragungslogs, die im Cloud Storage-Ziel-Bucket gespeichert werden.

Logs werden erstellt, während der Übertragungsjob ausgeführt wird. Die vollständigen Logs stehen normalerweise innerhalb von 15 Minuten nach Abschluss des Jobs zur Verfügung.

Sie haben folgende Möglichkeiten, um Logs aufzurufen:

Fehler in der Google Cloud Console ansehen

So zeigen Sie alle Fehler an, die während der Übertragung in der Google Cloud Console aufgetreten sind:

  1. Klicken Sie auf Übertragungslogs anzeigen.

    Die Seite Bucket-Details wird angezeigt. Dies ist ein Ziel in Ihrem Cloud Storage-Bucket.

  2. Klicken Sie auf das Übertragungslog, das Sie ansehen möchten.

    Die Übertragungslogs werden angezeigt. Weitere Informationen finden Sie unter Übertragungslogformat.

Logs im Ziel-Bucket aufrufen

Übertragungslogs werden im Ziel-Bucket unter folgendem Pfad gespeichert:

destination-bucket-name/storage-transfer/logs/transferJobs/job-name/transferOperations/operation-name

Dabei gilt:

  • destination-bucket-name ist der Name des Cloud Storage-Ziel-Buckets des Jobs.
  • job-name ist der Jobname, wie in der Jobliste angezeigt.
  • operation-name ist der Name des einzelnen Übertragungsvorgangs, der aus dem Zeitstempel IS08601 und der generierten ID besteht.

Logs werden zusammengefasst und als Objekte gespeichert. Jeder Batch Logs wird nach seiner Erstellungszeit benannt. Beispiel:

my bucket/storage-transfer/logs/transferOperations/job1/2019-10-19T10_52_56.519081644-07_00.log

Die Übertragungslogs werden angezeigt. Weitere Informationen finden Sie unter Übertragungslogformat.

BigQuery-Abfragen zu Übertragungslogs ausführen

So führen Sie BigQuery-Abfragen zu Ihren Übertragungslogs aus:

  1. CSV-Logdaten in BigQuery laden

  2. Führen Sie die BigQuery-Abfrage aus.

Beispielabfragen

Anzahl der Dateien mit versuchter Übertragung und Status "Fehlgeschlagen"/"Erfolg" ansehen

select ActionStatus, count(*) as num_files
from big-query-table
where Action="TRANSFER"
group by 1;

Dabei ist big-query-table der Name der BigQuery-Tabelle, die das Übertragungslog enthält.

Alle Dateien ansehen, deren Übertragung fehlgeschlagen ist

select Src_File_Path  
from big-query-table
where Action="TRANSFER" and ActionStatus="FAILED";

Dabei ist big-query-table der Name der BigQuery-Tabelle, die das Übertragungslog enthält.

Prüfsumme und Zeitstempel für jede erfolgreich übertragene Datei anzeigen

select Timestamp, Action, ActionStatus, Src_File_Path, Src_File_Size,
Src_File_Crc32C, Dst_Gcs_BucketName, Dst_Gcs_ObjectName, Dst_Gcs_Size,
Dst_Gcs_Crc32C, Dst_Gcs_Md5
from big-query-table
where Action="TRANSFER" and ActionStatus="SUCCEEDED";

Dabei ist big-query-table der Name der BigQuery-Tabelle, die das Übertragungslog enthält.

Alle Fehlerinformationen für Verzeichnisse ansehen, die nicht übertragen werden konnten

select FailureDetails_ErrorType, FailureDetails_GrpcCode, FailureDetails_Message
from big-query-table
where Action="FIND" and ActionStatus="FAILED";

Dabei ist big-query-table der Name der BigQuery-Tabelle, die das Übertragungslog enthält.