Transfer for On Premises-Jobs verwalten

Bevor Sie eine Übertragung starten können, müssen Sie einen Übertragungsjob erstellen und einen oder mehrere Agents installiert und mit dem Übertragungsjob verbunden haben. In diesem Dokument wird beschrieben, wie Sie Übertragungsjobs erstellen, Übertragungs-Agents installieren und Übertragungsjobs verwalten.

Vorbereitung

Für die Verwendung von Transfer for On Premises benötigen Sie:

  • Eine POSIX-konforme Quelle.

  • Eine Netzwerkverbindung mit mindestens 300 Mbit/s.

  • Ein von Docker unterstützter 64-Bit-Linux-Server oder eine virtuelle Maschine, die auf die Daten zugreifen kann, die Sie übertragen möchten.

    Die Docker Community Edition unterstützt die Betriebssysteme CentOs, Debian, Fedora und Ubuntu.

    Informationen zur Verwendung anderer Linux-Betriebssysteme finden Sie unter Docker Enterprise.

  • Ein Cloud Storage-Bucket ohne Aufbewahrungsrichtlinie.

    Zum Übertragen an einen Bucket mit einer Aufbewahrungsrichtlinie empfehlen wir Folgendes:

    1. Erstellen Sie einen Cloud Storage-Bucket in derselben Region wie der endgültige Bucket. Sorgen Sie dafür, dass dieser temporäre Bucket keine Aufbewahrungsrichtlinie hat.

      Weitere Informationen zu Regionen finden Sie unter Bucket-Standorte.

    2. Verwenden Sie Transfer Service for On-Premises Data, um Ihre Daten in einen von Ihnen erstellten temporären Bucket ohne Aufbewahrungsrichtlinie zu übertragen.

    3. Führen Sie eine Bucket-zu-Bucket-Übertragung durch, um die Daten mit einer Aufbewahrungsrichtlinie in den Bucket zu übertragen.

    4. Löschen Sie den Cloud Storage-Bucket, den Sie Ihnen erstellten, um Ihre Daten vorübergehend zu speichern.

  • Schließen Sie die Ersteinrichtung von Transfer for On Premises ab.

Prüfen Sie vor dem Starten einer Übertragung Folgendes:

  • TCP-Ports 80 (HTTP) und 443 (HTTPS) sind für ausgehende Verbindungen offen.
  • Für alle Agent-Prozesse innerhalb eines Google Cloud-Projekts wird dasselbe Dateisystem an demselben Bereitstellungspunkt bereitgestellt.

Skalierungseinschränkungen für Jobs und Agents

Für Transfer for On Premises gelten die folgenden Skalierungsbeschränkungen für Übertragungsjobs und Agents:

  • Weniger als eine Milliarde Dateien pro Job
  • Maximal 100 Agents pro Übertragungsprojekt
  • Die Bandbreitenobergrenze muss über 1 Mbit/s liegen

Übertragungsjob erstellen

Bevor Sie eine Übertragung starten können, müssen Sie einen Übertragungsjob erstellen. Der Übertragungsjob koordiniert und steuert Ihre lokalen Agents beim Verschieben Ihrer Daten.

So erstellen Sie einen Übertragungsjob:

Cloud Console

  1. Rufen Sie in der Google Cloud Console die Transfer Service for On Premises Data-Webkonsole auf.

    Zur Seite "Transfer Service for On Premises Data"

  2. Klicken Sie auf Übertragungsjob erstellen.

    Die Seite Übertragungsjob erstellen wird angezeigt.

  3. Wählen Sie einen Agent-Pool für die Übertragung aus. So erstellen Sie einen neuen Agent-Pool:

    1. Klicken Sie auf Agent-Pool erstellen.

      Das Formular Agent-Pool erstellen wird angezeigt.

    2. Füllen Sie das Formular aus und klicken Sie auf Erstellen.

      Der neue Agent-Pool wird auf der Seite Übertragungsjob erstellen hervorgehoben. Wählen Sie ihn zur Bestätigung aus.

  4. Geben Sie als Quelle den vollständig qualifizierten Pfad des Quelldateisystems der Quelldatei ein.

  5. Geben Sie einen Cloud Storage-Ziel-Bucket an. Sie können einen Cloud Storage-Bucket-Namen eingeben oder einen neuen Bucket erstellen.

    So erstellen Sie einen neuen Bucket und wählen ihn aus:

    1. Klicken Sie auf Durchsuchen.

    2. Klicken Sie auf Neuer Bucket.

      Das Formular Bucket erstellen wird angezeigt.

    3. Füllen Sie das Formular aus, klicken Sie auf Erstellen und klicken Sie dann auf Auswählen.

  6. Optional: Geben Sie den Namen des Ordners und den vollständigen Pfad an, um Dateien in einen Ordner anstelle der obersten Ebene des Buckets zu übertragen.

  7. Übertragungsjob beschreiben Geben Sie eine kurze Beschreibung der Übertragung ein, um sie besser nachverfolgen zu können.

  8. Optional: Erstellen Sie einen Zeitplan für den Job.

  9. Klicken Sie auf Erstellen.

REST API

  1. Verwenden Sie transferJobs.create mit einer posixDataSource:

    POST https://storagetransfer.googleapis.com/v1/transferJobs
    {
      "name":"transferJobs/OPImyFirstTransfer",
      "description": "My First Transfer",
      "status": "ENABLED",
      "projectId": "project_id",
      "schedule": {
          "scheduleStartDate": {
              "year": 2020,
              "month": 5,
              "day": 2
          },
          "scheduleEndDate": {
              "year": 2020,
              "month": 5,
              "day": 2
          },
      },
      "transferSpec": {
          "posixDataSource": {
               "rootDirectory": "/bar/",
    
          },
          "gcsDataSink": {
               "bucketName": "destination_bucket"
               "path": "foo/bar/"
          },
       }
    }
    
  2. Mit transferJobs.get können Sie den Status Ihrer Übertragung nach dem Erstellen eines Jobs prüfen:

    GET https://storagetransfer.googleapis.com/v1/{jobName="name"}
    

Sie müssen auf allen verwendeten Rechnern Transfer for On Premises-Agents installieren und ausführen, falls noch nicht geschehen.

Bandbreitennutzung für Transfer Service for On Premises Data steuern

Bandbreitenlimits sind nützlich, wenn Sie die Datenmenge begrenzen müssen, die Transfer Service for On Premises Data zum Übertragen von Daten an Cloud Storage verwendet. Die Verwendung eines Bandbreitenlimits gewährleistet Folgendes:

  • Die Netzwerkverbindungen werden bei der Verwendung von Transfer Service for On Premises Data nicht beeinträchtigt.

  • Das Verhalten Ihrer Anwendung während der Übertragung bleibt unverändert.

  • Wenn Sie eine Netzwerkverbindung haben, bei der Gebühren anhand der maximalen Bandbreite berechnet werden, lösen Sie keine plötzliche Preiserhöhung aus.

Bandbreitenlimits gelten für das gesamte Projekt.

Bandbreitenlimit festlegen

So legen Sie ein Bandbreitenlimit fest:

  1. Rufen Sie in der Google Cloud Console die Transfer Service for On Premises Data-Verbindungseinstellungen auf.

    Zur Seite mit den Transfer Service for On Premises Data-Verbindungseinstellungen

  2. Klicken Sie auf Bandbreitenlimit festlegen.

  3. Der Bereich Bandbreitenlimit für dieses Projekt festlegen wird angezeigt.

  4. Geben Sie im Textfeld Bandbreitenlimit das gewünschte Netzwerklimit in Megabyte pro Sekunde (MB/s) ein und klicken Sie auf Bandbreitenlimit festlegen.

    Das Bandbreitenlimit für das Projekt wird angezeigt.

Bandbreitenlimit bearbeiten

So bearbeiten Sie ein vorhandenes Bandbreitenlimit:

  1. Rufen Sie in der Google Cloud Console die Transfer Service for On Premises Data-Verbindungseinstellungen auf.

    Zur Seite mit den Transfer Service for On Premises Data-Verbindungseinstellungen

  2. Klicken Sie im angezeigten Bandbreitenlimit auf Bearbeiten.

  3. Geben Sie im Textfeld Bandbreitenlimit das gewünschte Netzwerklimit in Megabyte pro Sekunde (MB/s) ein und klicken Sie auf Bandbreitenlimit festlegen.

    Das Bandbreitenlimit für das Projekt wird angezeigt.

Bandbreitenlimit entfernen

So entfernen Sie ein vorhandenes Bandbreitenlimit:

  1. Rufen Sie in der Google Cloud Console die Transfer Service for On Premises Data-Verbindungseinstellungen auf.

    Zur Seite mit den Transfer Service for On Premises Data-Verbindungseinstellungen

  2. Klicken Sie in der angezeigten Bandbreitenbeschränkung auf Gesamte Bandbreite verwenden.

  3. Klicken Sie zur Bestätigung, dass Sie das vorhandene Limit entfernen möchten, auf Bestätigen.

Monitoring von Jobs

Sie können Ihre Transfer Service for On Premises Data-Jobs überwachen, um zu prüfen, ob sie wie erwartet funktionieren.

So überwachen Sie Ihre Übertragungsjobs:

Cloud Console

  1. Rufen Sie in der Google Cloud Console die Seite Transfer Service for On Premises Data-Jobs auf.

    Zur Seite "Transfer Service for On Premises Data-Jobs"

    Eine Liste der Jobs wird angezeigt. Diese Liste enthält laufende und abgeschlossene Jobs.

  2. Zum Aufrufen detaillierter Informationen zu einem Übertragungsjob klicken Sie auf die Jobbeschreibung des entsprechenden Jobs.

    Die Seite Jobdetails wird angezeigt.

Auf der Seite Jobdetails wird Folgendes angezeigt:

  • Anzahl der übertragenen Daten.

  • Konfigurationsinformationen zum Übertragungsjob.

  • Informationen zu geplanten oder wiederkehrenden Jobs.

  • Details zur letzten Jobausführung.

  • Verlauf aller früheren Jobausführungen.

REST API

Verwenden Sie transferJobs.list, um Ihre Übertragungsjobs aufzulisten. transferJobs.list gibt eine Liste aller Übertragungsjobs zurück, einschließlich Storage Transfer Service-Jobs.

Weitere Informationen zu einem bestimmten Übertragungsjob erhalten Sie mit transferJobs.get.

Eine TransferJob-Ressource wird zurückgegeben, wenn Sie transferJobs.create verwenden.

Sie können den Übertragungsstatus nach der Erstellung des Jobs mit transferOperations.get mit latestOperationName überprüfen.

Jobs filtern

Wenn Sie viele Jobs haben und nur einen Teil davon überwachen möchten, können Sie die Jobs anhand von Filtern sortieren und nur diejenigen anzeigen, die für Sie relevant sind.

So filtern Sie Übertragungsjobs:

Cloud Console

  1. Klicken Sie auf Filterliste .

  2. Wählen Sie die gewünschten Filter aus.

REST API

Geben Sie zum Filtern von Übertragungsjobs den Abfrageparameter filter für transferJobs.list an.

Jobkonfigurationen bearbeiten

Sie können die folgenden Elemente für einen vorhandenen Übertragungsjob bearbeiten:

  • Die Jobbeschreibung
  • Synchronisierungsoption
  • Planen

So bearbeiten Sie eine Jobkonfiguration:

Cloud Console

  1. Rufen Sie in der Google Cloud Console die Seite Transfer Service for On Premises Data-Jobs auf.

    Zur Seite „Transfer Service for On Premises Data-Jobs“

  2. Klicken Sie auf die Jobbeschreibung für den Job, den Sie gerade bearbeiten.

    Die Seite Jobdetails wird angezeigt.

  3. Klicken Sie auf Konfiguration.

  4. Klicken Sie neben dem Konfigurationselement, das Sie bearbeiten möchten, auf .

REST API

Sie können einen Überweisungsjob nach seiner Erstellung mit transferJobs.patch aktualisieren.

Jobs noch einmal ausführen

Transfer Service for On Premises Data unterstützt das wiederholte Ausführen eines abgeschlossenen Jobs. Dies kann hilfreich sein, wenn Sie weitere Daten verschieben müssen und eine vorhandene Jobkonfiguration wiederverwenden möchten.

So führen Sie einen Job noch einmal aus:

Cloud Console

  1. Rufen Sie in der Google Cloud Console die Seite Transfer Service for On Premises Data-Jobs auf.

    Zur Seite „Transfer Service for On Premises Data-Jobs“

  2. Klicken Sie auf die Jobbeschreibung für den Job, den Sie gerade bearbeiten.

    Die Seite Jobdetails wird angezeigt.

  3. Klicken Sie auf Wieder ausführen.

    Der Job wird gestartet.

REST API

Sie können einen Übertragungsjob mit transferJobs.run noch einmal ausführen und den jobName angeben.

Fehler ansehen

So rufen Sie ein Beispiel für Fehler auf, die während der Übertragung aufgetreten sind:

Cloud Console

  1. Rufen Sie in der Google Cloud Console die Seite Transfer Service for On Premises Data-Jobs auf.

    Zur Seite „Transfer Service for On Premises Data-Jobs“

  2. Klicken Sie auf die Jobbeschreibung für den Job, den Sie gerade bearbeiten.

    Die Seite Jobdetails wird angezeigt.

  3. Klicken Sie auf Fehlerdetails ansehen.

    Die Seite Fehlerdetails wird angezeigt. Hier sehen Sie ein Beispiel für Fehler, die während der Übertragung aufgetreten sind.

REST API

Sie können den Übertragungsfehlerjob mit transferOperations.get aufrufen.

Übertragungslogs ansehen

Transfer Service for On Premises Data erzeugt detaillierte Übertragungslogs, mit denen Sie die Ergebnisse des Übertragungsjobs prüfen können. Jeder Job erzeugt eine Sammlung von Übertragungslogs, die im Cloud Storage-Ziel-Bucket gespeichert werden.

Logs werden erstellt, während der Übertragungsjob ausgeführt wird. Die vollständigen Logs stehen normalerweise innerhalb von 15 Minuten nach Abschluss des Jobs zur Verfügung.

Sie haben folgende Möglichkeiten, um Logs aufzurufen:

Fehler in der Google Cloud Console ansehen

So zeigen Sie alle Fehler an, die während der Übertragung in der Google Cloud Console aufgetreten sind:

  1. Klicken Sie auf Übertragungslogs anzeigen.

    Die Seite Bucket-Details wird angezeigt. Dies ist ein Ziel in Ihrem Cloud Storage-Bucket.

  2. Klicken Sie auf das Übertragungslog, das Sie ansehen möchten.

    Die Übertragungslogs werden angezeigt. Weitere Informationen finden Sie unter Übertragungslogformat.

Logs im Ziel-Bucket aufrufen

Übertragungslogs werden im Ziel-Bucket unter folgendem Pfad gespeichert:

destination-bucket-name/storage-transfer/logs/transferJobs/job-name/transferOperations/operation-name

Dabei gilt:

  • destination-bucket-name ist der Name des Cloud Storage-Ziel-Buckets des Jobs.
  • job-name ist der Jobname, wie in der Jobliste angezeigt.
  • operation-name ist der Name des einzelnen Übertragungsvorgangs, der aus dem Zeitstempel IS08601 und der generierten ID besteht.

Logs werden zusammengefasst und als Objekte gespeichert. Jeder Batch Logs wird nach seiner Erstellungszeit benannt. Beispiel:

my bucket/storage-transfer/logs/transferOperations/job1/2019-10-19T10_52_56.519081644-07_00.log

Die Übertragungslogs werden angezeigt. Weitere Informationen finden Sie unter Übertragungslogformat.

BigQuery-Abfragen für Übertragungslogs ausführen

So führen Sie BigQuery-Abfragen zu Ihren Übertragungslogs aus:

  1. CSV-Logdaten in BigQuery laden

  2. Führen Sie die BigQuery-Abfrage aus.

Beispielabfragen

Anzahl der Dateien mit versuchter Übertragung und Status "Fehlgeschlagen"/"Erfolg" ansehen

select ActionStatus, count(*) as num_files
from big-query-table
where Action="TRANSFER"
group by 1;

Dabei ist big-query-table der Name der BigQuery-Tabelle, die das Übertragungslog enthält.

Alle Dateien ansehen, deren Übertragung fehlgeschlagen ist

select Src_File_Path
from big-query-table
where Action="TRANSFER" and ActionStatus="FAILED";

Dabei ist big-query-table der Name der BigQuery-Tabelle, die das Übertragungslog enthält.

Prüfsumme und Zeitstempel für jede erfolgreich übertragene Datei anzeigen

select Timestamp, Action, ActionStatus, Src_File_Path, Src_File_Size,
Src_File_Crc32C, Dst_Gcs_BucketName, Dst_Gcs_ObjectName, Dst_Gcs_Size,
Dst_Gcs_Crc32C, Dst_Gcs_Md5
from big-query-table
where Action="TRANSFER" and ActionStatus="SUCCEEDED";

Dabei ist big-query-table der Name der BigQuery-Tabelle, die das Übertragungslog enthält.

Alle Fehlerinformationen für Verzeichnisse ansehen, die nicht übertragen werden konnten

select FailureDetails_ErrorType, FailureDetails_GrpcCode, FailureDetails_Message
from big-query-table
where Action="FIND" and ActionStatus="FAILED";

Dabei ist big-query-table der Name der BigQuery-Tabelle, die das Übertragungslog enthält.