Übertragungs-Agents verwalten

Storage Transfer Service-Agents sind Anwendungen, die in einem Docker-Container ausgeführt und mit Storage Transfer Service koordiniert werden, um Daten aus POSIX-Dateisystemquellen zu lesen und/oder Daten in POSIX-Dateisystemsenken zu schreiben.

Wenn Ihre Übertragung kein POSIX-Dateisystem umfasst, müssen Sie keine Agents einrichten.

In diesem Dokument wird beschrieben, wie Sie Übertragungs-Agents auf Ihren Servern verwalten.

Übersicht

  • Agent-Prozesse sind dynamisch. Sie können während der Übertragung auch Agents hinzufügen, um die Leistung zu verbessern. Neu gestartete Agents werden dem entsprechenden Agent-Pool hinzugefügt und sind an der Verarbeitung vorhandener Übertragungen beteiligt. Damit können Sie anpassen, wie viele Agents ausgeführt werden, oder die Übertragungsleistung an die sich ändernde Übertragungsnachfrage anpassen.

  • Agent-Prozesse sind eine fehlertolerante Sammlung. Wenn ein Agent nicht mehr ausgeführt wird, funktionieren die verbleibenden Agents weiterhin. Wenn alle Ihre Agents angehalten werden und Sie die Agents neu starten, wird die Übertragung an der Stelle fortgesetzt, an der die Agents angehalten wurden. Auf diese Weise können Sie vermeiden, Agents zu überwachen, Übertragungen zu wiederholen oder Wiederherstellungslogik zu implementieren. Wenn Sie Agents mit Google Kubernetes Engine koordinieren, können Sie Ihre Agent-Pools ohne Ausfallzeiten bei der Übertragung patchen, verschieben und dynamisch skalieren.

    Beispiel: Sie senden zwei Übertragungen, während zwei Agents ausgeführt werden. Wenn einer der Agents aufgrund eines Neustarts oder Betriebssystem-Patches gestoppt wird, funktioniert der verbleibende Agent weiterhin. Die beiden Übertragungen werden weiterhin ausgeführt, sind jedoch langsamer, da ein einzelner Agent Daten verschiebt. Wenn der verbleibende Agent ebenfalls beendet wird, werden alle Übertragungen unterbrochen, da keine Agents ausgeführt werden. Wenn Sie die Agent-Prozesse neu starten, werden die Übertragungen an der Stelle fortgesetzt, an der sie unterbrochen wurden.

  • Agent-Prozesse gehören zu einem Pool. Sie verschieben Ihre Daten parallel. Aus diesem Grund müssen alle Agents innerhalb eines Pools denselben Zugriff auf alle Datenquellen haben, die Sie übertragen möchten.

    Wenn Sie beispielsweise Daten aus einem bestimmten Dateisystem übertragen, müssen Sie das Dateisystem auf jedem Computer bereitstellen, auf dem Agents im Agent-Pool gehostet werden. Wenn einige Agents im Pool eine Datenquelle erreichen und andere Agents nicht übertragen werden können, sind Übertragungen aus dieser Datenquelle nicht erfolgreich.

Hinweis

Bevor Sie die Übertragungen konfigurieren, müssen Sie folgenden Zugriff konfiguriert haben: für Nutzer und Dienstkonten.

Wenn Sie gcloud-Befehle verwenden, installieren Sie die gcloud CLI.

Übertragungs-Agents installieren und ausführen

So installieren und führen Sie einen Übertragungs-Agent aus:

Google Cloud Console

  1. Rufen Sie in der Console die Seite Agent-Pools auf.

    Zu „Agent-Pools“

  2. Wählen Sie den Agent-Pool aus, dem Sie den neuen Agent hinzufügen möchten.

  3. Klicken Sie auf Agent installieren.

  4. Folgen Sie der Anleitung, um den Agent zu installieren und auszuführen.

    Weitere Informationen zu den Befehlszeilenoptionen des Agents finden Sie unter Agent-Befehlszeilenoptionen.

gcloud-CLI

Wenn Sie einen oder mehrere Agents mithilfe der gcloud CLI installieren möchten, führen Sie gcloud transfer agents install aus:

gcloud transfer agents install --pool=POOL_NAME --count=NUM_AGENTS

Das Tool führt Sie durch die erforderlichen Schritte zur Installation des Agents. Dieser Befehl installiert NUM_AGENTS Agents auf Ihrem Computer, die dem Poolnamen angegeben als POOL_NAME zugeordnet sind und authentifiziert die Agents mithilfe Ihrer gcloud-Anmeldedaten. Der Poolname muss vorhanden sein oder ein Fehler wird zurückgegeben.

Verwenden Sie die Option --creds-file, um Agents mit einem Dienstkontoschlüssel auszuführen:

gcloud transfer agents install --pool=POOL_NAME --count=NUM_AGENTS \
  --creds-file=/relative/path/to/service-account-key.json

Für eine vollständige Liste der optionalen Flags führen Sie gcloud transfer agents install --help aus oder lesen Sie die Referenz zu gcloud transfer.

Wir empfehlen, für jeden Computer mehrere Agents zu installieren. Weitere Informationen zur Festlegung, wie viele Agents ausgeführt werden sollen, finden Sie unter Leistung des Übertragungs-Agents maximieren.

Agent-Verbindungen bestätigen

Nachdem Sie die Übertragungs-Agents installiert haben, können Sie prüfen, ob sie mit dem Agent-Pool verbunden sind.

So prüfen Sie, ob Ihre Agents verbunden sind:

  1. Rufen Sie in der Console die Seite Agent-Pools auf.

    Zu „Agent-Pools“

    Ihre Agent-Pools werden mit der Anzahl der verbundenen Agents angezeigt.

  2. Wählen Sie einen Agent-Pool aus, um Details zu verbundenen Agents aufzurufen.

Wenn ein neuer Agent nicht innerhalb von zehn Minuten nach der Erstellung auf der Seite des Agent-Pools angezeigt wird, finden Sie weitere Informationen unter Agents sind nicht verbunden.

Agent-Aktivität überwachen

Sie können Cloud Monitoring-Benachrichtigungen verwenden, um die Agent-Aktivität zu überwachen.

Monitoring ist für die Dimensionen project, agent_pool und agent_id verfügbar.

Mit diesen Monitoring-Daten können Sie Benachrichtigungen einrichten, um über potenzielle Probleme bei der Übertragung informiert zu werden. Erstellen Sie dazu eine Benachrichtigung für einen der folgenden Google Cloud-Messwerte:

Messwertname Beschreibung Empfohlene Anwendungsmöglichkeiten
storagetransfer.googleapis.com/agent/transferred_bytes_count Gibt an, wie schnell ein bestimmter Agent Daten über alle von ihm bereitgestellten Jobs zu einem bestimmten Zeitpunkt verschiebt. Benachrichtigung bei Leistungsrückgängen.
storagetransfer.googleapis.com/agent/connected Ein boolescher Wert, der true ist, für jeden Agent, von dem Google Cloud eine aktuelle Heartbeat-Nachricht erhalten hat.
  • Benachrichtigung bei fehlgeschlagenen Agents
  • Die Anzahl erfolgreicher Agents unterschreitet einen Mindestwert, den Sie für eine angemessene Leistung als erforderlich erachten
  • Problem mit Agent-Rechnern melden

Agent beenden

Führen Sie zum Beenden eines Agents docker stop für die Docker-Container-ID des Agents aus. So finden Sie die ID und beenden den Agent:

  1. Rufen Sie in der Console die Seite Agent-Pools auf.

    Zu „Agent-Pools“

  2. Wählen Sie den Agent-Pool aus, der den zu beendenden Agent enthält.

  3. Wählen Sie einen Agent aus der Liste aus. Im Feld Filter können Sie nach Präfixen, Agent-Status, Agent-Alter und mehr suchen.

  4. Klicken Sie auf Agent beenden. Der Befehl docker stop mit der spezifischen Container-ID wird angezeigt.

  5. Führen Sie den Befehl auf dem Computer aus, auf dem der Agent ausgeführt wird. Ein erfolgreicher docker stop-Befehl gibt die Container-ID zurück.

Nach dem Beenden wird der Agent in der Liste der Agent-Pools als Nicht verbunden angezeigt.

Agent löschen

Um bestimmte Agents zu löschen, listen Sie auf, welche Agents auf Ihrem Computer ausgeführt werden:

docker container list --all --filter ancestor=gcr.io/cloud-ingest/tsop-agent

Übergeben Sie dann die Agent-IDs an transfer agents delete:

gcloud transfer agents delete --ids=id1,id2,…

Verwenden Sie zum Löschen aller Agents, die auf dem Computer ausgeführt werden, eines der Flags --all oder --uninstall. Beide Flags löschen alle Agents auf dem Computer. Das --uninstall-Flag deinstalliert zusätzlich das Agent-Docker-Image.

gcloud transfer agents delete --all
gcloud transfer agents delete --uninstall

Details zur Dateisystemübertragung

Inkrementelle Übertragungen

Der Storage Transfer Service beginnt mit allen Daten, die an der Quelle und am Ziel vorhanden sind, um festzustellen, welche Quelldateien seit der letzten Übertragung neu, aktualisiert oder gelöscht wurden. Dadurch soll die von Ihren Maschinen gesendete Datenmenge reduziert, die Bandbreite effektiv genutzt und die Übertragungszeiten reduziert werden.

Um festzustellen, ob sich eine Datei geändert hat, verwenden wir einen Algorithmus, der dem gsutil rsync ähnelt: Wir prüfen die letzte Änderung und Größe der Quelldatei und vergleicht sie mit dem Zeitpunkt und Größe der letzten Änderung, die aufgezeichnet wurden, als die Datei zuletzt kopiert wurde. Wird eine neue oder geänderte Datei erkannt, wird die gesamte Datei in das Ziel kopiert. Weitere Informationen zur Dateiaktualität finden Sie unter Details zur Datenkonsistenz.

Standardmäßig erkennen wir keine Dateien, die aus der Quelle gelöscht wurden, aber nicht darauf reagieren. Wenn Sie beim Erstellen oder Bearbeiten die Sync-Option Zieldateien löschen wählen, die sich nicht auch in der Quelle befinden, wird bei Ihrer Übertragung das entsprechende Objekt am Ziel gelöscht.

Wenn Sie die Synchronisierungsoption Zieldateien löschen, die nicht auch in der Quelle sind auswählen, werden Dateien, die versehentlich an der Quelle gelöscht wurden, auch am Ziel gelöscht. Wenn Sie verhindern möchten, dass Datenverluste versehentlich gelöscht werden, empfehlen wir, die Objektversionierung im Ziel-Bucket zu aktivieren, wenn Sie diese Option verwenden möchten. Wenn Sie dann versehentlich eine Datei löschen, können Sie Ihre Objekte in Cloud Storage in einer älteren Version wiederherstellen.

Details zur Datenkonsistenz

Bei einem erfolgreichen Übertragungsvorgang werden alle Quelldateien übertragen, die während der gesamten Ausführungszeit des Vorgangs nicht geändert wurden. Quelldateien, die während einer Übertragung erstellt, aktualisiert oder gelöscht wurden, können diese Änderungen im Zieldatensatz enthalten.

Storage Transfer Service ermittelt anhand der Zeit und Größe der letzten Änderung einer Datei, ob sie geändert wurde. Wenn eine Datei aktualisiert wird, ohne die Uhrzeit oder Größe der letzten Änderung zu ändern, und Sie die Option delete-objects-from-source aktivieren, können Daten durch diese Änderung verloren gehen.

Wenn Sie das Feature delete-objects-from-source verwenden, empfehlen wir dringend, Schreibvorgänge in die Quelle für die Dauer der Übertragung einzufrieren, um vor Datenverlust zu schützen.

Führen Sie einen der folgenden Schritte aus, um Schreibvorgänge in Ihrer Quelle zu fixieren:

  • Klonen Sie das Verzeichnis, das Sie übertragen möchten, und verwenden Sie dann das geklonte Verzeichnis als Übertragungsquelle.
  • Halten Sie Anwendungen an, die in das Quellverzeichnis schreiben.

Wenn es wichtig ist, während einer Übertragung vorgenommene Änderungen zu erfassen, können Sie die Übertragung noch einmal ausführen oder das Quelldateisystem während der Ausführung als schreibgeschützt festlegen.

Da Cloud Storage das Konzept von Verzeichnissen nicht kennt, werden leere Quellverzeichnisse nicht übertragen.