Fehlerbehebung bei lokalen Übertragungen

In diesem Dokument wird beschrieben, wie Sie Übertragungs- und Agent-Probleme beheben und wo Sie Agent-Logs finden, die Sie zur Fehlerbehebung verwenden können.

Übertragungsfehler in der Cloud Console beheben

In der folgenden Tabelle werden Übertragungsfehlermeldungen und deren Behebung beschrieben:

Fehlermeldung Fehlertyp Bedeutung des Fehlers Fehlerbehebung
Bei der Übertragung geändert FILE_MODIFIED_FAILURE Die Quelldatei wurde während des Uploads jedes Mal geändert, wenn Transfer Service for On Premises Data versucht hat, die Quelldatei hochzuladen. Unterbinden Sie Schreibvorgänge für die angegebene Datei während des nächsten Transfer Service for On Premises Data-Vorgangs.
Übertragung fehlgeschlagen PRECONDITION_FAILURE Das der Quelldatei zugeordnete Cloud Storage-Objekt wurde jedes Mal geändert, wenn Transfer Service for On Premises Data versucht hat, die Datei hochzuladen. Verwenden Sie beim Erstellen von Übertragungsjobs eindeutige Cloud Storage-Objektpräfixe, um zu verhindern, dass mehrere Übertragungsjobs dieselbe Datei in denselben Cloud Storage-Bucket schreiben.
Quellverzeichnis nicht gefunden SOURCE_DIR_NOT_FOUND Entweder ist der angegebene Quellpfad falsch oder der Pfad korrekt, aber nicht alle Agents haben Zugriff auf den Pfad. Prüfen Sie die Konfiguration des Übertragungsjobs auf Folgendes:
Datei nicht gefunden FILE_NOT_FOUND_FAILURE Die Quelldatei wurde gefunden, aber vor der Übertragung in Cloud Storage gelöscht. Wenn die Datei versehentlich gelöscht wurde, stellen Sie sie wieder her, damit sie beim nächsten Übertragungsjob hochgeladen werden kann.
Der Ziel-Bucket konnte nicht gefunden werden. BUCKET_NOT_FOUND Der Ziel-Bucket ist in Cloud Storage nicht vorhanden. Prüfen Sie, ob die Rechtschreibung des Ziel-Buckets korrekt und vorhanden ist.
Internes Metadatenobjekt konnte nicht gefunden werden. METADATA_OBJECT_NOT_FOUND_FAILURE Transfer Service for On Premises Data speichert Metadaten im Ziel-Bucket mit dem Präfix storage-transfer. Wenn die Metadatendateien vor Abschluss der zugehörigen Übertragungsvorgänge gelöscht werden, wird dieser Fehler angezeigt. Löschen Sie keine Objekte mit dem Präfix storage-transfer/ im Ziel-Bucket, bis alle Übertragungsjobs abgeschlossen sind.
Aufgrund eines ungültigen Dateinamens fehlgeschlagen INVALID_FILE_NAME Der Pfad einer Quelldatei ist ungültig. Prüfen und korrigieren Sie den angegebenen Dateipfad. Achten Sie darauf, dass der Pfad Zeichen verwendet, die von Cloud Storage unterstützt werden.
Aufgrund von Berechtigungen fehlgeschlagen PERMISSION_FAILURE Ein Agent hat nicht die erforderlichen Berechtigungen, um einen Vorgang auszuführen. Für diesen Fehler gibt es zwei Möglichkeiten:
  • Ein Agent hat nicht ausreichend Google Cloud-Berechtigungen.
  • Ein Agent konnte eine Datei oder ein Verzeichnis aufgrund unzureichender Berechtigungen für das Quelldateisystem nicht lesen.
Bestätigen Sie Folgendes:
  • Achten Sie darauf, dass Ihre Agents die folgenden IAM-Rollen haben:
    • roles/pubsub.editor
    • roles/storage.admin für alle Ziel-Buckets
    Jede dieser Rollen kann einem Dienstkonto zugewiesen werden, das von den Agents verwendet wird. Ein Nutzer mit diesen Rollen kann außerdem beim Installieren von Agents die Standardanmeldedaten verwenden.
  • Achten Sie darauf, dass alle Pfade im Quelldateisystem von jedem Agent gelesen werden können.
Das Objekt unterliegt der Aufbewahrungsrichtlinie des Buckets und kann nicht gelöscht, überschrieben oder archiviert werden. PERMISSION_FAILURE Der Bucket hat eine Aufbewahrungsrichtlinie und das Objekt ist bereits im Bucket vorhanden. Transfer Service for On-Premises Data kann vorhandene Objekte im Bucket nicht überschreiben. Dieser Fehler kann auftreten, wenn die Datei an der Quelle geändert wurde oder wenn Transfer Service for On-Premises Data das Hochladen aufgrund von Netzwerkbedingungen zweimal startet und der erste Upload erfolgreich war. Prüfen Sie, ob die Daten in Ihrem Cloud Storage-Bucket Ihren Erwartungen entsprechen. Sie können bestätigen, dass die Größe und die geänderte Zeit (mtime) der Quelldateien mit ihren Cloud Storage-Objektgegenstücken übereinstimmen. Führen Sie dazu den Job noch einmal aus und bestätigen Sie, dass keine Fehler vorliegen.
Der Dienst hat nicht genügend Berechtigungen. SERVICE_PERMISSION_FAILURE Transfer Service for On Premises Data hat nicht die erforderlichen Berechtigungen zum Ausführen eines Vorgangs. Transfer Service for On Premises Data verwendet das Dienstkonto cloud-ingest-dcp@cloud-ingest-prod.iam.gserviceaccount.com für den Zugriff auf Ressourcen. Prüfen Sie, ob das Dienstkonto die folgenden Rollen hat:
  • roles/pubsub.editor für das Projekt.
  • roles/storage.admin für alle Ziel-Buckets.
Der Agent wird nicht unterstützt. AGENT_UNSUPPORTED_VERSION Die Agent-Version ist nicht mehr mit Transfer Service for On Premises Data kompatibel. Dies ist ein vorübergehender Fehler, der sich auf ein fehlerhaftes Agent-Update bezieht. Gehen Sie in diesem Fall so vor:
  1. Beenden Sie alle Agents.
  2. Rufen Sie mit dem folgenden Befehl das neueste Docker-Image ab: sudo docker pull gcr.io/cloud-ingest/tsop-agent
  3. Führen Sie den Docker-Befehl run aus, um alle Agent-Container zu starten.
Falls das Problem weiterhin besteht, wenden Sie sich an Ihr Supportteam.
Aufgrund von nicht übereinstimmendem Hash fehlgeschlagen HASH_MISMATCH_FAILURE Jedes Mal, wenn Transfer Service for On Premises Data versuchte, diese Datei hochzuladen, waren die hochgeladenen Byte beschädigt. Dies führte dazu, dass der Hash der lokalen Datei nicht mit dem Hash des resultierenden Cloud Storage-Objekts übereinstimmte. Dieser Fehler kann durch eine Reihe möglicher Probleme verursacht werden. Wenn ein kleiner Prozentsatz der nicht übereinstimmenden Hash-Fehler (weniger als 1 %) bei einer großen Übertragung angezeigt wird, wiederholen Sie die fehlgeschlagenen Dateien. Wenn Sie einen hohen Prozentsatz an Hash-Übereinstimmungen (1 % oder höher) sehen, empfehlen wir, potenzielle Speicher-, CPU- oder andere Hardwarefehler auf dem Agent-Computer zu untersuchen.
Aufgrund eines nicht unterstützten Dateimodus fehlgeschlagen UNSUPPORTED_FILE_MODE Transfer Service for On Premises Data hat eine Datei mit einem nicht unterstützten Modus gefunden, z. B. ein Gerät, eine Socket-Datei, eine benannte Pipe oder eine irreguläre Datei. Entfernen Sie diese speziellen Dateitypen aus dem Quellverzeichnis.
Aufgrund eines Fehlers im Dateisystem fehlgeschlagen FILESYSTEM_ERROR Ein Agent hat beim Ausführen eines Dateisystemvorgangs wie Lesen, Suchen oder Statistik einen Dateisystem- oder Betriebssystemfehler festgestellt. Lesen Sie die Fehlerbeschreibung, um zu verstehen, welcher Dateisystemvorgang fehlgeschlagen ist. Sorgen Sie dafür, dass das Dateisystem für den lokalen Agent zugänglich ist und auf grundlegende Dateivorgänge reagiert werden kann.
Aufgrund eines unbekannten Fehlers fehlgeschlagen UNKNOWN_FAILURE Ein unerwarteter Fehler ist aufgetreten. Lesen Sie die Fehlerbeschreibung. Wenn die Fehlerbeschreibung nicht genügend Informationen enthält, um das Problem zu beheben, wenden Sie sich an den Support.
Fehler wegen ungültiger Spezifikation INVALID_SPEC Der Agent hat eine beschädigte interne Spezifikation empfangen. Prüfen Sie, ob Daten auf Agent-Hosts beschädigt sind. Falls nicht, wenden Sie sich an den Support.

Agent-Logs ansehen

Agent-Logs enthalten Informationen, die für Agent-Prozesse relevant sind, und helfen Ihnen bei der Behebung von Problemen mit der Agent-Verbindung. Wenn Ihre Agents in der Google Cloud Console als verbunden aufgeführt sind und Übertragungsfehler auftreten, beachten Sie unter Fehler ansehen das Beispiel für Übertragungsfehler. Informationen zum Aufrufen von Logs mit einem Datensatz aller Dateien, die von Storage Transfer Service während der Übertragung berücksichtigt wurden, finden Sie unter Übertragungslogs ansehen.

Agent-Logs werden standardmäßig in /tmp gespeichert. Sie können den Speicherort mit der --log-dir=logs-directory-Befehlszeile ändern.

Die Logs haben folgenden Namen:

agent.hostname.username.log.log-level.timestamp

Hierbei gilt:

  • hostname ist der Hostname, auf dem der Agent ausgeführt wird.
  • username ist der Nutzername, der den Agent ausführt.
  • log-level hat eine der folgenden Einstellungen:
    • INFO: Mitteilungen
    • ERROR: Es wurden Fehler während der Übertragung erkannt, aber der Übertragungsjob wird dennoch fortgesetzt.
    • FATAL: Es sind Fehler aufgetreten, die die Fortsetzung des Übertragungsjobs verhindern.
  • timestamp: Zeitstempel im Format YYYYMMDD-hhmmss.thread-id.

Das Logverzeichnis enthält Symlinks zu den neuesten Logs für jede der Prioritätsstufen:

  • agent.ERROR
  • agent.FATAL
  • agent.INFO

Fehlerbehebung bei Agent-Fehlern

In den folgenden Abschnitten wird die Behebung von Transfer for On Premises-Agent-Fehlern beschrieben:

Agents sind nicht verbunden

Wenn Transfer for On Premises-Agents nicht als verbunden in der Google Cloud Console angezeigt werden:

  1. Prüfen Sie, ob Agents eine Verbindung zu Cloud Storage APIs und Pub/Sub APIs herstellen können und keine Netzwerk- oder Authentifizierungsprobleme vorliegen:

    1. Führen Sie den folgenden Befehl auf demselben Computer wie der Übertragungs-Agent aus, um die Verbindung des Agents zu Cloud Storage APIs zu testen:

      gsutil cp test.txt gs://my-bucket

      Ersetzen Sie:

      my-bucket durch den Namen Ihres Cloud Storage-Buckets.

    2. Führen Sie den folgenden Befehl auf demselben Computer wie den Transfer-Agent aus, um die Verbindung des Agents zu Pub/Sub APIs zu testen:

      gcloud pubsub topics list --project=project-id

      Ersetzen Sie:

      project-id durch den Namen Ihres Google Cloud-Projekts.

  2. Wenn Ihr Projekt VPC Service Controls verwendet, prüfen Sie die Agent-Logs auf Fehler. Wenn VPC Service Controls falsch konfiguriert ist, enthalten die INFO-Agent-Logs folgenden Fehler:

    Request is prohibited by organization's policy. vpcServiceControlsUniqueIdentifier: id

    In dieser Ausgabe gilt:

Agents sind verbunden, aber Jobs schlagen fehl

Wenn Agents als verbunden angezeigt werden, aber Übertragungsjobs fehlschlagen, prüfen Sie die Fehlerdetails der fehlgeschlagenen Jobs.