Format von lokalem Übertragungslog

In diesem Dokument wird der aktuelle Übertragungsdienst für das lokale Datenübertragungslogformat beschrieben.

Formatbeschreibung

Der Übertragungsdienst für lokale Datenprotokolle wird im TSV-Format (Tabulatorgetrennte Werte) gespeichert und enthält eine Kopfzeile mit Feldnamen. Die Reihenfolge, in der die Felder angezeigt werden, ist im Allgemeinen stabil, aber nicht garantiert und muss aus der Kopfzeile abgeleitet werden.

Jede Zeile steht für einen einzelnen Logdatensatz, der Status einer Aktualisierung des gesamten Übertragungsvorgangs.

In der folgenden Tabelle werden die Felder in der Logdatei beschrieben:

Logfeld Beschreibung
Timestamp ISO 8601-konformer Zeitstempel, wenn wir das Ereignis erfassen.
Name des Vorgangs: Der vollständig qualifizierte Vorgangsname.
Aktion Beschreibt die Aktion dieser bestimmten Aufgabe. Beispiele:
  • FIND: Arbeit suchen, z. B. um lokale Dateien aufzulisten
  • TRANSFER: Dateien hochladen
  • DELETE: Dateien am Ziel löschen
ActionStatus Der übergeordnete Status der Aktion. Beispiele:
  • SUCCEEDED: Die Aktion wurde erfolgreich abgeschlossen.
  • FAILED: Die Aktion ist fehlgeschlagen. Weitere Einzelheiten zum Fehler finden Sie in den Feldern FailureDetails.
FailureDetails.ErrorType Ein String, der den aufgetretenen Fehlertyp darstellt. Beispiel: FILE_NOT_FOUND. Wird nur gefüllt, wenn ein Fehler aufgetreten ist.
FailureDetails.GrpcCode Ein Stringwert des Google-RPC-Codes. Beispiel: FAILED_PRECONDITION. Wird nur gefüllt, wenn ein Fehler aufgetreten ist.
FailureDetails.Message Eine für Menschen lesbare Fehlermeldung für den Fehler. Wird nur gefüllt, wenn ein Fehler aufgetreten ist.
Src.Type String, der den Speichersystemtyp der Quelle beschreibt. Dies ist immer ON_PREM.
Src.File.Path Pfad der übertragenen lokalen Datei.
Src.File.LastModified Die POSIX-Änderungszeit (mtime) der lokalen Datei.
Src.FileSize Die Dateigröße in Byte.
Src.File.Crc32C Die CRC32C-Prüfsumme des Dateiinhalts.
Dst.Type String, der den Typ des Zielspeichersystems beschreibt. Dies ist immer GCS.
Dst.Gcs.BucketName Der Name des Cloud Storage-Ziel-Buckets.
Dst.Gcs.ObjectName Das Objektpräfix für das Zielobjekt.
Dst.Gcs.LastModified Die POSIX-Zeitangabe des Zielobjekts (mtime) des Zielobjekts.
Dst.Gcs.Size Die Objektgröße in Byte.
Dst.Gcs.Crc23C Die CRC32C-Prüfsumme des Objektinhalts
Dst.Md5 Die MD5-Prüfsumme des letzten Objekts in Cloud Storage.

Beispiel für einen Logeintrag

Das folgende Beispiel zeigt zwei Zeilen der Logausgabe, den Header und eine Datenzeile:

Timestamp       OperationName   Action  ActionStatus    FailureDetails.ErrorType        FailureDetails.GrpcCode FailureDetails.Message     Src.Type        Src.File.Path   Src.File.LastModified   Src.File.Size   Src.File.Crc32C Dst.Type   Dst.Gcs.BucketName      Dst.Gcs.ObjectName      Dst.Gcs.LastModified    Dst.Gcs.Size    Dst.Gcs.Crc32C  Dst.Gcs.Md5
2019-10-18T21:06:17Z    transferOperations/agent-manual_transferJobs/OPI1494275376193533620_0000000001571432448     TRANSFER        SUCCEEDED                               ON_PREM_FILE    /mnt/disks/disk-1/directory1/file.txt      1561409931      406     3089075447      GCS_OBJECT      destination-gcs-bucket    file.txt  1571432776      406     3089075447      FDjya7dWbd0OrgnZ7g9ZJw==