ファイル システム転送ログ

このドキュメントでは、現在のファイル システムの転送ログの形式について説明します。

転送ログの表示

ファイル システム転送では、転送ジョブの結果を確認できる詳細な転送ログが生成されます。各ジョブは、転送方向に応じて、転送の Cloud Storage バケット（転送元バケット、転送先バケット、中間バケット）に保存される転送ログのコレクションを生成します。

ログは転送ジョブの実行中に生成されます。通常、完全なログがジョブの完了後 15 分以内に利用可能になります。

Cloud Storage バケットでログを表示する

転送ログは、転送の Cloud Storage バケット内の次のパスに保存されます。

bucket-name/storage-transfer/logs/transferJobs/job-name/transferOperations/operation-name

ここで

  • bucket-name は、この転送に関係する Cloud Storage バケットの名前です。
  • job-name は、ジョブリストに表示されるジョブ名です。
  • operation-name は個々の転送オペレーションの名前です。IS08601 タイムスタンプと生成された ID で構成されます。

ログは集計され、オブジェクトとして保存されます。ログの各バッチの名前には、作成時間が含まれます。例:

my bucket/storage-transfer/logs/transferOperations/job1/2019-10-19T10_52_56.519081644-07_00.log

転送ログに BigQuery クエリを実行する

転送ログに BigQuery クエリを実行するには:

  1. CSV ログデータを BigQuery に読み込みます。

  2. BigQuery クエリを実行します。

クエリの例

転送を試みたファイルの数と、失敗または成功したかどうかを表示する

select ActionStatus, count(*) as num_files
from big-query-table
where Action="TRANSFER"
group by 1;

big-query-table は、転送ログを含む BigQuery テーブルの名前です。

転送に失敗したすべてのファイルを表示する

select Src_File_Path
from big-query-table
where Action="TRANSFER" and ActionStatus="FAILED";

big-query-table は、転送ログを含む BigQuery テーブルの名前です。

正常に転送されたファイルのチェックサムとタイムスタンプを表示する

select Timestamp, Action, ActionStatus, Src_File_Path, Src_File_Size,
Src_File_Crc32C, Dst_Gcs_BucketName, Dst_Gcs_ObjectName, Dst_Gcs_Size,
Dst_Gcs_Crc32C, Dst_Gcs_Md5
from big-query-table
where Action="TRANSFER" and ActionStatus="SUCCEEDED";

big-query-table は、転送ログを含む BigQuery テーブルの名前です。

転送に失敗したディレクトリのエラー情報をすべて表示する

select FailureDetails_ErrorType, FailureDetails_GrpcCode, FailureDetails_Message
from big-query-table
where Action="FIND" and ActionStatus="FAILED";

big-query-table は、転送ログを含む BigQuery テーブルの名前です。

形式の説明

ファイル システム転送ログはタブ区切り（TSV）形式で保存されます。このファイルでは、フィールド名がヘッダー行になっています。通常、フィールドの表示順序は固定されていますが、常に一定とは限りません。ヘッダー行から順序を推測する必要があります。

各行が 1 つのログレコードを表します。各レコードは、転送オペレーションの中で発生したステータスの更新を表します。

次の表に、ログファイルのフィールドの説明を示します。

ログフィールド 説明
Timestamp イベントが記録された時間を表す ISO 8601 遵守のタイムスタンプ。
Operation Name 完全修飾のオペレーション名。
Action

このタスクの操作を表します。次のいずれかになります。

  • FIND: 検索操作（オンプレミスでファイルを一覧表示するなど）
  • TRANSFER: ファイルの転送
  • DELETE: 転送先でのファイルの削除
ActionStatus

操作のステータス。次のいずれかになります。

  • SUCCEEDED: 操作が正常に完了しました。
  • FAILED: 操作に失敗しました。失敗した操作の詳細は FailureDetails フィールドで確認できます。
FailureDetails.ErrorType 発生したエラーの種類を表す文字列。たとえば、FILE_NOT_FOUND。エラーが発生した場合にのみ設定されます。
FailureDetails.GrpcCode Google RPC コードの文字列値。たとえば、FAILED_PRECONDITION です。エラーが発生した場合にのみ設定されます。
FailureDetails.Message 失敗に関するエラー メッセージ。人が読める形式で提供されます。エラーが発生した場合にのみ設定されます。
Src.Type ソースのストレージ システムのタイプを表す文字列。これは常に ON_PREM です。
Src.File.Path 転送されたオンプレミス ファイルのパス。
Src.File.LastModified オンプレミス ファイルの POSIX 変更時刻（mtime）。
Src.FileSize バイト単位のファイルサイズ。
Src.File.Crc32C ファイルのコンテンツの CRC32C チェックサム。
Dst.Type 転送先のストレージ システムのタイプを表す文字列。これは常に GCS です。
Dst.Gcs.BucketName 転送先の Cloud Storage のバケット名。
Dst.Gcs.ObjectName 転送先オブジェクトのオブジェクト接頭辞。
Dst.Gcs.LastModified 転送先オブジェクトの POSIX 変更時刻（mtime）。
Dst.Gcs.Size オブジェクトのサイズ（バイト単位）。
Dst.Gcs.Crc23C オブジェクトのコンテンツの CRC32C チェックサム。
Dst.Md5 Cloud Storage の最終オブジェクトの MD5 チェックサム。

ログエントリの例

以下に、ヘッダーとデータ行の 2 行から構成されるログ出力の例を示します。

Timestamp       OperationName   Action  ActionStatus    FailureDetails.ErrorType        FailureDetails.GrpcCode FailureDetails.Message     Src.Type        Src.File.Path   Src.File.LastModified   Src.File.Size   Src.File.Crc32C Dst.Type   Dst.Gcs.BucketName      Dst.Gcs.ObjectName      Dst.Gcs.LastModified    Dst.Gcs.Size    Dst.Gcs.Crc32C  Dst.Gcs.Md5
2019-10-18T21:06:17Z    transferOperations/agent-manual_transferJobs/OPI1494275376193533620_0000000001571432448     TRANSFER        SUCCEEDED                               ON_PREM_FILE    /mnt/disks/disk-1/directory1/file.txt      1561409931      406     3089075447      GCS_OBJECT      destination-gcs-bucket    file.txt  1571432776      406     3089075447      FDjya7dWbd0OrgnZ7g9ZJw==