Log transfer sistem file

Dokumen ini menjelaskan format log transfer sistem file saat ini.

Catatan: Format log yang dijelaskan di halaman ini dapat berubah sewaktu-waktu. Sebaiknya hindari menulis skrip, program, atau proses desain yang bergantung pada urutan, penamaan, atau keberadaan kolom atau nilai dalam log ini. Lihat halaman ini dan catatan rilis Storage Transfer Service untuk mengetahui update pada format log.

Melihat log transfer

Transfer sistem file menghasilkan log transfer mendetail yang dapat Anda gunakan untuk memverifikasi hasil tugas transfer. Setiap tugas menghasilkan kumpulan log transfer yang disimpan di bucket Cloud Storage transfer: bucket sumber, bucket tujuan, atau bucket perantara, bergantung pada arah transfer.

Log dibuat saat tugas transfer berjalan. Log lengkap biasanya tersedia dalam waktu 15 menit setelah tugas selesai.

Penting: Siapa pun yang memiliki akses ke bucket Cloud Storage memiliki akses ke log transfer.

Melihat log di bucket Cloud Storage

Log transfer disimpan di bucket Cloud Storage transfer di jalur berikut:

bucket-name/storage-transfer/logs/transferJobs/job-name/transferOperations/operation-name

dengan:

• bucket-name adalah nama bucket Cloud Storage yang terlibat dalam transfer ini.
• job-name adalah nama tugas, seperti yang ditampilkan di daftar tugas.
• operation-name adalah nama setiap operasi transfer, yang terdiri dari stempel waktu IS08601 dan ID yang dihasilkan.

Log digabungkan dan disimpan sebagai objek. Setiap batch log diberi nama berdasarkan waktu pembuatannya. Contoh:

my bucket/storage-transfer/logs/transferOperations/job1/2019-10-19T10_52_56.519081644-07_00.log

Menjalankan kueri BigQuery pada log transfer

Untuk menjalankan kueri BigQuery pada log transfer:

1. Muat data log CSV ke BigQuery.

2. Jalankan kueri BigQuery.

Contoh kueri

Menampilkan jumlah file yang mencoba transfer dan apakah file tersebut gagal atau berhasil

select ActionStatus, count(*) as num_files
from big-query-table
where Action="TRANSFER"
group by 1;

Dengan big-query-table adalah nama tabel BigQuery yang berisi log transfer.

Menampilkan semua file yang gagal ditransfer

select Src_File_Path
from big-query-table
where Action="TRANSFER" and ActionStatus="FAILED";

Dengan big-query-table adalah nama tabel BigQuery yang berisi log transfer.

Menampilkan checksum dan stempel waktu untuk setiap file yang berhasil ditransfer

select Timestamp, Action, ActionStatus, Src_File_Path, Src_File_Size,
Src_File_Crc32C, Dst_Gcs_BucketName, Dst_Gcs_ObjectName, Dst_Gcs_Size,
Dst_Gcs_Crc32C, Dst_Gcs_Md5
from big-query-table
where Action="TRANSFER" and ActionStatus="SUCCEEDED";

Dengan big-query-table adalah nama tabel BigQuery yang berisi log transfer.

Menampilkan semua informasi error untuk direktori yang gagal ditransfer

select FailureDetails_ErrorType, FailureDetails_GrpcCode, FailureDetails_Message
from big-query-table
where Action="FIND" and ActionStatus="FAILED";

Dengan big-query-table adalah nama tabel BigQuery yang berisi log transfer.

Deskripsi format

Log transfer sistem file disimpan dalam format nilai yang dipisahkan tab (TSV), dan berisi baris header dengan nama kolom. Urutan kolom yang ditampilkan umumnya stabil, tetapi tidak dijamin, dan harus disimpulkan dari baris header.

Setiap baris mewakili satu data log, yaitu pembaruan status pada bagian operasi transfer secara keseluruhan.

Catatan: Storage Transfer Service tidak mencatat entri log untuk file yang dilewati.

Tabel berikut menjelaskan kolom dalam file log:

Kolom log	Deskripsi
Stempel waktu	Stempel waktu yang mematuhi ISO 8601 saat kami merekam peristiwa.
Nama Operasi	Nama operasi yang sepenuhnya memenuhi syarat.
Tindakan	Menjelaskan tindakan tugas tertentu ini. Salah satu dari berikut ini: FIND: Menemukan pekerjaan yang harus dilakukan, seperti membuat daftar file di lokal TRANSFER: Mentransfer file DELETE: Menghapus file di tujuan
ActionStatus	Status tingkat tinggi tindakan. Salah satu dari berikut ini: BERHASIL: Tindakan berhasil diselesaikan. GAGAL: Tindakan gagal. Detail tambahan tentang kegagalan ada di kolom FailureDetails.
FailureDetails.ErrorType	String yang mewakili jenis error yang ditemukan. Misalnya, FILE_NOT_FOUND. Hanya diisi jika terjadi error.
FailureDetails.GrpcCode	Nilai string kode RPC Google. Misalnya, FAILED_PRECONDITION. Hanya diisi jika terjadi error.
FailureDetails.Message	Pesan error yang dapat dibaca manusia untuk kegagalan. Hanya diisi jika terjadi error.
Src.Type	String yang menjelaskan jenis sistem penyimpanan sumber. Nilai ini selalu ON_PREM.
Src.File.Path	Jalur file lokal yang ditransfer.
Src.File.LastModified	Waktu modifikasi POSIX (mtime) file lokal.
Src.FileSize	Ukuran file dalam byte.
Src.File.Crc32C	Checksum CRC32C dari konten file.
Dst.Type	String yang menjelaskan jenis sistem penyimpanan tujuan. Nilai ini selalu GCS.
Dst.Gcs.BucketName	Nama bucket Cloud Storage tujuan.
Dst.Gcs.ObjectName	Awalan objek untuk objek tujuan.
Dst.Gcs.LastModified	Waktu yang diubah POSIX (mtime) dari objek tujuan.
Dst.Gcs.Size	Ukuran objek dalam byte.
Dst.Gcs.Crc23C	Checksum CRC32C dari konten objek.
Dst.Md5	Checksum MD5 objek akhir di Cloud Storage.

Contoh entri log

Berikut adalah contoh dua baris output log, header, dan baris data:

Timestamp       OperationName   Action  ActionStatus    FailureDetails.ErrorType        FailureDetails.GrpcCode FailureDetails.Message     Src.Type        Src.File.Path   Src.File.LastModified   Src.File.Size   Src.File.Crc32C Dst.Type   Dst.Gcs.BucketName      Dst.Gcs.ObjectName      Dst.Gcs.LastModified    Dst.Gcs.Size    Dst.Gcs.Crc32C  Dst.Gcs.Md5
2019-10-18T21:06:17Z    transferOperations/agent-manual_transferJobs/OPI1494275376193533620_0000000001571432448     TRANSFER        SUCCEEDED                               ON_PREM_FILE    /mnt/disks/disk-1/directory1/file.txt      1561409931      406     3089075447      GCS_OBJECT      destination-gcs-bucket    file.txt  1571432776      406     3089075447      FDjya7dWbd0OrgnZ7g9ZJw==