Log transfer sistem file

Dokumen ini menjelaskan format log transfer sistem file saat ini.

Catatan: Format log yang dijelaskan di halaman ini dapat berubah. Sebaiknya jangan menulis skrip, program, atau proses desain yang bergantung pada pengurutan, penamaan, atau keberadaan kolom atau nilai dalam log ini. Lihat halaman ini dan catatan rilis Storage Transfer Service untuk pembaruan format log.

Lihat log transfer

Transfer sistem file menghasilkan log transfer mendetail yang dapat Anda gunakan untuk memverifikasi hasil tugas transfer Anda. Setiap tugas menghasilkan kumpulan log transfer yang disimpan di bucket Cloud Storage transer: bucket sumber, bucket tujuan, atau bucket perantara, bergantung pada arah transfer.

Log dibuat saat tugas transfer berjalan. Log lengkap biasanya tersedia dalam waktu 15 menit setelah tugas selesai.

Penting: Siapa pun yang memiliki akses ke bucket Cloud Storage akan memiliki akses ke log transfer.

Melihat log di bucket Cloud Storage

Log transfer disimpan dalam bucket Cloud Storage transfer di jalur berikut:

bucket-name/storage-transfer/logs/transferJobs/job-name/transferOperations/operation-name

dengan:

• bucket-name adalah nama bucket Cloud Storage yang terlibat dalam transfer ini.
• job-name adalah nama pekerjaan, seperti yang ditampilkan dalam daftar tugas.
• operation-name adalah nama operasi transfer individual, yang terdiri sebagai stempel waktu IS08601 dan ID yang dihasilkan.

Log digabungkan dan disimpan sebagai objek. Setiap batch log diberi nama berdasarkan waktu pembuatannya. Contoh:

my bucket/storage-transfer/logs/transferOperations/job1/2019-10-19T10_52_56.519081644-07_00.log

Menjalankan kueri BigQuery di log transfer

Untuk menjalankan kueri BigQuery di log transfer Anda:

1. Muat data log CSV ke BigQuery.

2. Jalankan kueri BigQuery Anda.

Contoh kueri

Menampilkan jumlah file yang dicoba untuk ditransfer dan apakah file tersebut gagal atau berhasil

select ActionStatus, count(*) as num_files
from big-query-table
where Action="TRANSFER"
group by 1;

Dengan big-query-table adalah nama tabel BigQuery yang berisi log transfer.

Menampilkan semua file yang gagal ditransfer

select Src_File_Path
from big-query-table
where Action="TRANSFER" and ActionStatus="FAILED";

Dengan big-query-table adalah nama tabel BigQuery yang berisi log transfer.

Menampilkan checksum dan stempel waktu untuk setiap file yang berhasil ditransfer

select Timestamp, Action, ActionStatus, Src_File_Path, Src_File_Size,
Src_File_Crc32C, Dst_Gcs_BucketName, Dst_Gcs_ObjectName, Dst_Gcs_Size,
Dst_Gcs_Crc32C, Dst_Gcs_Md5
from big-query-table
where Action="TRANSFER" and ActionStatus="SUCCEEDED";

Dengan big-query-table adalah nama tabel BigQuery yang berisi log transfer.

Menampilkan semua informasi error untuk direktori yang gagal ditransfer

select FailureDetails_ErrorType, FailureDetails_GrpcCode, FailureDetails_Message
from big-query-table
where Action="FIND" and ActionStatus="FAILED";

Dengan big-query-table adalah nama tabel BigQuery yang berisi log transfer.

Deskripsi format

Log transfer sistem file disimpan dalam format nilai yang dipisahkan tab (TSV), dan berisi baris header dengan nama kolom. Urutan kolom yang ditampilkan umumnya stabil, tetapi tidak dijamin, dan harus disimpulkan dari baris header.

Setiap baris mewakili satu data log, yang merupakan pembaruan status pada bagian dari operasi transfer secara keseluruhan.

Catatan: Storage Transfer Service tidak mencatat entri log untuk file yang dilewati.

Tabel berikut menjelaskan kolom dalam file log:

Kolom log	Deskripsi
Stempel waktu	Stempel waktu yang sesuai dengan ISO 8601 saat kami merekam peristiwa.
Nama Operasi	Nama operasi yang sepenuhnya memenuhi syarat.
Tindakan	Menjelaskan tindakan tugas khusus ini. Salah satu dari berikut ini: FIND: Menemukan pekerjaan untuk dilakukan, seperti membuat daftar file secara lokal TRANSFER: Mentransfer file DELETE: Menghapus file di tujuan
ActionStatus	Status tingkat tinggi tindakan. Salah satu dari berikut ini: SUCCEEDED: Tindakan berhasil diselesaikan. FAILED: Tindakan gagal. Detail tambahan tentang kegagalan tersebut tersedia di kolom FailureDetails.
FailureDetails.ErrorType	String yang mewakili jenis error yang ditemukan. Misalnya, FILE_NOT_FOUND. Diisi hanya jika terjadi error.
FailureDetails.GrpcCode	Nilai string kode RPC Google. Misalnya, FAILED_PRECONDITION. Diisi hanya jika terjadi error.
FailureDetails.Message	Pesan error yang dapat dibaca manusia untuk kegagalan. Diisi hanya jika terjadi error.
Src.Type	String yang menjelaskan jenis sistem penyimpanan sumber. Lokasi ini selalu ON_PREM.
Src.File.Path	Jalur file lokal yang ditransfer.
Src.File.LastModified	Waktu modifikasi POSIX (mtime) untuk file lokal.
Src.FileSize	Ukuran file dalam byte.
Src.File.Crc32C	Checksum CRC32C dari isi file.
Dst.Type	String yang menjelaskan jenis sistem penyimpanan tujuan. Nilai ini selalu GCS.
Dst.Gcs.BucketName	Nama bucket Cloud Storage tujuan.
Dst.Gcs.ObjectName	Awalan objek untuk objek tujuan.
Dst.Gcs.LastModified	Waktu modifikasi POSIX (mtime) untuk objek tujuan.
Dst.Gcs.Size	Ukuran objek dalam byte.
Dst.Gcs.Crc23C	Checksum CRC32C konten objek.
Dst.Md5	Checksum MD5 objek akhir di Cloud Storage.

Contoh entri log

Berikut adalah contoh dari dua baris output log, yaitu header dan baris data:

Timestamp       OperationName   Action  ActionStatus    FailureDetails.ErrorType        FailureDetails.GrpcCode FailureDetails.Message     Src.Type        Src.File.Path   Src.File.LastModified   Src.File.Size   Src.File.Crc32C Dst.Type   Dst.Gcs.BucketName      Dst.Gcs.ObjectName      Dst.Gcs.LastModified    Dst.Gcs.Size    Dst.Gcs.Crc32C  Dst.Gcs.Md5
2019-10-18T21:06:17Z    transferOperations/agent-manual_transferJobs/OPI1494275376193533620_0000000001571432448     TRANSFER        SUCCEEDED                               ON_PREM_FILE    /mnt/disks/disk-1/directory1/file.txt      1561409931      406     3089075447      GCS_OBJECT      destination-gcs-bucket    file.txt  1571432776      406     3089075447      FDjya7dWbd0OrgnZ7g9ZJw==