En este documento, se describe el formato de registro de transferencia del sistema de archivos actual.
Ve registros de transferencia
Las transferencias del sistema de archivos producen registros de transferencia detallados que puedes usar para verificar los resultados del trabajo de transferencia. Cada trabajo produce una colección de registros de transferencias que se almacenan en el bucket de Cloud Storage del transer: el bucket de origen, el bucket de destino o el bucket intermedio, según la dirección de transferencia.
Los registros se producen mientras se ejecuta el trabajo de transferencia. Por lo general, los registros completos están disponibles dentro de los 15 minutos posteriores a la finalización del trabajo.
Visualiza los registros en el bucket de Cloud Storage
Los registros de transferencia se almacenan en el bucket de Cloud Storage de la transferencia en la siguiente ruta:
bucket-name/storage-transfer/logs/transferJobs/job-name/transferOperations/operation-name
Donde:
bucket-name
es el nombre del bucket de Cloud Storage que participa en esta transferencia.job-name
es el nombre del trabajo, como se muestra en la lista de trabajos.operation-name
es el nombre de la operación de transferencia individual, que está compuesto por la marca de tiempo IS08601 y el ID generado.
Los registros se agregan y almacenan como objetos. Cada lote de registros se nombra por su tiempo de creación. Por ejemplo:
my
bucket/storage-transfer/logs/transferOperations/job1/2019-10-19T10_52_56.519081644-07_00.log
Ejecuta consultas de BigQuery en los registros de transferencia
Para ejecutar consultas de BigQuery en los registros de transferencia, haz lo siguiente:
Consultas de ejemplo
Muestra la cantidad de archivos que se intentaron transferir y si se transfirieron correctamente o no
select ActionStatus, count(*) as num_files from big-query-table where Action="TRANSFER" group by 1;
En el ejemplo anterior, big-query-table
es el nombre de la tabla de BigQuery que contiene el registro de transferencia.
Muestra todos los archivos que no se pudieron transferir
select Src_File_Path from big-query-table where Action="TRANSFER" and ActionStatus="FAILED";
En el ejemplo anterior, big-query-table
es el nombre de la tabla de BigQuery que contiene el registro de transferencia.
Muestra la suma de verificación y la marca de tiempo de cada archivo que se transfirió de forma correcta
select Timestamp, Action, ActionStatus, Src_File_Path, Src_File_Size, Src_File_Crc32C, Dst_Gcs_BucketName, Dst_Gcs_ObjectName, Dst_Gcs_Size, Dst_Gcs_Crc32C, Dst_Gcs_Md5 from big-query-table where Action="TRANSFER" and ActionStatus="SUCCEEDED";
En el ejemplo anterior, big-query-table
es el nombre de la tabla de BigQuery que contiene el registro de transferencia.
Muestra toda la información de error de los directorios que no se pudieron transferir
select FailureDetails_ErrorType, FailureDetails_GrpcCode, FailureDetails_Message from big-query-table where Action="FIND" and ActionStatus="FAILED";
En el ejemplo anterior, big-query-table
es el nombre de la tabla de BigQuery que contiene el registro de transferencia.
Descripción del formato
Los registros de transferencia del sistema de archivos se guardan en formato de valores separados por tabulaciones (TSV) y contienen una fila de encabezado con nombres de campo. El orden en que se muestran los campos suele ser estable, pero no está garantizado y debe inferirse desde la fila del encabezado.
Cada línea representa un solo registro, que es una actualización de estado en parte de la operación de transferencia general.
En la siguiente tabla, se describen los campos del archivo de registro:
Campo de registro | Descripción |
---|---|
Marca de tiempo | Marca de tiempo compatible con ISO 8601 cuando grabamos el evento. |
Nombre de la operación | El nombre completamente calificado de la operación. |
Acción | Describe la acción de esta tarea en particular. Uno de los siguientes:
|
ActionStatus | Es el estado general de la acción. Uno de los siguientes:
|
FailureDetails.ErrorType | Una string que representa el tipo de error encontrado. Por ejemplo, FILE_NOT_FOUND. Se propaga solo si se encontró un error. |
FailureDetails.GrpcCode | Es un valor de string del código RPC de Google. Por ejemplo, FAILED_PRECONDITION. Se propaga solo si se encontró un error. |
FailureDetails.Message | Un mensaje de error legible de la falla. Se propaga solo si se encontró un error. |
Src.Type | String que describe el tipo de sistema de almacenamiento de la fuente. Siempre es ON_PREM. |
Src.File.Path | Ruta de acceso al archivo de datos locales transferido. |
Src.File.LastModified | La hora de modificación (mtime) de POSIX del archivo local. |
Src.FileSize | El tamaño del archivo en bytes. |
Src.File.Crc32C | La suma de verificación CRC32C del contenido del archivo. |
Dst.Type | String que describe el tipo de sistema de almacenamiento de destino. Siempre es GCS . |
Dst.Gcs.BucketName | El nombre del bucket de destino de Cloud Storage. |
Dst.Gcs.ObjectName | Prefijo de objeto perteneciente al objeto de destino. |
Dst.Gcs.LastModified | La hora de modificación (mtime) de POSIX del objeto de destino. |
Dst.Gcs.Size | El tamaño del objeto en bytes. |
Dst.Gcs.Crc23C | La suma de verificación CRC32C del contenido del objeto. |
Dst.Md5 | La suma de verificación MD5 del objeto final en Cloud Storage |
Ejemplo de una entrada de registro
El siguiente es un ejemplo de dos líneas de resultados de registro, el encabezado y una línea de datos:
Timestamp OperationName Action ActionStatus FailureDetails.ErrorType FailureDetails.GrpcCode FailureDetails.Message Src.Type Src.File.Path Src.File.LastModified Src.File.Size Src.File.Crc32C Dst.Type Dst.Gcs.BucketName Dst.Gcs.ObjectName Dst.Gcs.LastModified Dst.Gcs.Size Dst.Gcs.Crc32C Dst.Gcs.Md5 2019-10-18T21:06:17Z transferOperations/agent-manual_transferJobs/OPI1494275376193533620_0000000001571432448 TRANSFER SUCCEEDED ON_PREM_FILE /mnt/disks/disk-1/directory1/file.txt 1561409931 406 3089075447 GCS_OBJECT destination-gcs-bucket file.txt 1571432776 406 3089075447 FDjya7dWbd0OrgnZ7g9ZJw==