Registros de transferencia del sistema de archivos

En este documento, se describe el formato de registro de transferencia del sistema de archivos actual.

Nota: El formato de registro que se describe en esta página está sujeto a cambios. Te recomendamos que evites escribir secuencias de comandos, programas o procesos de diseño que dependan del orden, la denominación o la presencia de columnas o valores en este registro. Consulta esta página y las notas de la versión del Servicio de transferencia de almacenamiento para conocer las actualizaciones del formato de registro.

Ve registros de transferencia

Las transferencias del sistema de archivos producen registros de transferencia detallados que puedes usar para verificar los resultados del trabajo de transferencia. Cada trabajo produce una colección de registros de transferencias que se almacenan en el bucket de Cloud Storage de destino.

Los registros se producen mientras se ejecuta el trabajo de transferencia. Por lo general, los registros completos están disponibles dentro de los 15 minutos posteriores a la finalización del trabajo.

Importante: Cualquiera que tenga acceso al bucket de destino también tiene acceso a los registros de transferencia.

Ve los registros en el bucket de destino

Los registros de transferencia se almacenan en el bucket de destino en la siguiente ruta:

destination-bucket-name/storage-transfer/logs/transferJobs/job-name/transferOperations/operation-name

Donde:

• destination-bucket-name es el nombre del bucket de Cloud Storage de destino del trabajo.
• job-name es el nombre del trabajo, como se muestra en la lista de trabajos.
• operation-name es el nombre de la operación de transferencia individual, que está compuesto por la marca de tiempo IS08601 y el ID generado.

Los registros se agregan y almacenan como objetos. Cada lote de registros se nombra por su tiempo de creación. Por ejemplo:

my bucket/storage-transfer/logs/transferOperations/job1/2019-10-19T10_52_56.519081644-07_00.log

Ejecuta consultas de BigQuery en los registros de transferencia

Para ejecutar consultas de BigQuery en los registros de transferencia, haz lo siguiente:

1. Carga los datos de registro en formato CSV en BigQuery.

2. Ejecuta tu consulta de BigQuery.

Consultas de ejemplo

Muestra la cantidad de archivos que se intentaron transferir y si fallaron o no

select ActionStatus, count(*) as num_files
from big-query-table
where Action="TRANSFER"
group by 1;

En el ejemplo anterior, big-query-table es el nombre de la tabla de BigQuery que contiene el registro de transferencia.

Muestra todos los archivos que no se pudieron transferir

select Src_File_Path
from big-query-table
where Action="TRANSFER" and ActionStatus="FAILED";

En el ejemplo anterior, big-query-table es el nombre de la tabla de BigQuery que contiene el registro de transferencia.

Muestra la suma de verificación y la marca de tiempo de cada archivo que se transfirió de forma correcta

select Timestamp, Action, ActionStatus, Src_File_Path, Src_File_Size,
Src_File_Crc32C, Dst_Gcs_BucketName, Dst_Gcs_ObjectName, Dst_Gcs_Size,
Dst_Gcs_Crc32C, Dst_Gcs_Md5
from big-query-table
where Action="TRANSFER" and ActionStatus="SUCCEEDED";

En el ejemplo anterior, big-query-table es el nombre de la tabla de BigQuery que contiene el registro de transferencia.

Muestra toda la información de error de los directorios que no se pudieron transferir

select FailureDetails_ErrorType, FailureDetails_GrpcCode, FailureDetails_Message
from big-query-table
where Action="FIND" and ActionStatus="FAILED";

En el ejemplo anterior, big-query-table es el nombre de la tabla de BigQuery que contiene el registro de transferencia.

Descripción del formato

Los registros de transferencia del sistema de archivos se guardan en formato de valores separados por tabulaciones (TSV) y contienen una fila de encabezado con nombres de campo. El orden en que se muestran los campos suele ser estable, pero no está garantizado y debe inferirse desde la fila del encabezado.

Cada línea representa un solo registro, que es una actualización de estado en parte de la operación de transferencia general.

Nota: El Servicio de transferencia de almacenamiento no registra entradas de registro para archivos omitidos.

En la siguiente tabla, se describen los campos del archivo de registro:

Campo de registro	Descripción
Marca de tiempo	Es una marca de tiempo que cumple con la norma ISO 8601 cuando grabamos el evento.
Nombre de la operación	El nombre completamente calificado de la operación.
Acción	Describe la acción de esta tarea en particular. Uno de los siguientes: FIND: buscar trabajo para hacer, como enumerar archivos locales TRANSFER: subir archivos DELETE: eliminar archivos en el destino
ActionStatus	Es el estado general de la acción. Uno de los siguientes: SUCCEEDED: la acción se completó correctamente. FAILED: No se pudo realizar la acción. Puedes encontrar más información sobre la falla en los campos de FailureDetails.
FailureDetails.ErrorType	Una string que representa el tipo de error encontrado. Por ejemplo, FILE_NOT_FOUND. Se propaga solo si se encontró un error.
FailureDetails.GrpcCode	Es un valor de string del código RPC de Google. Por ejemplo, FAILED_PRECONDITION. Se propaga solo si se encontró un error.
FailureDetails.Message	Un mensaje de error legible de la falla. Se propaga solo si se encontró un error.
Src.Type	String que describe el tipo de sistema de almacenamiento de la fuente. Siempre es ON_PREM.
Src.File.Path	Ruta de acceso al archivo de datos locales transferido.
Src.File.LastModified	La hora de modificación (mtime) de POSIX del archivo local.
Src.FileSize	El tamaño del archivo en bytes.
Src.File.Crc32C	La suma de verificación CRC32C del contenido del archivo.
Dst.Type	String que describe el tipo de sistema de almacenamiento de destino. Siempre es GCS.
Dst.Gcs.BucketName	El nombre del bucket de destino de Cloud Storage.
Dst.Gcs.ObjectName	Prefijo de objeto perteneciente al objeto de destino.
Dst.Gcs.LastModified	La hora de modificación (mtime) de POSIX del objeto de destino.
Dst.Gcs.Size	El tamaño del objeto en bytes.
Dst.Gcs.Crc23C	La suma de verificación CRC32C del contenido del objeto.
Dst.Md5	La suma de verificación MD5 del objeto final en Cloud Storage

Ejemplo de una entrada de registro

El siguiente es un ejemplo de dos líneas de resultados de registro, el encabezado y una línea de datos:

Timestamp       OperationName   Action  ActionStatus    FailureDetails.ErrorType        FailureDetails.GrpcCode FailureDetails.Message     Src.Type        Src.File.Path   Src.File.LastModified   Src.File.Size   Src.File.Crc32C Dst.Type   Dst.Gcs.BucketName      Dst.Gcs.ObjectName      Dst.Gcs.LastModified    Dst.Gcs.Size    Dst.Gcs.Crc32C  Dst.Gcs.Md5
2019-10-18T21:06:17Z    transferOperations/agent-manual_transferJobs/OPI1494275376193533620_0000000001571432448     TRANSFER        SUCCEEDED                               ON_PREM_FILE    /mnt/disks/disk-1/directory1/file.txt      1561409931      406     3089075447      GCS_OBJECT      destination-gcs-bucket    file.txt  1571432776      406     3089075447      FDjya7dWbd0OrgnZ7g9ZJw==