Monitorar jobs de transferência

O Cloud Monitoring coleta e armazena automaticamente informações sobre os jobs do Serviço de transferência do Cloud Storage. Use o Cloud Monitoring para criar um gráfico e monitorar uma variedade de métricas.

  • O número de objetos e bytes encontrados
  • O número de objetos e bytes copiados
  • O número de objetos e bytes excluídos
  • O número de erros e os códigos de erro associados

O Cloud Monitoring é ativado automaticamente para o Serviço de transferência do Cloud Storage. Não há cobrança para coletar dados ou visualizar métricas no console do Google Cloud. Chamadas de API podem gerar cobranças. Consulte os preços do Cloud Monitoring para mais detalhes.

Papel do IAM obrigatório

É necessário ter o papel de Leitor do Monitoring (roles/monitoring.viewer) ou permissões equivalentes para visualizar as métricas no Cloud Monitoring.

Saiba como conceder um papel do IAM.

Ver métricas

As métricas do Cloud Monitoring estão disponíveis em dois locais no console do Google Cloud:

  • A página de detalhes do job do Serviço de transferência do Cloud Storage exibe métricas de um job de transferência do Compute Engine. Além das métricas listadas abaixo, ele calcula a largura de banda de cópias de bytes e taxa de objetos copiados.

  • A página do Cloud Monitoring pode exibir métricas para um único job de transferência, vários jobs ou todos os jobs em um projeto. Ele oferece várias opções de gráficos e personalizações.

Conferir as métricas na página de detalhes do job

Para conferir as métricas de um job específico:

  1. Acesse a página Transfer jobs no console do Google Cloud.

    Acessar "Jobs de transferência"

  2. Clique no job para conferir as métricas. A página "Detalhes da tarefa" é exibida.

  3. Clique na guia Monitoramento. O painel padrão é exibido.

Ver métricas no Cloud Monitoring

Para visualizar as métricas do Serviço de transferência do Cloud Storage no Cloud Monitoring, faça o seguinte:

  1. Acesse a página do Explorador de métricas no console do Google Cloud.

    Acesse o Monitoring: Metrics Explorer

  2. Siga as instruções em Criar gráficos com o Metrics Explorer para selecionar e exibir suas métricas.

Detalhes do recurso

Nome do recurso monitorado: storage_transfer_job

Campo do recurso/Campo de destino Recurso e campo REST usados para preencher o campo Descrição
project_id TransferJob.project_id O identificador do projeto associado a esse recurso
job_id TransferJob.name O nome globalmente exclusivo da transferência
local Sempre será definido como global, já que os jobs de transferência não estão associados a uma região ou local O local do job de transferência

Detalhes sobre métricas

Todas as métricas do Serviço de transferência do Cloud Storage são métricas delta. Elas medem a alteração desde o último registro da métrica. Por exemplo, as que medem contagens de solicitações são métricas delta. Cada valor registra quantas solicitações foram recebidas desde o registro do último ponto de dados.

Os dados são amostrados a cada 60 segundos. Após a amostragem, os dados ficam ocultos por até 180 segundos.

Todos os nomes de métricas começam com storagetransfer.googleapis.com/transferjob/. Por exemplo, storagetransfer.googleapis.com/transferjob/found_bytes_count.

Nome da métrica Identificadores Descrição
found_bytes_count
origin=[source | sink]

Número de bytes que estão programados para transferência ou exclusão, exceto aqueles que estão sendo filtrados com base em condições do objeto ou porque já existem no destino. Consulte TransferOptions para informações sobre como substituir dados no coletor.

Correspondente TransferCounters: bytesFoundFromSource, bytesFoundOnlyFromSink

found_objects_count
origin=[source | sink]

Número de objetos que estão programados para transferência ou exclusão, exceto aqueles que estão sendo filtrados com base nas condições do objeto ou ignorados devido à sincronização.

Correspondente TransferCounters: objectsFoundFromSource, objectsFoundOnlyFromSink

copied_bytes_count
status=[succeeded | skipped | failed]

Número de bytes copiados.

Correspondente TransferCounters: bytesCopiedToSink, bytesFromSourceSkippedBySync, bytesFromSourceFailed

O valor de copied_bytes_count com status succeeded nem sempre corresponde ao contador bytesCopiedToSink, porque a métrica também conta bytes copiados que foram descartados em caso de falha. Por exemplo, se o Serviço de transferência do Cloud Storage copiar 100 bytes de um objeto excluído no meio da transferência, os 100 bytes copiados serão registrados em copied_bytes_count com status succeeded. Os bytes completos do objeto também são registrados em copied_bytes_count com status failed.

copied_objects_count
status=[succeeded | skipped | failed]

Número de objetos copiados.

Correspondente TransferCounters: objectsCopiedToSink, objectsFromSourceSkippedBySync, objectsFromSourceFailed

deleted_bytes_count
origin=[source | sink]
status=[succeeded | failed]

Número de bytes excluídos. O Serviço de transferência do Cloud Storage pode ser configurado para excluir dados na origem e/ou no destino. Consulte TransferOptions para informações sobre a configuração do comportamento de exclusão.

Correspondente TransferCounters: bytesDeletedFromSource, bytesDeletedFromSink, bytesFromSourceFailed, bytesFailedToDeleteFromSink

Observação: esse contador é a soma de deleted_bytes_count:status=failed,origin=source e copied_bytes_count:status=failed.

deleted_objects_count
origin=[source | sink]
status=[succeeded | failed]

Número de objetos excluídos.

Correspondente TransferCounters: objectsDeletedFromSource, objectsDeletedFromSink, objectsFromSourceFailed, objectsFailedToDeleteFromSink

Observação: esse contador é a soma de deleted_objects_count:status=failed,origin=source e copied_objects_count:status=failed.

Contagem de erros
code=error code

O número de erros informados em ErrorSummary.