Conferir os registros roteados para o Pub/Sub

Este documento explica como encontrar entradas de registro encaminhadas de o Cloud Logging nos tópicos do Pub/Sub, o que ocorre quase em tempo real. Recomendamos usar o Pub/Sub para integrar Registros do Cloud Logging com software de terceiros.

Quando você encaminha entradas de registro para um tópico do Pub/Sub, Geração de registros publica cada entrada de registro como uma mensagem do Pub/Sub assim que o Logging recebe essa entrada de registro. As entradas de registro roteadas geralmente estão disponíveis em segundos após a chegada ao Logging, com 99% das entradas disponíveis em menos de 60 segundos.

Antes de começar

Para conferir uma discussão conceitual sobre coletores, consulte Visão geral dos modelos de roteamento e armazenamento: coletores.

Para instruções sobre como rotear as entradas de registro, consulte Rotear registros para destinos compatíveis.

Ver registros

Para conferir os registros conforme eles são transmitidos pelo Pub/Sub, faça o seguinte:

  1. No console do Google Cloud, acesse a página Tópicos:

    Acesse Temas

    Se você usar a barra de pesquisa para encontrar essa página, selecione o resultado cujo subtítulo é Pub/Sub:

  2. Encontre ou crie uma assinatura no tópico usado no coletor de registros e extraia uma entrada delas. Talvez seja necessário aguardar a publicação de uma nova entrada de registro.

Organização de registros

O campo data de cada mensagem é um objeto LogEntry codificado em base64. Por exemplo, um assinante do Pub/Sub pode receber o seguinte objeto de um tópico que está recebendo entradas de registro. O objeto mostrado contém uma lista com uma única mensagem, embora o Pub/Sub possa retornar várias mensagens se várias entradas de registro estiverem disponíveis. O valor data (cerca de 600 caracteres) e o valor ackId (cerca de 200 caracteres) foram reduzidos para facilitar a leitura do exemplo:

{
 "receivedMessages": [
  {
   "ackId": "dR1JHlAbEGEIBERNK0EPKVgUWQYyODM...QlVWBwY9HFELH3cOAjYYFlcGICIjIg",
   "message": {
    "data": "eyJtZXRhZGF0YSI6eyJzZXZ0eSI6Il...Dk0OTU2G9nIjoiaGVsbG93b3JsZC5sb2cifQ==",
    "attributes": {
     "compute.googleapis.com/resource_type": "instance",
     "compute.googleapis.com/resource_id": "123456"
    },
    "messageId": "43913662360"
   }
  }
 ]
}

Ao decodificar o campo data e formatá-lo, você recebe o seguinte: Objeto LogEntry: 

{
  "log": "helloworld.log",
  "insertId": "2015-04-15|11:41:00.577447-07|10.52.166.198|-1694494956",
  "textPayload": "Wed Apr 15 20:40:51 CEST 2015 Hello, world!",
  "timestamp": "2015-04-15T18:40:56Z",
  "labels": {
    "compute.googleapis.com\/resource_type": "instance",
    "compute.googleapis.com\/resource_id": "123456"
  },
  "severity": "WARNING"
  }
}

Integração de terceiros ao Pub/Sub

Você encaminha as entradas de registro para um tópico do Pub/Sub. A terceira recebe suas entradas de registro assinando o mesmo tópico. O Logging oferece suporte à integração da geração de registros com terceiros, como como Splunk ou Datadog. Para uma lista atual de integrações, consulte Parceiros para integrações de observabilidade do Google Cloud.

Para realizar a integração, faça o seguinte:

  1. No projeto em que as entradas de registro são originadas, crie o tópico do Pub/Sub com uma assinatura padrão:

    1. Ative a API Pub/Sub.

      Enable the API

    2. No console do Google Cloud, acesse a página Tópicos:

      Acesse Tópicos

      Se você usar a barra de pesquisa para encontrar essa página, selecione o resultado cujo subtítulo é Pub/Sub:

    3. Selecione Criar tópico.

    4. No campo ID do tópico, insira um ID para o tópico. Por exemplo, projects/my-project-id/topics/my-pubsub-topic.

      Cada mensagem enviada para o tópico inclui o carimbo de data/hora da entrada de registro encaminhada nos attributes da mensagem do Pub/Sub. Por exemplo:

      "attributes": {
  "logging.googleapis.com/timestamp": "2024-07-01T00:00:00Z"
}

    5. Mantenha a opção Adicionar uma assinatura padrão. Não selecione nenhuma outra opção.

    6. Selecione Criar tópico.

  2. No projeto de origem das entradas de registro, configure Geração de registros para rotear entradas de registro para seu tópico:

    1. No console do Google Cloud, acesse a página Roteador de registros:

      Acessar o roteador de registros

      Se você usar a barra de pesquisa para encontrar essa página, selecione o resultado com o subtítulo Logging.

    2. Clique em Criar coletor, digite um nome e uma descrição para o coletor e clique em Próxima.
    3. No menu Serviço de coletor, selecione Tópico do Cloud Pub/Sub, selecione o tópico do Pub/Sub e clique em Próxima.
    4. Selecione as entradas de registro a serem incluídas no coletor e clique em Próximo.
    5. Opcional: selecione as entradas de registro que serão excluídas.

    6. Clique em Criar coletor.

      Uma caixa de diálogo com a mensagem Sink created será exibida. Essa mensagem indica que o coletor foi criado com êxito com permissões para encaminhar entradas de registro correspondentes futuras ao destino selecionado.

    7. Atribua o papel de Editor do Pub/Sub (roles/pubsub.publisher) com a identidade de gravador do coletor. Para mais informações sobre como conseguir a identidade do gravador e conceder um papel, consulte Definir permissões de destino.

    O Cloud Logging agora envia entradas de registro para seu tópico do Pub/Sub.

  3. Crie a assinatura.

    Por exemplo, se você usar o Dataflow para extrair os dados do seu tópico do Pub/Sub e enviá-los ao Datadog, será necessário realizar duas etapas:

    1. Crie ou adquira uma conta de serviço e depois conceda a ela o Papéis do IAM necessários para assinar o tópico. Em um No mínimo, a conta de serviço exige os seguintes papéis:

      Para mais informações, consulte estes documentos:

    2. Crie um job usando um modelo e execute-o. Para este exemplo, você usaria o método Modelo do Pub/Sub para o Datadog.

O terceiro começa a receber as entradas de registro de imediato.

Para uma análise de cenários comuns de roteamento de registros usando o Pub/Sub, consulte Cenários para exportar dados do Cloud Logging: Splunk.

Solução de problemas

Se as entradas de registro estiverem ausentes no destino do coletor ou se suspeitar que o coletor não esteja roteando as entradas de registro corretamente, Solução de problemas com registros de roteamento.

Preços

O Cloud Logging não cobra pelo encaminhamento de registros para um destino compatível. No entanto, o destino pode aplicar cobranças. Com exceção do bucket de registros _Required, O Cloud Logging cobra para transmitir registros para buckets de registros e para armazenamento maior que o período de armazenamento padrão do bucket de registros.

O Cloud Logging não cobra pela cópia de registros, pela definição de escopos de registro ou por consultas emitidas nas páginas Explorer de registros ou Análise de registros.

Para mais informações, consulte estes documentos: