Este documento explica como encontrar entradas de registro encaminhadas de o Cloud Logging nos tópicos do Pub/Sub, o que ocorre quase em tempo real. Recomendamos usar o Pub/Sub para integrar Registros do Cloud Logging com software de terceiros.
Quando você encaminha entradas de registro para um tópico do Pub/Sub, Geração de registros publica cada entrada de registro como uma mensagem do Pub/Sub assim que o Logging recebe essa entrada de registro. As entradas de registro roteadas geralmente estão disponíveis em segundos após a chegada ao Logging, com 99% das entradas disponíveis em menos de 60 segundos.
Antes de começar
Para conferir uma discussão conceitual sobre coletores, consulte Visão geral dos modelos de roteamento e armazenamento: coletores.
Para instruções sobre como rotear suas entradas de registro, consulte Rotear registros para destinos compatíveis.
Ver registros
Para conferir os registros transmitidos por streaming pelo Pub/Sub, faça o seguinte:
-
No console do Google Cloud, acesse a página Tópicos:
Se você usar a barra de pesquisa para encontrar essa página, selecione o resultado cujo subtítulo é Pub/Sub:
Encontre ou crie uma assinatura no tópico usado no coletor de registros e extraia uma entrada delas. Talvez seja necessário aguardar a publicação de uma nova entrada de registro.
Organização de registros
O campo data
de cada mensagem é um objeto LogEntry
codificado em base64.
Por exemplo, um assinante do Pub/Sub pode receber o seguinte objeto de um tópico que está recebendo entradas de registro.
O objeto mostrado contém uma lista com uma única mensagem, embora o Pub/Sub possa retornar várias mensagens se várias entradas de registro estiverem disponíveis.
O valor data
(cerca de 600 caracteres) e o valor ackId
(cerca de 200 caracteres) foram reduzidos para facilitar a leitura do exemplo:
{ "receivedMessages": [ { "ackId": "dR1JHlAbEGEIBERNK0EPKVgUWQYyODM...QlVWBwY9HFELH3cOAjYYFlcGICIjIg", "message": { "data": "eyJtZXRhZGF0YSI6eyJzZXZ0eSI6Il...Dk0OTU2G9nIjoiaGVsbG93b3JsZC5sb2cifQ==", "attributes": { "compute.googleapis.com/resource_type": "instance", "compute.googleapis.com/resource_id": "123456" }, "messageId": "43913662360" } } ] }
Ao decodificar o campo data
e formatá-lo, você recebe o seguinte:
Objeto LogEntry
:
{ "log": "helloworld.log", "insertId": "2015-04-15|11:41:00.577447-07|10.52.166.198|-1694494956", "textPayload": "Wed Apr 15 20:40:51 CEST 2015 Hello, world!", "timestamp": "2015-04-15T18:40:56Z", "labels": { "compute.googleapis.com\/resource_type": "instance", "compute.googleapis.com\/resource_id": "123456" }, "severity": "WARNING" } }
Integração de terceiros ao Pub/Sub
Você encaminha as entradas de registro para um tópico do Pub/Sub. A terceira recebe suas entradas de registro assinando o mesmo tópico. O Logging oferece suporte à integração da geração de registros com terceiros, como como Splunk ou Datadog. Para uma lista atual de integrações, consulte Parceiros para integrações de observabilidade do Google Cloud.
Para realizar a integração, faça o seguinte:
No projeto de origem das entradas de registro, crie um tópico do Pub/Sub assinatura padrão:
Ative a API Pub/Sub.
-
No console do Google Cloud, acesse a página Topics:
Se você usar a barra de pesquisa para encontrar essa página, selecione o resultado cujo subtítulo é Pub/Sub:
Selecione Criar tópico.
No campo Código do tópico, insira um código para o tópico. Por exemplo,
projects/my-project-id/topics/my-pubsub-topic
.Cada mensagem enviada para o tópico inclui o carimbo de data/hora da entrada de registro encaminhada nos
attributes
da mensagem do Pub/Sub. Por exemplo:"attributes": { "logging.googleapis.com/timestamp": "2024-07-01T00:00:00Z" }
Mantenha a opção Adicionar uma assinatura padrão. Não selecione nenhum outro é a melhor opção.
Selecione Criar tópico.
No projeto de origem das entradas de registro, configure Geração de registros para rotear entradas de registro para seu tópico:
-
No console do Google Cloud, acesse a página Roteador de registros:
Acessar o roteador de registros
Se você usar a barra de pesquisa para encontrar essa página, selecione o resultado com o subtítulo Logging.
- Clique em Criar coletor. insira um nome e uma descrição para o coletor e clique em Próxima.
- No menu Serviço de coletor, selecione Tópico do Cloud Pub/Sub, selecione o tópico do Pub/Sub e clique em Próxima.
- Selecione as entradas de registro a serem incluídas no coletor e clique em Próximo.
- Opcional: selecione as entradas de registro que serão excluídas.
Clique em Criar coletor.
Uma caixa de diálogo com a mensagem Sink created será exibida. Essa mensagem indica que o coletor foi criado com êxito com permissões para encaminhar entradas de registro correspondentes futuras ao destino selecionado.
Atribua o papel de Editor do Pub/Sub (
roles/pubsub.publisher
) com a identidade de gravador do coletor. Para mais informações sobre como conseguir a identidade do gravador e conceder um papel, consulte Definir permissões de destino.
O Cloud Logging agora envia entradas de registro para seu tópico do Pub/Sub.
-
Crie a assinatura.
Por exemplo, se você usar o Dataflow para extrair os dados do seu tópico do Pub/Sub e enviá-los para Datadog, você precisa executar duas etapas:
Crie ou adquira uma conta de serviço e depois conceda a ela o Papéis do IAM necessários para assinar o tópico. Em um No mínimo, a conta de serviço exige os seguintes papéis:
- Assinante do Pub/Sub (
roles/pubsub.subscriber
) - Administrador do Dataflow (
roles/dataflow.admin
) - Worker do Dataflow (
roles/dataflow.worker
)
Para mais informações, consulte estes documentos:
- Assinante do Pub/Sub (
Criar um job com base em um modelo e executá-lo. Para este exemplo, você usaria o método Modelo do Pub/Sub para o Datadog.
O terceiro começa a receber as entradas de registro de imediato.
Para uma análise detalhada de cenários comuns de roteamento de registros usando Pub/Sub, consulte Cenários para exportar dados do Cloud Logging: Splunk.
Solução de problemas
Se as entradas de registro estiverem ausentes no destino do coletor ou se suspeitar que o coletor não esteja roteando as entradas de registro corretamente, Solução de problemas com registros de roteamento.
Preços
O Cloud Logging não cobra pelo roteamento de registros para um
destino com suporte No entanto, o destino pode aplicar cobranças.
Com exceção do bucket de registro _Required
,
o Cloud Logging cobra para transmitir registros em buckets de registro e
para armazenamento por mais tempo do que o período de retenção padrão do bucket de registro.
O Cloud Logging não cobra pela cópia de registros, para definir escopos de registro; ou consultas emitidas pela páginas Análise de registros ou Análise de registros.
Para mais informações, consulte estes documentos:
- Resumo dos preços do Cloud Logging
Custos de destino:
- Cobranças da geração de registros de fluxo de VPC são aplicadas quando você envia e exclui os registros de fluxo da nuvem privada virtual do Cloud Logging.