Neste documento, explicamos como encontrar entradas de registro roteadas do Cloud Logging para buckets do Cloud Storage.
As entradas de registro são salvas em lotes a cada hora nos buckets do Cloud Storage. Pode ser necessário aguardar de duas a três horas até que as primeiras entradas comecem a aparecer.
Antes de começar
Para uma discussão conceitual sobre coletores, consulte Visão geral dos modelos de roteamento e armazenamento: coletores.
Para instruções sobre como rotear seus registros, consulte Rotear registros para destinos compatíveis.
Ver registros
Para visualizar seus registros roteados para o Cloud Storage, faça o seguinte:
-
No console do Google Cloud, acesse a página Buckets:
Se você usar a barra de pesquisa para encontrar essa página, selecione o resultado cujo subtítulo é Cloud Storage:
Selecione o bucket do Cloud Storage que você está usando como destino de roteamento.
Organização de registros
Ao encaminhar registros para um bucket do Cloud Storage, o Logging grava um conjunto de arquivos no bucket.
Eles são organizados em hierarquias de diretório por data e tipo de registro. O registro
conhecido como [LOG_ID] na referência LogEntry,
pode ser um nome simples como syslog ou um nome composto como
appengine.googleapis.com/request_log. Se esses registros fossem armazenados em um bucket
chamado my-gcs-bucket,
os diretórios seriam nomeados como no exemplo a seguir:
my-gcs-bucket/syslog/YYYY/MM/DD/
my-gcs-bucket/appengine.googleapis.com/request_log/YYYY/MM/DD/
Um único bucket do Cloud Storage pode conter registros de vários tipos de recursos. O tamanho máximo do arquivo é de 3,5 GiB.
O Logging não garante a eliminação de duplicação de entradas de registro de coletores que contêm consultas idênticas ou sobrepostas. As entradas de registro desses coletores podem ser gravadas várias vezes em um bucket do Cloud Storage.
Os diretórios de folha (DD/) contêm vários arquivos. Cada um deles contém as
entradas de registro encaminhadas para um período de tempo especificado no nome do arquivo. Os arquivos
são fragmentados e os nomes deles terminam em um número de fragmento,
Sn ou An (n=0, 1, 2
...). Por exemplo, estes são dois arquivos que podem ser armazenados no diretório
my-gcs-bucket/syslog/2015/01/13/:
08:00:00_08:59:59_S0.json 08:00:00_08:59:59_S1.json
Juntos, esses dois arquivos contêm as entradas de registro syslog de todas as instâncias durante a hora que começa às 08:00:00 UTC e termina às 8:59:59 UTC. Os carimbos de data/hora da entrada de registro são mostrados em UTC (Tempo Universal Coordenado).
As entradas de registro que chegam com um receiveTimestamp dentro da janela alinhada de 60 minutos de timestamp são gravadas nos arquivos de fragmento principal. Por exemplo, uma entrada de registro com timestamp de 08:00:00
e receiveTimestamp de 08:10:00 é armazenada no arquivo de fragmento principal.
Esses arquivos incluem um fragmento principal numerado no sufixo:
_Sn.json.
As entradas de registro que chegam com um timestamp em uma janela alinhada de 60 minutos diferente da receiveTimestamp são gravadas em arquivos de fragmento de adendo. Por exemplo, uma entrada de registro com timestamp de 08:00:00 e
receiveTimestamp de 09:10:00 é armazenada em um arquivo de fragmento de adendo.
Esses arquivos incluem um fragmento de adendo numerado com
o sufixo: _An:Unix_timestamp.json.
Por exemplo, uma entrada de registro que tem um timestamp entre 08:00:00 e 08:59:59, mas uma receiveTimestamp em uma janela alinhada de 60 minutos diferente é gravada em um arquivo. pelo sufixo _An:Unix_timestamp.json,
em que o carimbo de data/hora Unix identifica a hora em que o arquivo foi roteado para o
Cloud Storage. Se uma entrada de registro tiver um timestamp de
08:50:00 e um receiveTimestamp de 09:10:00 e for roteada às
09h15:00 de 25 de março de 2021, o arquivo do adendo será escrito da seguinte maneira:
08:00:00_08:59:59_A0:1616681700.json
Para conseguir todas as entradas de registro, você lerá todos os fragmentos para cada período de tempo. Neste caso, são os fragmentos do arquivo 0 e 1. O número de fragmentos de arquivo escritos podem mudar em cada período.
Nos arquivos fragmentados individuais, as entradas de registro são armazenadas como uma lista de objetos LogEntry. Para ver um exemplo de uma entrada syslog, consulte
Organização de entradas de registro.
A ordem de classificação das entradas de registro nos arquivos não é uniforme nem garantida de outra forma.
Entradas de registro atrasadas
As entradas de registro encaminhadas são salvas em lotes a cada hora nos buckets do Cloud Storage.
Pode ser necessário aguardar de duas a três horas até que as primeiras entradas comecem a aparecer. Os fragmentos do arquivo de registro encaminhado com o sufixo An
("Append") mantêm as entradas de registro que chegaram atrasadas.
Se o destino do encaminhamento sofrer uma interrupção, o Cloud Logging armazenará os dados em buffer até que a interrupção termine.
Se não houver registros no destino do coletor, verifique as métricas do sistema de exportação. As métricas do sistema de exportação indicam quantas entradas de registro são roteadas e quantas são descartadas devido a erros. Se as métricas do sistema de exportação indicarem que não entradas de registro foram roteadas para o destino, verifique seu filtro para verificar se as entradas de registro correspondentes ao filtro chegaram recentemente a geração de registros.
No console do Google Cloud, acesse a página Roteador de registros:
Acessar o roteador de registros
Se você usar a barra de pesquisa para encontrar essa página, selecione o resultado com o subtítulo Logging.
Entradas de registro do App Engine
Além disso, o App Engine combina várias subentradas do tipo
google.appengine.logging.v1.LogLine
(também chamadas de AppLog ou AppLogLine)
em uma entrada de registro principal do tipo
google.appengine.logging.v1.RequestLog
para a solicitação que causa a atividade de registro. Cada linha de registro tem um "código de solicitação" que identifica a entrada principal. O Explorador de registros exibe as linhas com a entrada de registro da solicitação. O Logging tenta colocar todas as linhas do registro no lote com a solicitação original, mesmo que elas sejam colocadas no próximo lote pelos carimbos de data/hora. Se isso não for possível, a entrada de registro da solicitação pode ficar sem algumas linhas de registro, e pode haver linhas de registro órfãs sem uma solicitação no próximo lote. Se essa possibilidade for importante para você, prepare-se para reconectar as partes da solicitação quando processar os registros.
Solução de problemas
Se faltarem registros no destino do coletor ou se você suspeitar se o coletor não está roteando corretamente os registros, consulte Solução de problemas com registros de roteamento.
Preços
O Cloud Logging não cobra pelo encaminhamento de registros para um destino compatível. No entanto, o destino pode aplicar cobranças.
Com exceção do bucket de registros _Required,
O Cloud Logging cobra para transmitir registros para buckets de registros e
para armazenamento maior que o período de armazenamento padrão do bucket de registros.
O Cloud Logging não cobra pela cópia de registros, pela definição de escopos de registro ou por consultas emitidas nas páginas Explorer de registros ou Análise de registros.
Para mais informações, consulte estes documentos:
- Resumo dos preços do Cloud Logging
Custos de destino:
- Cobranças da geração de registros de fluxo de VPC são aplicadas quando você envia e exclui os registros de fluxo da nuvem privada virtual do Cloud Logging.