Analisar o volume de registros com a Análise de dados de registros

Neste documento, descrevemos como usar a Análise de dados de registros para estimar o volume faturável das entradas de registro. É possível criar consultas que informam e agregam seu volume faturável por dimensões diferentes, como tipo de recurso ou nome do aplicativo, e, em seguida, traçar e exibir os resultados da consulta.

Como consultar o volume faturável

O volume faturável de uma entrada de registro, que é o tamanho informado ao Cloud Billing, está disponível no campo storage_bytes. Nas consultas, é possível usar o campo storage_bytes da mesma forma que você usa qualquer campo de esquema com o tipo de dados INTEGER. Por exemplo, é possível incluí-lo em cláusulas SELECT, em instruções CASE e em expressões de tabela comuns. Para mais informações sobre como consultar seus registros, consulte os seguintes documentos:

Como o Cloud Billing usa o volume faturável ao determinar os custos, é possível escrever consultas que ajudam a entender as origens dos custos. Por exemplo, é possível escrever consultas que ajudam a determinar quais aplicativos gravam a maioria das entradas de registro. Para saber como relacionar o volume faturável ao custo, consulte o resumo de preços do Cloud Logging e o preços do Cloud Logging.

O volume faturável de uma entrada de registro não é do tamanho do objeto LogEntry que foi enviado para a API Cloud Logging. O volume faturável inclui bytes necessários para serialização e metadados.

Antes de começar

  1. Para receber as permissões necessárias para usar a Análise de dados de registros a fim de executar consultas e visualizar registros, peça ao administrador para conceder a você os seguintes papéis do IAM no projeto:

    Para mais informações sobre como conceder papéis, consulte Gerenciar acesso.

    Também é possível receber as permissões necessárias com papéis personalizados ou outros papéis predefinidos.

  2. Para as visualizações de registro que você quer consultar, acesse a página Armazenamento de registros e verifique se os buckets que armazenam essas visualizações foram atualizados para usar a Análise de dados de registros. Se necessário, faça upgrade do bucket de registros.

    No console do Google Cloud, acesse a página Armazenamento de registros:

    Acessar o armazenamento de registros

    Se você usar a barra de pesquisa para encontrar essa página, selecione o resultado com o subtítulo Logging.

  3. Opcional: se você quiser consultar seus dados de registro usando um conjunto de dados do BigQuery, crie um conjunto de dados vinculado do BigQuery.

Amostras de consultas

Nesta seção, você verá exemplos de consultas que analisam dados em uma única visualização de registros. Se você armazenar dados em várias visualizações de registro e quiser calcular valores agregados para os dados armazenados nessas visualizações, precisará usar a instrução UNION.

Consulte a entrada de registro na página Análise de registros ou em qualquer lugar em que seja possível consultar conjuntos de dados do BigQuery, o que inclui as páginas do BigQuery Studio e do Looker Studio, e a ferramenta de linha de comando bq.

Para usar as consultas de amostra, faça o seguinte:

Consultar o volume de registros por app

Para calcular o total de bytes por dia, por app, para suas entradas de registro que foram gravadas em um recurso do Google Kubernetes Engine e que têm um payload JSON, use a seguinte consulta:

SELECT
  timestamp_trunc(timestamp,DAY) as day,
  JSON_VALUE(labels["k8s-pod/app"]) as app_id,
  SUM(storage_bytes) as total_bytes
FROM
  `TABLE`
WHERE
  json_payload IS NOT NULL
  AND resource.type="k8s_container"
GROUP BY ALL

Para visualizar os dados, você pode criar um gráfico. No exemplo a seguir, os dados são exibidos como um gráfico de barras empilhadas. Cada barra no gráfico exibe o número total de bytes armazenados, organizados por app. Neste exemplo, o app frontend está gerando a maioria dos dados de registro:

Exemplo de gráfico com os resultados da consulta do volume de registros por app.

Consultar o volume de registros por nome de registro

Para listar o número de bytes armazenados e o nome do registro de cada entrada de registro que tem um payload JSON e que foi gravada em um recurso do Google Kubernetes Engine, use a seguinte consulta:

SELECT
  log_id AS log_name,
  storage_bytes
FROM
  `TABLE`
WHERE
  json_payload IS NOT NULL
  AND resource.type="k8s_container"

A consulta anterior não agrega os resultados. Em vez disso, há uma linha para cada entrada de registro, que contém um nome de registro e o número de bytes armazenados. Se você criar um gráfico com esses dados, poderá visualizar a parte dos dados de registro que foi gravada em diferentes registros:

Exemplo de gráfico com os resultados da consulta de volume de registros por nome.

O gráfico anterior mostra que a maioria dos dados de registro é gravada no registro chamado stdout.

Use a ferramenta de linha de comando bq para consultar o volume de registros por nome

É possível incluir o campo storage_bytes nas consultas executadas na página do BigQuery Studio ou usando a ferramenta de linha de comando bq.

A consulta a seguir informa o nome do registro e o número de bytes armazenados para cada entrada de registro:

bq query --use_legacy_sql=false  'SELECT log_id as log_name,
  storage_bytes FROM `TABLE`'

O resultado dessa consulta será semelhante a este:

+----------+---------------+
| log_name | storage_bytes |
+----------+---------------+
| stdout   |           716 |
| stdout   |           699 |
| stdout   |           917 |
| stdout   |           704 |

Cada linha corresponde a uma entrada de registro. O valor da coluna storage_bytes é o volume faturável para essa entrada de registro.

Limitações

O campo storage_bytes estará disponível somente quando o seguinte for verdadeiro:

  • O bucket de registros é atualizado para usar a Análise de dados de registros.

  • A consulta é executada na página Análise de registros ou em qualquer lugar em que é possível consultar conjuntos de dados do BigQuery, o que inclui as páginas do BigQuery Studio e do Looker Studio e a ferramenta de linha de comando bq.

  • A entrada de registro foi gravada a partir de 1o de janeiro de 2024.