Neste documento, descrevemos como usar a Análise de registros para estimar o volume faturável das entradas de registro. É possível escrever consultas que geram relatórios e agregam seu volume faturável por diferentes dimensões, como tipo de recurso ou nome do aplicativo, e depois criar gráficos e visualizar os resultados da consulta.
Como consultar o volume faturável
O volume faturável de uma entrada de registro, que é o tamanho informado ao Cloud Billing, está disponível no campo storage_bytes
.
Nas consultas, você pode usar o campo storage_bytes
da mesma forma que usa qualquer campo de esquema cujo tipo de dados seja INTEGER
.
Por exemplo, é possível incluir em cláusulas SELECT
, em
instruções CASE
e em expressões de tabela comuns.
Para mais informações sobre como consultar seus registros, consulte os seguintes documentos:
Como o Cloud Billing usa o volume faturável ao determinar seus custos, você pode escrever consultas que ajudam a entender as fontes de custos. Por exemplo, é possível escrever consultas que ajudam a determinar quais aplicativos estão gravando mais entradas de registro. Para saber como relacionar o volume faturável ao custo, consulte as seções do Cloud Logging na página Preços do Google Cloud Observability.
O volume faturável de uma entrada de registro não é o tamanho do objeto LogEntry
enviado à API Cloud Logging. O volume faturável inclui bytes necessários para serialização e metadados.
Antes de começar
Nesta seção, descrevemos as etapas que você precisa concluir antes de usar a análise de registros.
configurar buckets de registros
Confirme se os buckets de registros foram atualizados para usar a Análise de registros:
-
No console Google Cloud , acesse a página Armazenamento de registros:
Acessar o armazenamento de registros
Se você usar a barra de pesquisa para encontrar essa página, selecione o resultado com o subtítulo Logging.
- Para cada bucket de registros com uma visualização que você quer consultar, verifique se a coluna Análise de Dados de Registros disponível mostra Abrir. Se a opção Fazer upgrade aparecer, clique nela e conclua a caixa de diálogo.
Configurar permissões e papéis do IAM
Nesta seção, descrevemos os papéis ou as permissões do IAM necessários para usar a análise de registros:
-
Para receber as permissões necessárias para usar a Análise de registros e consultar visualizações de registros, peça ao administrador para conceder a você os seguintes papéis do IAM no projeto:
-
Para consultar os buckets de registros
_Required
e_Default
: Visualizador de registros (roles/logging.viewer
) -
Para consultar todas as visualizações de registros em um projeto:
Acessador de visualização de registros (
roles/logging.viewAccessor
)
É possível restringir um principal a uma visualização de registros específica adicionando uma condição do IAM à concessão de papel de leitor de acesso à visualização de registros feita no nível do projeto ou adicionando uma vinculação do IAM ao arquivo de política da visualização de registros. Para mais informações, consulte Controlar o acesso a uma visualização de registro.
Essas são as mesmas permissões necessárias para visualizar entradas de registro na página Análise de registros. Para informações sobre outros papéis necessários para consultar visualizações em buckets definidos pelo usuário ou para consultar a visualização
_AllLogs
do bucket de registros_Default
, consulte Papéis do Cloud Logging. -
Para consultar os buckets de registros
-
Para receber as permissões necessárias para consultar visualizações de análise, peça ao administrador para conceder a você o papel Usuário da análise de observabilidade (
roles/observability.analyticsUser
) do IAM no seu projeto.
Amostras de consultas
Esta seção fornece exemplos de consultas que analisam dados de uma única visualização de registros.
Se você armazena dados em várias visualizações de registros e quer calcular valores agregados para os dados armazenados nessas visualizações, use a instrução UNION
.
É possível consultar a entrada de registro usando a página Análise de registros ou em qualquer lugar em que seja possível consultar conjuntos de dados do BigQuery, incluindo as páginas BigQuery Studio e Looker Studio e a ferramenta de linha de comando bq.
Para usar as consultas de amostra, faça o seguinte:
Página Log Analytics: substitua TABLE_NAME_OF_LOG_VIEW pelo nome da visualização de registros. O formato é
project_ID.region.bucket_ID.view_ID
.Conjuntos de dados do BigQuery: substitua TABLE_NAME_OF_LOG_VIEW pelo caminho da tabela no conjunto de dados vinculado.
Consultar o volume de registros por app
Para calcular o total de bytes por dia e por app das entradas de registro gravadas em um recurso do Google Kubernetes Engine e que têm um payload JSON, use a seguinte consulta:
SELECT
timestamp_trunc(timestamp,DAY) as day,
JSON_VALUE(labels["k8s-pod/app"]) as app_id,
SUM(storage_bytes) as total_bytes
FROM
`TABLE_NAME_OF_LOG_VIEW`
WHERE
json_payload IS NOT NULL
AND resource.type="k8s_container"
GROUP BY ALL
Para visualizar os dados, crie um gráfico.
No exemplo a seguir, os dados são mostrados como um gráfico de barras empilhadas. Cada barra no gráfico mostra o número total de bytes armazenados, organizado por app. Neste exemplo, o app frontend
está gerando mais dados de registro:
Consultar o volume de registros por nome
Para listar o número de bytes armazenados e o nome do registro de cada entrada de registro que tem um payload JSON e foi gravada em um recurso do Google Kubernetes Engine, use a seguinte consulta:
SELECT
log_id AS log_name,
storage_bytes
FROM
`TABLE_NAME_OF_LOG_VIEW`
WHERE
json_payload IS NOT NULL
AND resource.type="k8s_container"
A consulta anterior não agrega os resultados. Em vez disso, há uma linha para cada entrada de registro, e essa linha contém um nome de registro e o número de bytes armazenados. Se você representar esses dados em um gráfico, poderá visualizar a parte dos dados de registro gravados em diferentes registros:
O gráfico anterior mostra que a maioria dos dados de registro é gravada no registro chamado
stdout
.
Usar a ferramenta de linha de comando bq para consultar o volume de registros por nome
É possível incluir o campo storage_bytes
em consultas executadas na página do BigQuery Studio ou usando a ferramenta de linha de comando bq.
A consulta a seguir informa o nome do registro e o número de bytes armazenados para cada entrada de registro:
bq query --use_legacy_sql=false 'SELECT log_id as log_name,
storage_bytes FROM `TABLE_NAME_OF_LOG_VIEW`'
O resultado dessa consulta é semelhante a este:
+----------+---------------+
| log_name | storage_bytes |
+----------+---------------+
| stdout | 716 |
| stdout | 699 |
| stdout | 917 |
| stdout | 704 |
Cada linha corresponde a uma entrada de registro. O valor da coluna storage_bytes
é o volume faturável dessa entrada de registro.
Limitações
O campo storage_bytes
só está disponível quando as seguintes condições são verdadeiras:
- O bucket de registros é atualizado para usar a Análise de dados de registros.
Sua consulta é executada na página Análise de registros ou em qualquer lugar em que seja possível consultar conjuntos de dados do BigQuery, incluindo as páginas BigQuery Studio e Looker Studio e a ferramenta de linha de comando bq.
A entrada de registro foi gravada em 1º de janeiro de 2024 ou depois dessa data.