En este documento, se describe cómo puedes usar el Análisis de registros para estimar el volumen facturable de tus entradas de registro. Puedes escribir consultas que informen y agreguen tu volumen facturable según diferentes dimensiones, como el tipo de recurso o el nombre de la aplicación y, luego, graficar y ver los resultados de la consulta.
Cómo consultar el volumen facturable
El volumen facturable de una entrada de registro, que es el tamaño que se informa a la Facturación de Cloud, está disponible a través del campo storage_bytes
.
En tus consultas, puedes usar el campo storage_bytes
de la misma manera que usas cualquier campo de esquema cuyo tipo de datos sea INTEGER
.
Por ejemplo, puedes incluirlo en las cláusulas SELECT
, en las declaraciones CASE
y en las expresiones de tabla comunes.
Para obtener más información sobre cómo consultar tus registros, lee los siguientes documentos:
Debido a que la Facturación de Cloud usa el volumen facturable cuando determina los costos, puedes escribir consultas que te ayuden a comprender las fuentes de tus costos. Por ejemplo, puedes escribir consultas que te ayuden a determinar qué aplicaciones escriben la mayor cantidad de entradas de registro. Para obtener información sobre cómo relacionar el volumen facturable con el costo, consulta el resumen de precios de Cloud Logging y los precios de Cloud Logging.
El volumen facturable de una entrada de registro no es el tamaño del objeto LogEntry
que se envió a la API de Cloud Logging. El volumen facturable incluye los bytes necesarios para la serialización y los metadatos.
Antes de comenzar
-
Si quieres obtener los permisos que necesitas a fin de usar el Análisis de registros para ejecutar consultas y ver los registros, pídele a tu administrador que te otorgue los siguientes roles de IAM en tu proyecto:
-
Para consultar los buckets de registros
_Required
y_Default
, haz lo siguiente: Visor de registros (roles/logging.viewer
) -
Para consultar buckets de registros personalizados, haz lo siguiente:
Descriptor de acceso de vista de registros (
roles/logging.viewAccessor
)
Si quieres obtener más información para otorgar roles, consulta Administra el acceso.
Es posible que también puedas obtener los permisos necesarios a través de funciones personalizadas o, también, otras funciones predefinidas.
-
Para consultar los buckets de registros
En el caso de las vistas de registro que deseas consultar, ve a la página Almacenamiento de registros y verifica que los buckets de registros que almacenan esas vistas de registro estén actualizados para usar el Análisis de registros. Si es necesario, actualiza el bucket de registros.
En la consola de Google Cloud, ve a la página Explorador de registros:
Ir al Almacenamiento de registros
Si usas la barra de búsqueda para encontrar esta página, selecciona el resultado cuyo subtítulo es Logging.
Opcional: Si deseas consultar tus datos de registro mediante un conjunto de datos de BigQuery, crea un conjunto de datos de BigQuery vinculado.
Consultas de muestra
En esta sección, se proporcionan consultas de ejemplo que analizan datos desde una sola vista de registro.
Si almacenas datos en varias vistas de registro y si deseas calcular valores agregados para los datos almacenados en esas vistas, debes usar la declaración UNION
.
Puedes consultar tu entrada de registro con la página Análisis de registros o en cualquier lugar donde puedas consultar conjuntos de datos de BigQuery, que incluyen las páginas de BigQuery Studio y Looker Studio, y la herramienta de línea de comandos de bq.
Para usar las consultas de muestra, haz lo siguiente:
Página Análisis de registros: Reemplaza TABLE por el nombre de la vista de registro. El formato es
project_ID.region.bucket_ID.view_ID
.Conjuntos de datos de BigQuery: Reemplaza TABLE por la ruta de acceso a la tabla en el conjunto de datos vinculado.
Consulta el volumen de registros por app
Para calcular el total de bytes por día y por app de las entradas de registro que se escribieron en un recurso de Google Kubernetes Engine y que tienen una carga útil de JSON, usa la siguiente consulta:
SELECT
timestamp_trunc(timestamp,DAY) as day,
JSON_VALUE(labels["k8s-pod/app"]) as app_id,
SUM(storage_bytes) as total_bytes
FROM
`TABLE`
WHERE
json_payload IS NOT NULL
AND resource.type="k8s_container"
GROUP BY ALL
Para visualizar los datos, puedes crear un gráfico. En el siguiente ejemplo, los datos se muestran como un gráfico de barras apiladas. Cada barra del gráfico muestra la cantidad total de bytes almacenados, organizados por app. En este ejemplo, la app frontend
genera la mayor cantidad de datos de registro:
Consulta el volumen de registros por nombre de registro
Para ver la cantidad de bytes almacenados y el nombre de registro de cada entrada de registro que tiene una carga útil JSON y que se escribió en un recurso de Google Kubernetes Engine, usa la siguiente consulta:
SELECT
log_id AS log_name,
storage_bytes
FROM
`TABLE`
WHERE
json_payload IS NOT NULL
AND resource.type="k8s_container"
La consulta anterior no agrega los resultados, sino que hay una fila para cada entrada de registro, y esa fila contiene un nombre de registro y la cantidad de bytes almacenados. Si graficas estos datos, puedes visualizar la parte de tus datos de registro como escritos en diferentes registros:
En el gráfico anterior, se muestra que la mayoría de los datos de registro se escriben en el registro llamado stdout
.
Usa la herramienta de línea de comandos de bq para consultar el volumen de registro por nombre de registro
Puedes incluir el campo storage_bytes
en las consultas que ejecutas a través de la página de BigQuery Studio o mediante la herramienta de línea de comandos de bq.
La siguiente consulta informa el nombre del registro y la cantidad de bytes almacenados para cada entrada de registro:
bq query --use_legacy_sql=false 'SELECT log_id as log_name,
storage_bytes FROM `TABLE`'
El resultado de esta consulta es similar al siguiente:
+----------+---------------+
| log_name | storage_bytes |
+----------+---------------+
| stdout | 716 |
| stdout | 699 |
| stdout | 917 |
| stdout | 704 |
Cada fila corresponde a una entrada de registro. El valor de la columna storage_bytes
es el volumen facturable para esa entrada de registro.
Limitaciones
El campo storage_bytes
solo está disponible cuando se cumplen las siguientes condiciones:
- El bucket de registros se actualiza para usar el Análisis de registros.
Tu consulta se ejecuta en la página Análisis de registros o en cualquier lugar donde puedas consultar los conjuntos de datos de BigQuery, que incluyen las páginas de BigQuery Studio y Looker Studio, y la herramienta de línea de comandos de bq.
La entrada de registro se escribió a partir del 1 de enero de 2024.