Información sobre el uso de recursos del clúster

Estándar

En esta página, se explica cómo usar la medición de uso de GKE para obtener información sobre los perfiles de uso de los clústeres de Google Kubernetes Engine (GKE) y vincular su uso a equipos individuales o unidades de negocios dentro de tu organización. La medición de uso de GKE no afecta la facturación de tu proyecto y te permite obtener información sobre el uso del recurso en un nivel detallado.

Descripción general

La medición de uso de GKE realiza un seguimiento de la información sobre las solicitudes de recursos y el uso real de los recursos de las cargas de trabajo de tu clúster. En la actualidad, la medición de uso de GKE realiza un seguimiento de la información sobre la CPU, la GPU, la TPU, la memoria, el almacenamiento y, de forma opcional, la salida de red. Puedes diferenciar el uso de los recursos con espacios de nombres o etiquetas de Kubernetes, o con una combinación de ambos.

Los datos se almacenan en BigQuery y puedes consultarlos directamente o exportarlos para analizarlos mediante herramientas externas como Looker Studio.

La medición de uso de GKE es útil en situaciones como las siguientes:

Hacer un seguimiento del consumo real de recursos y de las solicitudes de recursos por usuario en un clúster multiusuario, en el que cada usuario opera dentro de un determinado espacio de nombres.
Determinar el consumo de los recursos de una carga de trabajo en ejecución en un determinado clúster mediante la asignación de una etiqueta única a los objetos de Kubernetes asociados con la carga de trabajo.
Identificar las cargas de trabajo cuyas solicitudes de recursos difieran de forma significativa del consumo real de los recursos, de manera que puedas asignar los recursos de manera más eficiente a cada carga de trabajo.

Antes de comenzar

Antes de comenzar, asegúrate de haber realizado las siguientes tareas:

Habilita la API de Kubernetes Engine de Google.

Habilitar la API de Kubernetes Engine de Google

Si deseas usar Google Cloud CLI para esta tarea, instala y, luego, inicializa gcloud CLI. Si ya instalaste gcloud CLI, ejecuta gcloud components update para obtener la versión más reciente.
Nota: Para las instalaciones de gcloud CLI existentes, asegúrate de configurar las propiedades compute/region y compute/zone. Cuando configuras las ubicaciones predeterminadas, puedes evitar errores en la CLI de gcloud como el siguiente: One of [--zone, --region] must be supplied: Please specify location.

Limitaciones

Puedes usar las consultas de ejemplo de BigQuery y la plantilla de Looker Studio para unir los datos de la medición de uso de GKE con los datos de facturación de Google Cloud exportados en BigQuery. Esto te permite estimar un desglose de costos por clúster, espacio de nombres y etiquetas.

Los datos de la medición de uso de GKE solo son orientativos y no afectan tu factura de Google Cloud. Para los datos de facturación, tu factura de Google Cloud es la única fuente verídica.

Se aplica la siguiente limitación:

No se tienen en cuenta los descuentos o créditos especiales de contrato.
El espacio de nombres o la etiqueta no realizan el seguimiento de los recursos creados fuera del alcance de GKE.
El seguimiento de uso registra solo las etiquetas de los objetos PersistentVolumeClaim y de Pod.
Solo se admiten PersistentVolumes de aprovisionamiento dinámico.
Solo se admiten los tipos de disco pd-standard y pd-ssd. La medición de uso de GKE puede incluir costos para las versiones regionales de ambos tipos de disco con el mismo SKU.
Looker Studio no admite la visualización de tipos de máquina capaces de aumentos de actividad.
Solo puedes exportar datos a un conjunto de datos de BigQuery que se encuentre en el mismo proyecto que tu clúster.
No debes usar los puertos 27304, 47082 y 47083, ya que estos puertos están reservados por el seguimiento de salida de red.
No se admiten los objetos StorageClass personalizados.
La medición de salida de red no es compatible con los nodos de Windows Server.
La medición de salida de red no es compatible con la VPC compartida o el intercambio de tráfico entre redes de VPC.
La medición de salida de red no es compatible con clústeres con más de 150 nodos.

Requisitos previos

Antes de usar la medición de uso de GKE, debes cumplir con los siguientes requisitos previos:

Para realizar un seguimiento del consumo real de los recursos, el clúster debe usar GKE 1.14.2-gke.3 o una versión posterior.
Si usas tipos de máquina E2 o N2, la versión del clúster debe ser GKE 1.15.11-gke.9 o posterior.
La exportación de la facturación para BigQuery debe estar habilitada. Los cargos se asocian con el uso de BigQuery.
Se necesita la versión 250.0.0 o una versión posterior del comando de gcloud. Usa gcloud --version para realizar una verificación.
Debes habilitar la API de BigQuery en tu proyecto de Google Cloud. Si habilitaste GKE después de julio de 2018, la API ya está habilitada.

Habilitar la medición del uso de GKE

Para habilitar la medición de uso de GKE, primero debes crear un conjunto de datos de BigQuery en un clúster, en varios clústeres del proyecto o en todo el proyecto. Para obtener más información sobre cómo elegir una asignación entre conjuntos de datos y clústeres, consulta Cómo elegir uno o más conjuntos de datos de BigQuery.

Luego, debes habilitar la medición de uso de GKE cuando crees un clúster nuevo o modifiques un clúster existente.

De manera opcional, puedes crear un panel de Looker Studio para visualizar el uso de los recursos de tus clústeres.

Cree un conjunto de datos en BigQuery

Si quieres usar la medición de uso de GKE para los clústeres en tu proyecto de Google Cloud, primero, debes crear el conjunto de datos de BigQuery y, luego, configurar los clústeres a fin de que lo usen. Puedes usar un único conjunto de datos de BigQuery para almacenar información sobre el uso de los recursos de varios clústeres en el mismo proyecto.

Consulta Crea un conjunto de datos para obtener más detalles. Configura la Default table expiration del conjunto de datos como Never para que la tabla no caduque. Si una tabla caduca, se vuelve a crear de forma automática como una tabla vacía.

Habilita la medición de uso de GKE para un clúster

A fin de habilitar la medición de uso de GKE para un clúster nuevo o existente, usa el comando de gcloud o la consola de Google Cloud.

Habilitar la medición de uso de GKE también habilita la medición del consumo de recursos de forma predeterminada. Si quieres inhabilitar de forma selectiva la medición del consumo de los recursos, pero deseas seguir realizando un seguimiento de las solicitudes de recursos, consulta en este tema las instrucciones específicas de habilitación de la medición de uso de GKE mediante el comando de gcloud.

La medición de salida de red se encuentra inhabilitada de forma predeterminada. Para habilitarla, consulta las advertencias y las instrucciones en Cómo habilitar la medición de salida de red (opcional) en este tema.

Crea un clúster nuevo

Puedes crear un clúster mediante la CLI de gcloud o la consola de Google Cloud.

gcloud

Para crear un clúster con la medición de uso de GKE habilitada, ejecuta el siguiente comando.

gcloud container clusters create CLUSTER_NAME \
    --resource-usage-bigquery-dataset RESOURCE_USAGE_DATASET

Reemplaza lo siguiente:

CLUSTER_NAME: Es el nombre del clúster de GKE.
RESOURCE_USAGE_DATASET: Es el nombre de tu conjunto de datos de BigQuery.

La medición del consumo de los recursos se encuentra habilitada de forma predeterminada. Para inhabilitarla y solo realizar un seguimiento de las solicitudes de recursos, agrega la marca --no-enable-resource-consumption- metering al comando anterior. También debes modificar las consultas de ejemplo en el resto de este tema para que no realicen consultas sobre el consumo de los recursos.

Si es necesario, se crean las tablas requeridas dentro del conjunto de datos de BigQuery cuando se inicia el clúster.

Console

Para crear un clúster con la medición de uso de GKE habilitada, haz lo siguiente:

Ve a la página de Google Kubernetes Engine en la consola de Google Cloud.

Ir a Google Kubernetes Engine
Haz clic en Crear.
En el panel de navegación, en Clúster, haz clic en Funciones.
Selecciona Habilitar la medición de uso de GKE.
Ingresa el nombre del conjunto de datos de BigQuery.
Opcional: selecciona la opción Habilitar la medición de salida de red después de revisar las advertencias y las instrucciones en Opcional: Habilita la medición de salida de red.
Continúa con la configuración del clúster y, luego, haz clic en Crear.

Configura un clúster existente

gcloud

Para habilitar la medición de uso de GKE en un clúster existente, ejecuta el siguiente comando:

gcloud container clusters update CLUSTER_NAME \
    --resource-usage-bigquery-dataset RESOURCE_USAGE_DATASET

También puedes cambiar el conjunto de datos que usa un clúster existente para almacenar sus datos de la medición de uso si cambias el valor de la marca --resource-usage-bigquery-dataset.

Si es necesario, se crea una tabla dentro del conjunto de datos de BigQuery cuando se actualiza el clúster.

Console

Ve a la página de Google Kubernetes Engine en la consola de Google Cloud:

Ir a Google Kubernetes Engine
Junto al clúster que deseas modificar, haz clic en Acciones y, luego, en Editar.
En Funciones, haz clic en Editar junto a Medición del uso de GKE.
Selecciona Habilitar la medición de uso de GKE.
Ingresa el nombre del conjunto de datos de BigQuery.
Opcional: selecciona la opción Habilitar la medición de salida de red después de revisar las advertencias y las instrucciones en Opcional: Habilita la medición de salida de red.
Haz clic en Guardar cambios.

Habilita la medición de salida de red (opcional)

Según la configuración predeterminada, no se recopilan ni exportan los datos de salida de red. La medición de la salida de red requiere un agente de medición de red (NMA) que se ejecute en cada nodo. El NMA se ejecuta como un pod con privilegios, consume algunos recursos en el nodo (CPU, memoria y espacio de disco) y habilita la marca nf_conntrack_acct sysctl en el kernel (para la contabilidad de flujo de seguimiento de conexión).

Si no tienes problemas con estas condiciones, puedes habilitar el seguimiento de salida de red y usarlo con la medición de uso de GKE. Para habilitar el seguimiento de salida de red, incluye la opción --enable-network-egress-metering cuando crees o actualices el clúster, o selecciona la opción Habilitar medición de salida de red cuando habilites la medición de uso de GKE en la consola de Google Cloud.

Para inhabilitar la medición de salida de red, agrega la marca --no-enable-network-egress-metering cuando actualices tu clúster con la línea de comandos. Como alternativa, puedes borrar la opción Habilitar la medición de salida de red en la sección de medición de uso de GKE del clúster en la consola de Google Cloud.

Verifica que la medición de uso de GKE esté habilitada

Para verificar que la medición de uso de GKE esté habilitada en un clúster y confirmar qué conjunto de datos de BigQuery almacena los datos de uso de los recursos del clúster, ejecuta el siguiente comando:

gcloud container clusters describe CLUSTER_NAME \
    --format="value(resourceUsageExportConfig)"

Si la medición de uso de GKE no se encuentra habilitada, el resultado estará vacío; de lo contrario, mostrará el conjunto de datos de BigQuery que usó el clúster, como se muestra en el siguiente resultado:

bigqueryDestination={u'datasetId': u'test_usage_metering_dataset'}

Elige uno o más conjuntos de datos de BigQuery

Un conjunto de datos puede contener los datos de la medición de uso de GKE de uno o más clústeres en tu proyecto. El uso de uno o varios conjuntos de datos depende de tus necesidades de seguridad:

Un único conjunto de datos para todo el proyecto simplifica la administración.
Un conjunto de datos por clúster te permite delegar el acceso detallado a los conjuntos de datos.
Un conjunto de datos por grupo relacionado de clústeres te permite encontrar la combinación correcta entre simplicidad y nivel de detalle para tus necesidades.

Visualiza los datos de la medición de uso de GKE mediante un panel de Looker Studio

Puedes ver los datos de la medición de uso de GKE con el panel de Looker Studio. Esto te permite filtrar los datos por nombre de clúster, espacio de nombres o etiqueta. También puedes ajustar el período del informe de manera dinámica. Si tienes experiencia con Looker Studio y BigQuery, puedes crear un panel personalizado. También puedes clonar un panel que creamos para la medición de uso de GKE en particular.

Puedes usar el panel para visualizar el consumo y las solicitudes de recursos de tus clústeres a lo largo del tiempo.

Requisitos previos

Habilita la opción Exportar datos de facturación de Google Cloud a BigQuery, si todavía no se encuentra habilitada.

Durante este proceso, creas un conjunto de datos, pero la tabla dentro del conjunto de datos puede tardar hasta 5 horas en aparecer y comenzar a propagarse. Cuando aparece la tabla, su nombre es gcp_billing_export_v1_BILLING_ACCOUNT_ID.
Habilita la medición de uso de GKE en al menos un clúster del proyecto. Toma nota del nombre que elegiste para el conjunto de datos de BigQuery.
Habilita Looker Studio si esta opción todavía no está habilitada.
Recopila la siguiente información, que es necesaria para configurar el panel:
- ID y tabla de datos del conjunto de datos de exportación de Cloud Billing
- ID del conjunto de datos de la medición de uso de GKE
Asegúrate de tener la versión 2.0.58 o una versión posterior de la CLI de BigQuery. Si deseas verificar la versión, ejecuta bq version y gcloud components update para actualizar la CLI de BigQuery.
Los comandos de esta sección deben ejecutarse en una terminal de Linux o en Cloud Shell.

Crea la tabla de desglose de costos de BigQuery

Descarga una de las siguientes plantillas de consulta:
- Si habilitaste el medidor de consumo, descarga this template.
- Si no habilitaste el medidor de consumo, descarga this template.
Si usas Cloud Shell, copia este archivo en el directorio en el que ejecutarás los siguientes comandos.
Ejecuta el siguiente comando para establecer variables de entorno:
```
export GCP_BILLING_EXPORT_TABLE_FULL_PATH=YOUR_BILLING_EXPORT_TABLE_PATH
export USAGE_METERING_PROJECT_ID=YOUR_USAGE_METERING_PROJECT_ID
export USAGE_METERING_DATASET_ID=YOUR_USAGE_METERING_DATASET_ID
export USAGE_METERING_START_DATE=YOUR_USAGE_METERING_START_DATE
export COST_BREAKDOWN_TABLE_ID=YOUR_COST_BREAKDOWN_TABLE_ID
export USAGE_METERING_QUERY_TEMPLATE=YOUR_TEMPLATE_PATH
export USAGE_METERING_QUERY=YOUR_RENDERED_QUERY_PATH
```
Reemplaza lo siguiente:
- YOUR_BILLING_EXPORT_TABLE_PATH: Es la ruta de acceso a la tabla de exportación de facturación generada. Esta tabla tiene un nombre similar a PROJECT_ID.DATASET_ID.gcp_billing_export_v1_xxxx.
- YOUR_USAGE_METERING_PROJECT_ID: El nombre de tu proyecto de Google Cloud.
- YOUR_USAGE_METERING_DATASET_ID: Es el nombre del conjunto de datos que creaste en BigQuery, como all_billing_data.
- YOUR_USAGE_METERING_START_DATE: La fecha de inicio de tu consulta en el formato YYYY-MM-DD.
- YOUR_COST_BREAKDOWN_TABLE_ID: Es el nombre de una tabla nueva que elegiste, como usage_metering_cost_breakdown. Esta tabla se usa como entrada para Looker Studio.
- YOUR_TEMPLATE_PATH: es el nombre de la plantilla de consulta que descargaste, ya sea usage_metering_query_template_request_and_consumption.sql o usage_metering_query_template_request_only.sql.
- YOUR_RENDERED_QUERY_PATH: es el nombre de la ruta de acceso para la consulta renderizada que eliges, como cost_breakdown_query.sql.
A modo de ejemplo, las variables de entorno pueden parecerse a las siguientes:
```
export GCP_BILLING_EXPORT_TABLE_FULL_PATH=my-billing-project.all_billing_data.gcp_billing_export_v1_xxxx
export USAGE_METERING_PROJECT_ID=my-billing-project
export USAGE_METERING_DATASET_ID=all_billing_data
export USAGE_METERING_START_DATE=2022-05-01
export COST_BREAKDOWN_TABLE_ID=usage_metering_cost_breakdown
export USAGE_METERING_QUERY_TEMPLATE=usage_metering_query_template_request_only.sql
export USAGE_METERING_QUERY=cost_breakdown_query.sql
```

Renderiza la consulta desde la plantilla:

sed \
-e "s/\${fullGCPBillingExportTableID}/$GCP_BILLING_EXPORT_TABLE_FULL_PATH/" \
-e "s/\${projectID}/$USAGE_METERING_PROJECT_ID/" \
-e "s/\${datasetID}/$USAGE_METERING_DATASET_ID/" \
-e "s/\${startDate}/$USAGE_METERING_START_DATE/" \
"$USAGE_METERING_QUERY_TEMPLATE" \
> "$USAGE_METERING_QUERY"

Cree una nueva tabla de desglose de costos que se actualice cada 24 horas:

bq query \
--project_id=$USAGE_METERING_PROJECT_ID \
--use_legacy_sql=false \
--destination_table=$USAGE_METERING_DATASET_ID.$COST_BREAKDOWN_TABLE_ID \
--schedule='every 24 hours' \
--display_name="GKE Usage Metering Cost Breakdown Scheduled Query" \
--replace=true \
"$(cat $USAGE_METERING_QUERY)"

Para obtener más información sobre cómo programar consultas, visita Configura consultas programadas.

Crea la fuente de datos de BigQuery

En Looker Studio, ve a Fuentes de datos.
Haz clic en Crear y, luego, en Fuente de datos.
Selecciona BigQuery.
Nombra tu fuente de datos. En la barra de herramientas, haz clic en las palabras Fuente de datos sin título para reemplazar el texto por un nombre descriptivo.
Selecciona Consulta personalizada y, luego, selecciona el ID de tu proyecto.

Pega la siguiente consulta en el Editor de consultas.

SELECT
  *
FROM
  `USAGE_METERING_PROJECT_ID.USAGE_METERING_DATASET_ID.COST_BREAKDOWN_TABLE_ID`

Haga clic en Conectar.

Crea el panel de Looker Studio

Copia el panel de medición de uso de GKE en tu proyecto.
Haz clic en Más opciones y, luego, en Crear una copia.
En el cuadro de diálogo Copiar este informe, en la lista Fuente de datos nueva, selecciona la fuente de datos que creaste.
Haz clic en Copiar informe.

Se crea el panel, y puedes acceder a él en cualquier momento en la lista de informes de Looker Studio de tu proyecto.

Usa el panel de Looker Studio

El panel contiene varios informes:

Desglose de uso: Este informe contiene la proporción general de uso del clúster entre todos los clústeres que envían los datos de la medición de uso a la misma fuente de datos de BigQuery. También se incluye información detallada sobre el tipo de recurso, como CPU, memoria o salida de red, por espacio de nombres. Puedes limitar los datos del informe a uno o más clústeres o espacios de nombres individuales.
Desglose de uso con recursos sin asignar: Este informe es similar al informe de desglose de uso, pero distribuye los recursos sin asignar de forma proporcional en todos los espacios de nombres. Los recursos sin asignar son los recursos inactivos y los recursos que no estén asignados a instancias específicas por la medición de uso de GKE.
Tendencias de costos * desglosadas por espacio de nombres: Son las tendencias de uso de todos los clústeres que envían datos de la medición de uso a la misma fuente de datos de BigQuery, por espacio de nombres. Puedes seleccionar uno o más clústeres, espacios de nombres, recursos o SKU individuales.
Tendencias de costos * desglosadas por etiqueta: Son las tendencias de costos de todos los clústeres que envían datos de la medición de uso a la misma fuente de datos de BigQuery. Puedes seleccionar uno o más clústeres, recursos, o nombres o valores de etiqueta individuales.
Medición basada en el consumo: Son las tendencias de consumo de todos los clústeres que envían datos de la medición de uso a la misma fuente de datos de BigQuery. Puedes seleccionar uno o más espacios de nombres, o claves o valores de etiqueta individuales. Este informe solo se propaga si la medición del consumo de los recursos se encuentra habilitada en al menos un clúster.

Puedes cambiar páginas con el menú de navegación. Puedes cambiar el plazo de una página con el selector de fecha. Para compartir el informe con los miembros de tu organización o revocar el acceso, haz clic en Compartir informe.

Después de copiar el informe en tu proyecto, puedes personalizarlo con el editor de informes de Looker Studio. Incluso si la plantilla de informe proporcionada por Google cambia, tu copia no se verá afectada.

Explora los datos de la medición de uso de GKE con BigQuery

Para ver los datos de las solicitudes de recursos con BigQuery, consulta la tabla gke_cluster_resource_usage dentro del conjunto de datos relevante de BigQuery.

Para ver los datos del consumo real de los recursos, consulta la tabla gke_cluster_resource_consumption. Los datos del consumo de salida de red permanecen en la tabla gke_cluster_resource_usage, ya que no existe un concepto de solicitudes de recursos para las salidas.

Para obtener más información sobre cómo usar consultas en BigQuery, lee la sección Ejecuta consultas. Los campos en el esquema son estables, aunque se pueden agregar más campos en un futuro.

Estas consultas son ejemplos simples. Personaliza tu consulta para encontrar los datos que necesitas.

Consulta las solicitudes de recursos

SELECT
  cluster_name,
  labels,
  usage
FROM
  'CLUSTER_GCP_PROJECT.USAGE_METERING_DATASET.gke_cluster_resource_usage'
WHERE
  namespace="NAMESPACE"

Consulta el consumo de recursos

SELECT
  cluster_name,
  labels,
  usage
FROM
  'CLUSTER_GCP_PROJECT.USAGE_METERING_DATASET.gke_cluster_resource_consumption'
WHERE
  namespace="NAMESPACE"

Reemplaza lo siguiente:

CLUSTER_GCP_PROJECT: El nombre del proyecto de Google Cloud que contiene el clúster que deseas consultar.
USAGE_METERING_DATASET: El nombre de tu tabla de medición de uso
NAMESPACE: Es el nombre de tu espacio de nombres.

Más ejemplos

Amplía las siguientes secciones para ver ejemplos más detallados.

Cómo consultar costos desglosados por espacio de nombres

En estas consultas, se ignora el uso de recursos de un clúster cuando la información de facturación del recurso asociado de la nube aún no se exportó al conjunto de datos de exportación de facturación de Google Cloud. Este retraso ocurre cuando el período de registro de uso de un recurso de la nube se encuentra por encima del último registro en los datos de facturación exportados de Google Cloud. La latencia para la exportación de facturación puede ser de hasta 5 horas.

Solicitudes de recursos

SELECT
  resource_usage.cluster_name,
  resource_usage.cluster_location,
  resource_usage.namespace,
  resource_usage.resource_name,
  resource_usage.sku_id,
  MIN(resource_usage.start_time) AS usage_start_time,
  MAX(resource_usage.end_time) AS usage_end_time,
  SUM(resource_usage.usage.amount * gcp_billing_export.rate) AS cost
FROM
  'CLUSTER_GCP_PROJECT.USAGE_METERING_DATASET.gke_cluster_resource_usage' AS resource_usage
LEFT JOIN (
  SELECT
    sku.id AS sku_id,
    SUM(cost) / SUM(usage.amount) AS rate,
    MIN(usage_start_time) AS min_usage_start_time,
    MAX(usage_end_time) AS max_usage_end_time
  FROM
    'CLUSTER_GCP_PROJECT.BILLING_DATASET.BILLING_TABLE'
  WHERE
    project.id = "CLUSTER_GCP_PROJECT"
  GROUP BY
    sku_id) AS gcp_billing_export
ON
  resource_usage.sku_id = gcp_billing_export.sku_id
WHERE
  resource_usage.start_time >= gcp_billing_export.min_usage_start_time
  AND resource_usage.end_time <= gcp_billing_export.max_usage_end_time
GROUP BY
  resource_usage.cluster_name,
  resource_usage.cluster_location,
  resource_usage.namespace,
  resource_usage.resource_name,
  resource_usage.sku_id

Consumo de los recursos

SELECT
  resource_usage.cluster_name,
  resource_usage.cluster_location,
  resource_usage.namespace,
  resource_usage.resource_name,
  resource_usage.sku_id,
  MIN(resource_usage.start_time) AS usage_start_time,
  MAX(resource_usage.end_time) AS usage_end_time,
  SUM(resource_usage.usage.amount * gcp_billing_export.rate) AS cost
FROM
  'CLUSTER_GCP_PROJECT.USAGE_METERING_DATASET.gke_cluster_resource_consumption' AS resource_usage
LEFT JOIN (
  SELECT
    sku.id AS sku_id,
    SUM(cost) / SUM(usage.amount) AS rate,
    MIN(usage_start_time) AS min_usage_start_time,
    MAX(usage_end_time) AS max_usage_end_time
  FROM
    'CLUSTER_GCP_PROJECT.BILLING_DATASET.BILLING_TABLE'
  WHERE
    project.id = "CLUSTER_GCP_PROJECT"
  GROUP BY
    sku_id) AS gcp_billing_export
ON
  resource_usage.sku_id = gcp_billing_export.sku_id
WHERE
  resource_usage.start_time >= gcp_billing_export.min_usage_start_time
  AND resource_usage.end_time <= gcp_billing_export.max_usage_end_time
GROUP BY
  resource_usage.cluster_name,
  resource_usage.cluster_location,
  resource_usage.namespace,
  resource_usage.resource_name,
  resource_usage.sku_id

Cómo consultar costos en un período específico desglosados por espacio de nombres y etiquetas

En estas consultas, se muestran los costos de un período específico por etiquetas y espacios de nombres.

Solicitudes de recursos por período, agrupadas por espacios de nombres y etiquetas

DECLARE drilldown_label STRING DEFAULT 'DRILLDOWN_LABEL';
DECLARE project_id STRING default "CLUSTER_GCP_PROJECT";

SELECT
  DATE(start_time) as date,
  resource_usage.cluster_name,
  resource_usage.cluster_location,
  resource_usage.namespace,
  label.value AS label_value,
  resource_usage.resource_name,
  resource_usage.sku_id,
  gcp_billing_export.sku_description,
  SUM(resource_usage.usage.amount) AS usage,
  resource_usage.usage.unit AS usage_unit,
  SUM(resource_usage.usage.amount * gcp_billing_export.rate) AS cost_estimate,
  gcp_billing_export.currency
FROM
  'CLUSTER_GCP_PROJECT.USAGE_METERING_DATASET.gke_cluster_resource_usage' AS resource_usage

-- select only workloads matching the defined "drilldown_label"
  CROSS JOIN UNNEST(labels) AS label ON label.key=drilldown_label

-- join with billing table to get pricing information and sku description
  LEFT JOIN (
  SELECT
    DATE(usage_start_time) as date,
    sku.id AS sku_id,
    sku.description AS sku_description,
    SAFE_DIVIDE(SUM(cost), SUM(usage.amount)) AS rate,
    currency
  FROM
    'CLUSTER_GCP_PROJECT.BILLING_DATASET.BILLING_TABLE'
  WHERE
    project.id = project_id
  GROUP BY
    date,
    sku_id,
    sku_description,
    currency) AS gcp_billing_export
  ON DATE(resource_usage.start_time) = gcp_billing_export.date AND resource_usage.sku_id = gcp_billing_export.sku_id

GROUP BY
  date,
  cluster_name,
  cluster_location,
  namespace,
  label_value,
  resource_name,
  sku_id,
  sku_description,
  usage_unit,
  currency

ORDER BY
  date,
  cluster_name,
  cluster_location,
  namespace,
  label_value,
  resource_name

Consumo de los recursos por período, agrupado por espacios de nombres y etiquetas

DECLARE drilldown_label STRING DEFAULT 'DRILLDOWN_LABEL';
DECLARE project_id STRING default "CLUSTER_GCP_PROJECT";

SELECT
  DATE(start_time) as date,
  resource_usage.cluster_name,
  resource_usage.cluster_location,
  resource_usage.namespace,
  label.value AS label_value,
  resource_usage.resource_name,
  resource_usage.sku_id,
  gcp_billing_export.sku_description,
  SUM(resource_usage.usage.amount) AS usage,
  resource_usage.usage.unit AS usage_unit,
  SUM(resource_usage.usage.amount * gcp_billing_export.rate) AS cost_estimate,
  gcp_billing_export.currency
FROM
  'CLUSTER_GCP_PROJECT.USAGE_METERING_DATASET.gke_cluster_resource_consumption' AS resource_usage

-- select only workloads matching the defined "drilldown_label"
  CROSS JOIN UNNEST(labels) AS label ON label.key=drilldown_label

-- join with billing table to get pricing information and sku description
  LEFT JOIN (
  SELECT
    DATE(usage_start_time) as date,
    sku.id AS sku_id,
    sku.description AS sku_description,
    SAFE_DIVIDE(SUM(cost), SUM(usage.amount)) AS rate,
    currency
  FROM
    'CLUSTER_GCP_PROJECT.BILLING_DATASET.BILLING_TABLE'
  WHERE
    project.id = project_id
  GROUP BY
    date,
    sku_id,
    sku_description,
    currency) AS gcp_billing_export
  ON DATE(resource_usage.start_time) = gcp_billing_export.date AND resource_usage.sku_id = gcp_billing_export.sku_id

GROUP BY
  date,
  cluster_name,
  cluster_location,
  namespace,
  label_value,
  resource_name,
  sku_id,
  sku_description,
  usage_unit,
  currency

ORDER BY
  date,
  cluster_name,
  cluster_location,
  namespace,
  label_value,
  resource_name

Cómo mostrar el consumo real de los recursos como un porcentaje de las solicitudes de recursos a lo largo del tiempo

En esta consulta, se muestra la relación entre el consumo real de CPU y las solicitudes de CPU, por lo que puedes ver los Pods que solicitan muy poca CPU, o demasiada, en comparación con los requisitos reales.


WITH
  constraints AS (
    SELECT
      TIMESTAMP(START_TIME) as min_time,
      TIMESTAMP(END_TIME) as max_time,
      "CLUSTER_GCP_PROJECT" as project_id
  ),
  request_based_amount_by_namespace AS (
    SELECT
      namespace,
      resource_name,
      SUM(usage.amount) AS requested_amount,
      usage.unit AS unit
    FROM
      'CLUSTER_GCP_PROJECT.USAGE_METERING_DATASET.gke_cluster_resource_usage' as requested_resource_usage
    INNER JOIN
      constraints
    ON
      requested_resource_usage.start_time >= constraints.min_time
      AND requested_resource_usage.end_time <= constraints.max_time
      AND requested_resource_usage.project.id = constraints.project_id
    GROUP BY
      namespace, resource_name, usage.unit
  ),
  consumption_based_amount_by_namespace AS (
    SELECT
      namespace,
      resource_name,
      SUM(usage.amount) AS consumed_amount,
      usage.unit AS unit
    FROM
      'CLUSTER_GCP_PROJECT.USAGE_METERING_DATASET.gke_cluster_resource_consumption' as consumed_resource_usage
    INNER JOIN
      constraints
    ON
      consumed_resource_usage.start_time >= constraints.min_time
      AND consumed_resource_usage.end_time <= constraints.max_time
      AND consumed_resource_usage.project.id = constraints.project_id
    GROUP BY
      namespace, resource_name, usage.unit
  )
SELECT
  request_based_amount_by_namespace.namespace,
  request_based_amount_by_namespace.resource_name,
  requested_amount,
  consumed_amount,
  request_based_amount_by_namespace.unit,
  CASE
    WHEN consumed_amount IS NULL THEN NULL
    WHEN requested_amount = 0 THEN NULL
    ELSE consumed_amount / requested_amount END
      AS consumption_to_request_ratio
FROM
  request_based_amount_by_namespace
  FULL JOIN
  consumption_based_amount_by_namespace
  ON
  request_based_amount_by_namespace.namespace = consumption_based_amount_by_namespace.namespace
  AND
  request_based_amount_by_namespace.resource_name = consumption_based_amount_by_namespace.resource_name
ORDER BY
  consumption_to_request_ratio
DESC

Esquema de la medición de uso de GKE en BigQuery

En la siguiente tabla, se describe el esquema de las tablas de la medición de uso de GKE en el conjunto de datos de BigQuery. Si tu clúster ejecuta una versión de GKE que admite la medición del consumo de recursos y las solicitudes de recursos, se crea una tabla adicional con el mismo esquema.

Campo	Tipo	Descripción
`cluster_location`	`STRING`	El nombre de la zona o región de Compute Engine en la que reside el clúster de GKE.
`cluster_name`	`STRING`	El nombre del clúster de GKE.
`namespace`	`STRING`	El espacio de nombres de Kubernetes a partir del cual se genera el uso.
`resource_name`	`STRING`	El nombre del recurso, como “cpu”, “memoria” y “almacenamiento”.
`sku_id`	`STRING`	El ID de SKU del recurso subyacente de la nube de Google Cloud.
`start_time`	`TIMESTAMP`	La marca de tiempo de UNIX que indica cuándo comenzó el uso.
`end_time`	`TIMESTAMP`	La marca de tiempo de UNIX que indica cuándo finalizó el uso.
`fraction`	`FLOAT`	La fracción de un recurso de la nube se usó. Para un recurso de nube dedicado que solo utiliza un único espacio de nombres, la fracción es siempre 1.0. Para los recursos compartidos entre varios espacios de nombres, la fracción se calcula como la cantidad solicitada dividida por la capacidad total del recurso de nube subyacente.
`cloud_resource_size`	`INTEGER`	El tamaño del recurso subyacente de Google Cloud. Por ejemplo, el tamaño de las CPU virtuales en las instancias n1-standard-2 es 2.
`labels.key`	`STRING`	La clave de una etiqueta de Kubernetes asociada al uso.
`labels.value`	`STRING`	El valor de una etiqueta de Kubernetes asociada al uso.
`project.id`	`STRING`	El ID del proyecto en el que reside el clúster de GKE.
`usage.amount`	`FLOAT`	La cantidad de `usage.unit` que se usó.
`usage.unit`	`STRING`	La unidad base en la que se mide el uso del recurso. Por ejemplo, la unidad base para el almacenamiento estándar es bytes por segundos.

Las unidades de la medición de uso de GKE deben interpretarse de la siguiente manera:

El usage.unit de CPU es de segundos, que es el tiempo de CPU total que un Pod solicitó o usó. Por ejemplo, si tenemos dos Pods que solicitan 30 CPU cada una y se ejecutan durante 15 minutos, la cantidad total de la tabla de solicitudes será de 54,000 segundos (2 Pods * 30 CPU * 15 minutos * 60 segundos / por minuto).
La memoria usage.unit es bytes por segundos, que es la integral de la memoria en el tiempo que un Pod solicitó o usó. Por ejemplo, si tenemos dos Pods que solicitan 30 GiB y se ejecutan durante 15 minutos, la cantidad total de la tabla de solicitudes será de 5,798 + 13 bytes-segundo (2 pods * 30 GiB * 15 minutos * 60 segundos/minuto * 1073741824 bytes/GiB).

Comprende cuándo se escriben los datos de la medición del uso de GKE en BigQuery

Existen dos condiciones en las que la medición del uso de GKE escribe registros de uso en las métricas de BigQuery:

La fase del Pod cambia a succeeded o failed, o cuando se borra el Pod.
Cuando se alcanza la marca de tiempo de la programación por hora para escribir registros mientras el Pod aún se está ejecutando.

La medición del uso de GKE genera una programación por hora en la que escribe registros de uso del pod en BigQuery para todos los pods que se encuentran en ejecución en el momento. La marca de tiempo de la programación no es la misma en todos los clústeres.

Si tienes varios Pods en ejecución en esa marca de tiempo, encontrarás varios registros de uso con el mismo end_time. El end_time de estos registros de uso indica la marca de tiempo de la programación por hora.

Además, si tienes varios Pods que se ejecutaron durante varias horas, también tienes un conjunto de registros de uso con un end_time que coincide con el start_time de otro conjunto de registros de uso.

Inhabilita la medición de uso de GKE

gcloud

Para inhabilitar la medición de uso de GKE en un clúster, ejecuta el siguiente comando:

gcloud container clusters update CLUSTER_NAME \
    --clear-resource-usage-bigquery-dataset

Console

Ve a la página de Google Kubernetes Engine en la consola de Google Cloud.

Ir a Google Kubernetes Engine
Junto al clúster que deseas modificar, haz clic en Acciones y, luego, en Editar.
En Funciones, haz clic en Editar junto a Medición del uso de GKE.
Borra Habilitar la medición del uso de GKE.
Haz clic en Save Changes.

Información sobre el uso de recursos del clúster

Descripción general

Antes de comenzar

Limitaciones

Requisitos previos

Habilitar la medición del uso de GKE

Cree un conjunto de datos en BigQuery

Habilita la medición de uso de GKE para un clúster

Crea un clúster nuevo

gcloud

Console

Configura un clúster existente

gcloud

Console

Habilita la medición de salida de red (opcional)

Verifica que la medición de uso de GKE esté habilitada

Elige uno o más conjuntos de datos de BigQuery

Visualiza los datos de la medición de uso de GKE mediante un panel de Looker Studio

Requisitos previos

Crea la tabla de desglose de costos de BigQuery

Crea la fuente de datos de BigQuery

Crea el panel de Looker Studio

Usa el panel de Looker Studio

Explora los datos de la medición de uso de GKE con BigQuery

Consulta las solicitudes de recursos

Consulta el consumo de recursos

Más ejemplos

Cómo consultar costos desglosados por espacio de nombres

Solicitudes de recursos

Consumo de los recursos

Cómo consultar costos en un período específico desglosados por espacio de nombres y etiquetas

Solicitudes de recursos por período, agrupadas por espacios de nombres y etiquetas

Consumo de los recursos por período, agrupado por espacios de nombres y etiquetas

Cómo mostrar el consumo real de los recursos como un porcentaje de las solicitudes de recursos a lo largo del tiempo

Esquema de la medición de uso de GKE en BigQuery

Comprende cuándo se escriben los datos de la medición del uso de GKE en BigQuery

Inhabilita la medición de uso de GKE

gcloud

Console

¿Qué sigue?