Esta página se ha traducido con Cloud Translation API.

Comprender el uso de recursos de los clústeres

Estándar

En esta página se explica cómo usar la medición del uso de GKE para conocer los perfiles de uso de los clústeres estándar de Google Kubernetes Engine (GKE) y vincular el uso a equipos o unidades de negocio concretos de tu organización. La medición del uso de GKE no afecta a la facturación de tu proyecto, sino que te permite conocer el uso de recursos a un nivel granular.

Información general

La medición del uso de GKE monitoriza la información de las solicitudes de recursos y el uso de los recursos de las cargas de trabajo de tu clúster. Actualmente, la medición de uso de GKE registra información sobre la CPU, la GPU, la TPU, la memoria, el almacenamiento y, opcionalmente, la salida de red. Puedes diferenciar el uso de los recursos mediante espacios de nombres, etiquetas de Kubernetes o una combinación de ambos.

Los datos se almacenan en BigQuery, donde puede consultarlos directamente o exportarlos para analizarlos con herramientas externas, como Looker Studio.

La medición del uso de GKE es útil en situaciones como las siguientes:

Monitorizar las solicitudes de recursos y el consumo de recursos por inquilino en un clúster multiinquilino en el que cada inquilino opera en un espacio de nombres determinado.
Determinar el consumo de recursos de una carga de trabajo que se ejecuta en un clúster determinado asignando una etiqueta única a los objetos de Kubernetes asociados a la carga de trabajo.
Identificar las cargas de trabajo cuyas solicitudes de recursos difieren significativamente de su consumo real de recursos para que puedas asignar recursos de forma más eficiente a cada carga de trabajo.

Antes de empezar

Antes de empezar, asegúrate de haber realizado las siguientes tareas:

Habilita la API de Google Kubernetes Engine.

Habilitar la API de Google Kubernetes Engine

Si quieres usar Google Cloud CLI para esta tarea, instálala y, a continuación, inicialízala. Si ya has instalado la gcloud CLI, obtén la versión más reciente ejecutando gcloud components update.
Nota: Si ya tienes instalada la CLI de gcloud, asegúrate de definir la compute/region propiedad. Si usas principalmente clústeres zonales, define compute/zone en su lugar. Si defines una ubicación predeterminada, puedes evitar errores en gcloud CLI como el siguiente: One of [--zone, --region] must be supplied: Please specify location. Es posible que tengas que especificar la ubicación en determinados comandos si la ubicación de tu clúster es diferente de la predeterminada que hayas definido.

Limitaciones

Puede usar las consultas de muestra de BigQuery y la plantilla de Looker Studio para combinar los datos de medición del uso de GKE con los datos de Google Cloud facturación exportados en BigQuery. De esta forma, puedes estimar el desglose de costes por clúster, espacio de nombres y etiquetas.

Los datos de medición del uso de GKE son meramente informativos y no afectan a tu Google Cloud factura. En el caso de los datos de facturación, la factura es la única fuente de información veraz. Google Cloud

Se aplican las siguientes limitaciones:

No se tienen en cuenta los descuentos ni los créditos especiales de los contratos.
Los recursos creados fuera del ámbito de GKE no se monitorizan por espacio de nombres ni por etiqueta.
El informe de uso solo monitoriza las etiquetas de los objetos Pod y PersistentVolumeClaim.
Solo se admiten los PersistentVolumes aprovisionados dinámicamente.
Solo se admiten los tipos de disco pd-standard y pd-ssd. La medición del uso de GKE puede incluir los costes de las versiones regionales de ambos tipos de disco con el mismo SKU.
Looker Studio no admite la visualización de tipos de máquinas capaces de usar ráfagas.
Solo puedes exportar datos a un conjunto de datos de BigQuery que esté en el mismo proyecto que tu clúster.
No debes usar los puertos 27304, 47082 y 47083, ya que están reservados para el seguimiento de la salida de la red.
No se admiten objetos StorageClass personalizados.
La medición de la salida de red no se admite en los nodos de Windows Server.
La medición de la salida de red no se admite en las VPC compartidas ni en el emparejamiento entre redes de VPC.
La medición de la salida de red no se admite en clústeres con más de 150 nodos.

Requisitos previos

Antes de usar la medición del uso de GKE, debes cumplir los siguientes requisitos:

Para monitorizar el consumo real de recursos, el clúster debe usar GKE 1.14.2-gke.3 o una versión posterior.
Si usas tipos de máquina E2 o N2, la versión del clúster debe ser GKE 1.15.11-gke.9 o una posterior.
La exportación de datos de facturación a BigQuery está habilitada. Los cargos están asociados al uso de BigQuery.
Se requiere la versión 250.0.0 o una posterior del comando gcloud. Usa gcloud --version para comprobarlo.
Debe habilitar la API de BigQuery en su proyecto de Google Cloud . Si habilitaste GKE por primera vez después de julio del 2018, la API ya está habilitada.

Habilitar la medición de uso de GKE

Para habilitar la medición de uso de GKE, primero debes crear un conjunto de datos de BigQuery para un solo clúster, varios clústeres del proyecto o todo el proyecto. Para obtener más información sobre cómo elegir una asignación entre conjuntos de datos y clústeres, consulta Elegir uno o varios conjuntos de datos de BigQuery.

A continuación, habilita la medición de uso de GKE al crear un clúster o al modificar uno que ya tengas.

También puedes crear un panel de control de Looker Studio para visualizar el uso de recursos de tus clústeres.

Crear el conjunto de datos de BigQuery

Para utilizar la medición de uso de GKE en los clústeres de tu Google Cloud proyecto, primero debes crear el conjunto de datos de BigQuery y, después, configurar los clústeres para usarlo. Puedes usar un único conjunto de datos de BigQuery para almacenar información sobre el uso de recursos de varios clústeres en el mismo proyecto.

Para obtener más información, consulta el artículo Crear conjuntos de datos. Define el Default table expiration del conjunto de datos como Never para que la tabla no caduque. Si una tabla caduca, se vuelve a crear automáticamente como una tabla vacía.

Habilitar la medición de uso de GKE en un clúster

Puedes habilitar la medición de uso de GKE en un clúster nuevo o ya creado mediante el comando gcloud o la consola Google Cloud .

Si habilitas la medición del uso de GKE, también se habilitará la medición del consumo de recursos de forma predeterminada. Para inhabilitar selectivamente la medición del consumo de recursos y seguir monitorizando las solicitudes de recursos, consulta las instrucciones específicas para habilitar la medición del uso de GKE con el comando gcloud en este tema.

La medición de salida de red está inhabilitada de forma predeterminada. Para habilitarla, consulta las advertencias y las instrucciones de la sección Opcional: Habilitar medición de salida de red de este tema.

Crear una agrupación

Puedes crear un clúster mediante la CLI de gcloud o laGoogle Cloud consola.

gcloud

Para crear un clúster con la medición de uso de GKE habilitada, ejecuta el siguiente comando:

gcloud container clusters create CLUSTER_NAME \
    --resource-usage-bigquery-dataset RESOURCE_USAGE_DATASET

Haz los cambios siguientes:

CLUSTER_NAME: el nombre de tu clúster de GKE.
RESOURCE_USAGE_DATASET: el nombre de tu conjunto de datos de BigQuery.

La medición del consumo de recursos está habilitada de forma predeterminada. Para inhabilitarlo y hacer un seguimiento solo de las solicitudes de recursos, añade la marca --no-enable-resource-consumption- metering al comando anterior. También debe modificar las consultas de ejemplo del resto de este tema para que no consulten el consumo de recursos.

Si es necesario, las tablas se crean en el conjunto de datos de BigQuery cuando se inicia el clúster.

Consola

Para crear un clúster con la medición de uso de GKE habilitada, sigue estos pasos:

En la Google Cloud consola, ve a la página Crear un clúster de Kubernetes.
Ir a Crear un clúster de Kubernetes
En el panel de navegación, ve a Clúster y haz clic en Funciones.
Selecciona Habilitar la medición del uso de GKE.
Introduce el nombre de tu conjunto de datos de BigQuery.
Opcional: selecciona Habilitar medición de salida de red después de revisar las advertencias y las instrucciones en Opcional: Habilitar medición de salida de red.
Sigue configurando el clúster y, a continuación, haz clic en Crear.

Configurar un clúster

gcloud

Para habilitar la medición de uso de GKE en un clúster, ejecuta el siguiente comando:

gcloud container clusters update CLUSTER_NAME \
    --resource-usage-bigquery-dataset RESOURCE_USAGE_DATASET

La medición del consumo de recursos está habilitada de forma predeterminada. Para inhabilitarlo y hacer un seguimiento solo de las solicitudes de recursos, añade la marca --no-enable-resource-consumption- metering al comando anterior. También debes modificar las consultas de ejemplo del resto de este tema para que no consulten el consumo de recursos.

También puede cambiar el conjunto de datos que usa un clúster para almacenar sus datos de medición de uso cambiando el valor de la marca --resource-usage-bigquery-dataset.

Si es necesario, se crea una tabla en el conjunto de datos de BigQuery cuando se actualiza el clúster.

Consola

Ve a la página Google Kubernetes Engine en la consola de Google Cloud .

Ir a Google Kubernetes Engine
Junto al clúster que quieras modificar, haz clic en Acciones y, a continuación, en Editar.
En Funciones, haz clic en Editar junto a Medición del uso de GKE.
Selecciona Habilitar la medición del uso de GKE.
Introduce el nombre del conjunto de datos de BigQuery.
Opcional: selecciona Habilitar medición de salida de red después de revisar las advertencias y las instrucciones en Opcional: Habilitar medición de salida de red.
Haz clic en Guardar cambios.

Opcional: Habilitar medición de salida de red

De forma predeterminada, los datos de salida de red no se recopilan ni exportan. Para medir la salida de red, es necesario que se ejecute un agente de medición de red (NMA) en cada nodo. El NMA se ejecuta como un pod con privilegios, consume recursos del nodo (CPU, memoria y espacio en disco) y habilita la marca nf_conntrack_acct sysctl en el kernel (para la contabilidad del flujo a partir del seguimiento de conexiones).

Con estas advertencias en mente, puedes habilitar el seguimiento de salida de red para utilizarlo con la medición de uso de GKE. Para habilitar el seguimiento de la salida de red, incluye la opción --enable-network-egress-metering al crear o actualizar el clúster, o selecciona Habilitar medición de salida de red al habilitar la medición del uso de GKE en la consola de Google Cloud .

Para inhabilitar la medición de la salida de red, añade la marca --no-enable-network-egress-metering al actualizar el clúster con la línea de comandos. También puede desactivar la opción Habilitar medición de salida de red en la sección de medición de uso de GKE del clúster en la consola de Google Cloud .

Verificar que la medición de uso de GKE esté habilitada

Para verificar que la medición del uso de GKE está habilitada en un clúster y confirmar qué conjunto de datos de BigQuery almacena los datos de uso de recursos del clúster, ejecuta el siguiente comando:

gcloud container clusters describe CLUSTER_NAME \
    --format="value(resourceUsageExportConfig)"

La salida está vacía si la medición del uso de GKE no está habilitada. De lo contrario, se muestra el conjunto de datos de BigQuery que usa el clúster, como en el siguiente ejemplo de salida:

bigqueryDestination={u'datasetId': u'test_usage_metering_dataset'}

Elige uno o varios conjuntos de datos de BigQuery

Un conjunto de datos puede contener datos de medición de uso de GKE de uno o varios clústeres de tu proyecto. El número de conjuntos de datos que utilices dependerá de tus necesidades de seguridad:

Un único conjunto de datos para todo el proyecto simplifica la administración.
Un conjunto de datos por clúster te permite delegar el acceso granular a los conjuntos de datos.
Un conjunto de datos por cada grupo de clústeres relacionado te permite encontrar la combinación adecuada de sencillez y granularidad para tus necesidades.

Visualizar los datos de medición del uso de GKE con un panel de control de Looker Studio

Puedes visualizar tus datos de medición del uso de GKE mediante un panel de control de Looker Studio. De esta forma, puede filtrar los datos por nombre de clúster, espacio de nombres o etiqueta. También puedes ajustar el periodo de generación de informes de forma dinámica. Si tienes experiencia con Looker Studio y BigQuery, puedes crear un panel personalizado. También puedes clonar un panel de control que hemos creado específicamente para la medición del uso de GKE.

Puede usar el panel de control para visualizar las solicitudes y el consumo de recursos de sus clústeres a lo largo del tiempo.

Requisitos previos

Habilita la exportación Google Cloud de datos de facturación a BigQuery si aún no lo has hecho.

Durante este proceso, se crea un conjunto de datos, pero la tabla que contiene puede tardar hasta 5 horas en aparecer y empezar a rellenarse. Cuando aparece la tabla, su nombre es gcp_billing_export_v1_BILLING_ACCOUNT_ID.
Habilita la medición del uso de GKE en al menos un clúster del proyecto. Anota el nombre que has elegido para el conjunto de datos de BigQuery.
Habilita Looker Studio si aún no lo has hecho.
Recoge la siguiente información, que es necesaria para configurar el panel de control:
- ID del conjunto de datos y tabla de datos de exportación de Facturación de Cloud
- ID del conjunto de datos de medición del uso de GKE
Asegúrate de que tienes la versión 2.0.58 o una posterior de la CLI de BigQuery. Para comprobar la versión, ejecuta bq version y gcloud components update para actualizar la CLI de BigQuery.
Los comandos de esta sección deben ejecutarse en un terminal Linux o en Cloud Shell.

Crear la tabla de desglose de costes de BigQuery

Descarga una de las siguientes plantillas de consulta:
- Si has habilitado la medición del consumo, descarga this template.
- Si no has habilitado la medición del consumo, descarga this template.
Si usas Cloud Shell, copia este archivo en el directorio en el que ejecutes los siguientes comandos.
Ejecuta el siguiente comando para definir las variables de entorno:
```
export GCP_BILLING_EXPORT_TABLE_FULL_PATH=YOUR_BILLING_EXPORT_TABLE_PATH
export USAGE_METERING_PROJECT_ID=YOUR_USAGE_METERING_PROJECT_ID
export USAGE_METERING_DATASET_ID=YOUR_USAGE_METERING_DATASET_ID
export USAGE_METERING_START_DATE=YOUR_USAGE_METERING_START_DATE
export COST_BREAKDOWN_TABLE_ID=YOUR_COST_BREAKDOWN_TABLE_ID
export USAGE_METERING_QUERY_TEMPLATE=YOUR_TEMPLATE_PATH
export USAGE_METERING_QUERY=YOUR_RENDERED_QUERY_PATH
```
Haz los cambios siguientes:
- YOUR_BILLING_EXPORT_TABLE_PATH: la ruta a la tabla de exportación de facturación generada. Esta tabla tiene un nombre similar a PROJECT_ID.DATASET_ID.gcp_billing_export_v1_xxxx.
- YOUR_USAGE_METERING_PROJECT_ID: el nombre de tu Google Cloud proyecto.
- YOUR_USAGE_METERING_DATASET_ID: el nombre del conjunto de datos que has creado en BigQuery, como all_billing_data.
- YOUR_USAGE_METERING_START_DATE: la fecha de inicio de la consulta con el formato YYYY-MM-DD.
- YOUR_COST_BREAKDOWN_TABLE_ID: el nombre de una tabla nueva que hayas elegido, como usage_metering_cost_breakdown. Esta tabla se usa como entrada en Looker Studio.
- YOUR_TEMPLATE_PATH: el nombre de la plantilla de consulta que ha descargado, ya sea usage_metering_query_template_request_and_consumption.sql o usage_metering_query_template_request_only.sql.
- YOUR_RENDERED_QUERY_PATH: el nombre de la ruta de la consulta renderizada que elijas, como cost_breakdown_query.sql.
Por ejemplo, tus variables de entorno podrían ser similares a las siguientes:
```
export GCP_BILLING_EXPORT_TABLE_FULL_PATH=my-billing-project.all_billing_data.gcp_billing_export_v1_xxxx
export USAGE_METERING_PROJECT_ID=my-billing-project
export USAGE_METERING_DATASET_ID=all_billing_data
export USAGE_METERING_START_DATE=2022-05-01
export COST_BREAKDOWN_TABLE_ID=usage_metering_cost_breakdown
export USAGE_METERING_QUERY_TEMPLATE=usage_metering_query_template_request_only.sql
export USAGE_METERING_QUERY=cost_breakdown_query.sql
```

Renderiza la consulta a partir de la plantilla:

sed \
-e "s/\${fullGCPBillingExportTableID}/$GCP_BILLING_EXPORT_TABLE_FULL_PATH/" \
-e "s/\${projectID}/$USAGE_METERING_PROJECT_ID/" \
-e "s/\${datasetID}/$USAGE_METERING_DATASET_ID/" \
-e "s/\${startDate}/$USAGE_METERING_START_DATE/" \
"$USAGE_METERING_QUERY_TEMPLATE" \
> "$USAGE_METERING_QUERY"

Crea una tabla de desglose de costes que se actualice cada 24 horas:

bq query \
--project_id=$USAGE_METERING_PROJECT_ID \
--use_legacy_sql=false \
--destination_table=$USAGE_METERING_DATASET_ID.$COST_BREAKDOWN_TABLE_ID \
--schedule='every 24 hours' \
--display_name="GKE Usage Metering Cost Breakdown Scheduled Query" \
--replace=true \
"$(cat $USAGE_METERING_QUERY)"

Para obtener más información sobre cómo programar consultas, consulte Configurar consultas programadas.

Crear la fuente de datos de BigQuery

En Looker Studio, ve a Fuentes de datos.
Haz clic en Crear y, a continuación, en Fuente de datos.
Selecciona BigQuery.
Asigna un nombre a la fuente de datos. En la barra de herramientas, haga clic en las palabras Fuente de datos sin título para sustituir el texto por un nombre descriptivo.
Selecciona Consulta personalizada y, a continuación, tu ID de proyecto.

Pega la siguiente consulta en el editor de consultas:

SELECT
  *
FROM
  `USAGE_METERING_PROJECT_ID.USAGE_METERING_DATASET_ID.COST_BREAKDOWN_TABLE_ID`

Haz clic en Conectar.

Crear el panel de control de Looker Studio

Copia el panel de control de medición del uso de GKE en tu proyecto.
Haz clic en Más opciones y, a continuación, en Hacer una copia.
En el cuadro de diálogo Copiar este informe, seleccione la fuente de datos que ha creado en la lista Nueva fuente de datos.
Haz clic en Copiar informe.

El panel de control se crea y puedes acceder a él en cualquier momento desde la lista de informes de Looker Studio de tu proyecto.

Usar el panel de control de Looker Studio

El panel de control contiene varios informes:

Desglose del uso: Este informe contiene la proporción de uso general del clúster entre todos los clústeres que envían datos de medición de uso a la misma fuente de datos de BigQuery. También incluye información detallada sobre el tipo de recurso, como la CPU, la memoria o la salida de red por espacio de nombres. Puede limitar los datos del informe a uno o varios clústeres o espacios de nombres.
Desglose del uso con recursos no asignados: Este informe es similar al informe de desglose del uso, pero distribuye los recursos no asignados proporcionalmente entre todos los espacios de nombres. Los recursos no asignados incluyen los recursos inactivos y los recursos que no están asignados a inquilinos específicos mediante la medición del uso de GKE.
Desglose de las tendencias de costes por espacio de nombres: Tendencias de uso de todos los clústeres que envían datos de medición de uso a la misma fuente de datos de BigQuery por espacio de nombres. Puedes seleccionar uno o varios clústeres, espacios de nombres, recursos o SKUs.
Tendencias de costes * Desglosar por etiqueta: Tendencias de costes de todos los clústeres que envían datos de medición de uso a la misma fuente de datos de BigQuery. Puedes seleccionar uno o varios clústeres, recursos, nombres de etiquetas o valores de etiquetas.
Medición basada en el consumo: Tendencias de consumo de todos los clústeres que envían datos de medición de uso a la misma fuente de datos de BigQuery. Puede seleccionar uno o varios espacios de nombres, claves de etiqueta o valores de etiqueta. Este informe solo se rellena si la medición del consumo de recursos está habilitada en al menos un clúster.

Puedes cambiar de página con el menú de navegación. Puedes cambiar el periodo de una página con el selector de fechas. Para compartir el informe con miembros de tu organización o revocar el acceso, haz clic en Compartir informe.

Una vez que hayas copiado el informe en tu proyecto, podrás personalizarlo con el editor de informes de Looker Studio. Aunque cambie la plantilla de informe proporcionada por Google, tu copia no se verá afectada.

Consultar datos de medición de uso de GKE con BigQuery

Para ver datos sobre las solicitudes de recursos mediante BigQuery, consulta la tabla gke_cluster_resource_usage del conjunto de datos de BigQuery correspondiente.

Para ver datos sobre el consumo real de recursos, consulta la tabla gke_cluster_resource_consumption. Los datos de consumo de salida de red permanecen en gke_cluster_resource_usage porque no hay ningún concepto de solicitudes de recursos para las salidas.

Para obtener más información sobre cómo usar consultas en BigQuery, consulta el artículo Ejecutar consultas. Los campos del esquema son estables, aunque es posible que se añadan más en el futuro.

Estas consultas son ejemplos sencillos. Personaliza tu consulta para encontrar los datos que necesitas.

Consultar solicitudes de recursos

SELECT
  cluster_name,
  labels,
  usage
FROM
  'CLUSTER_GCP_PROJECT.USAGE_METERING_DATASET.gke_cluster_resource_usage'
WHERE
  namespace="NAMESPACE"

Consulta de consumo de recursos

SELECT
  cluster_name,
  labels,
  usage
FROM
  'CLUSTER_GCP_PROJECT.USAGE_METERING_DATASET.gke_cluster_resource_consumption'
WHERE
  namespace="NAMESPACE"

Haz los cambios siguientes:

CLUSTER_GCP_PROJECT: el nombre del proyecto Google Cloud que contiene el clúster que quieres consultar.
USAGE_METERING_DATASET: el nombre de tu tabla de medición del uso.
NAMESPACE: el nombre de tu espacio de nombres.

Más ejemplos

Despliega las siguientes secciones para ver ejemplos más complejos.

Cómo consultar los costes desglosados por espacio de nombres

Estas consultas ignoran el uso de recursos de un clúster cuando la información de facturación del recurso de nube asociado aún no se ha exportado al conjunto de datos de exportación de facturación Google Cloud . Este retraso se produce cuando el periodo de un registro de uso de un recurso en la nube es anterior al del registro más reciente de los Google Cloud datos de facturación exportados. La latencia de la exportación de facturación puede ser de hasta 5 horas.

Solicitudes de recursos

SELECT
  resource_usage.cluster_name,
  resource_usage.cluster_location,
  resource_usage.namespace,
  resource_usage.resource_name,
  resource_usage.sku_id,
  MIN(resource_usage.start_time) AS usage_start_time,
  MAX(resource_usage.end_time) AS usage_end_time,
  SUM(resource_usage.usage.amount * gcp_billing_export.rate) AS cost
FROM
  'CLUSTER_GCP_PROJECT.USAGE_METERING_DATASET.gke_cluster_resource_usage' AS resource_usage
LEFT JOIN (
  SELECT
    sku.id AS sku_id,
    SUM(cost) / SUM(usage.amount) AS rate,
    MIN(usage_start_time) AS min_usage_start_time,
    MAX(usage_end_time) AS max_usage_end_time
  FROM
    'CLUSTER_GCP_PROJECT.BILLING_DATASET.BILLING_TABLE'
  WHERE
    project.id = "CLUSTER_GCP_PROJECT"
  GROUP BY
    sku_id) AS gcp_billing_export
ON
  resource_usage.sku_id = gcp_billing_export.sku_id
WHERE
  resource_usage.start_time >= gcp_billing_export.min_usage_start_time
  AND resource_usage.end_time <= gcp_billing_export.max_usage_end_time
GROUP BY
  resource_usage.cluster_name,
  resource_usage.cluster_location,
  resource_usage.namespace,
  resource_usage.resource_name,
  resource_usage.sku_id

Consumo de recursos

SELECT
  resource_usage.cluster_name,
  resource_usage.cluster_location,
  resource_usage.namespace,
  resource_usage.resource_name,
  resource_usage.sku_id,
  MIN(resource_usage.start_time) AS usage_start_time,
  MAX(resource_usage.end_time) AS usage_end_time,
  SUM(resource_usage.usage.amount * gcp_billing_export.rate) AS cost
FROM
  'CLUSTER_GCP_PROJECT.USAGE_METERING_DATASET.gke_cluster_resource_consumption' AS resource_usage
LEFT JOIN (
  SELECT
    sku.id AS sku_id,
    SUM(cost) / SUM(usage.amount) AS rate,
    MIN(usage_start_time) AS min_usage_start_time,
    MAX(usage_end_time) AS max_usage_end_time
  FROM
    'CLUSTER_GCP_PROJECT.BILLING_DATASET.BILLING_TABLE'
  WHERE
    project.id = "CLUSTER_GCP_PROJECT"
  GROUP BY
    sku_id) AS gcp_billing_export
ON
  resource_usage.sku_id = gcp_billing_export.sku_id
WHERE
  resource_usage.start_time >= gcp_billing_export.min_usage_start_time
  AND resource_usage.end_time <= gcp_billing_export.max_usage_end_time
GROUP BY
  resource_usage.cluster_name,
  resource_usage.cluster_location,
  resource_usage.namespace,
  resource_usage.resource_name,
  resource_usage.sku_id

Cómo consultar los costes de un periodo concreto desglosados por espacio de nombres y etiquetas

Estas consultas muestran los costes de un periodo concreto por etiquetas de espacios de nombres.

Solicitudes de recursos por periodo, agrupadas por espacios de nombres y etiquetas

DECLARE drilldown_label STRING DEFAULT 'DRILLDOWN_LABEL';
DECLARE project_id STRING default "CLUSTER_GCP_PROJECT";

SELECT
  DATE(start_time) as date,
  resource_usage.cluster_name,
  resource_usage.cluster_location,
  resource_usage.namespace,
  label.value AS label_value,
  resource_usage.resource_name,
  resource_usage.sku_id,
  gcp_billing_export.sku_description,
  SUM(resource_usage.usage.amount) AS usage,
  resource_usage.usage.unit AS usage_unit,
  SUM(resource_usage.usage.amount * gcp_billing_export.rate) AS cost_estimate,
  gcp_billing_export.currency
FROM
  'CLUSTER_GCP_PROJECT.USAGE_METERING_DATASET.gke_cluster_resource_usage' AS resource_usage

-- select only workloads matching the defined "drilldown_label"
  CROSS JOIN UNNEST(labels) AS label ON label.key=drilldown_label

-- join with billing table to get pricing information and sku description
  LEFT JOIN (
  SELECT
    DATE(usage_start_time) as date,
    sku.id AS sku_id,
    sku.description AS sku_description,
    SAFE_DIVIDE(SUM(cost), SUM(usage.amount)) AS rate,
    currency
  FROM
    'CLUSTER_GCP_PROJECT.BILLING_DATASET.BILLING_TABLE'
  WHERE
    project.id = project_id
  GROUP BY
    date,
    sku_id,
    sku_description,
    currency) AS gcp_billing_export
  ON DATE(resource_usage.start_time) = gcp_billing_export.date AND resource_usage.sku_id = gcp_billing_export.sku_id

GROUP BY
  date,
  cluster_name,
  cluster_location,
  namespace,
  label_value,
  resource_name,
  sku_id,
  sku_description,
  usage_unit,
  currency

ORDER BY
  date,
  cluster_name,
  cluster_location,
  namespace,
  label_value,
  resource_name

Consumo de recursos por periodo, agrupado por espacios de nombres y etiquetas

DECLARE drilldown_label STRING DEFAULT 'DRILLDOWN_LABEL';
DECLARE project_id STRING default "CLUSTER_GCP_PROJECT";

SELECT
  DATE(start_time) as date,
  resource_usage.cluster_name,
  resource_usage.cluster_location,
  resource_usage.namespace,
  label.value AS label_value,
  resource_usage.resource_name,
  resource_usage.sku_id,
  gcp_billing_export.sku_description,
  SUM(resource_usage.usage.amount) AS usage,
  resource_usage.usage.unit AS usage_unit,
  SUM(resource_usage.usage.amount * gcp_billing_export.rate) AS cost_estimate,
  gcp_billing_export.currency
FROM
  'CLUSTER_GCP_PROJECT.USAGE_METERING_DATASET.gke_cluster_resource_consumption' AS resource_usage

-- select only workloads matching the defined "drilldown_label"
  CROSS JOIN UNNEST(labels) AS label ON label.key=drilldown_label

-- join with billing table to get pricing information and sku description
  LEFT JOIN (
  SELECT
    DATE(usage_start_time) as date,
    sku.id AS sku_id,
    sku.description AS sku_description,
    SAFE_DIVIDE(SUM(cost), SUM(usage.amount)) AS rate,
    currency
  FROM
    'CLUSTER_GCP_PROJECT.BILLING_DATASET.BILLING_TABLE'
  WHERE
    project.id = project_id
  GROUP BY
    date,
    sku_id,
    sku_description,
    currency) AS gcp_billing_export
  ON DATE(resource_usage.start_time) = gcp_billing_export.date AND resource_usage.sku_id = gcp_billing_export.sku_id

GROUP BY
  date,
  cluster_name,
  cluster_location,
  namespace,
  label_value,
  resource_name,
  sku_id,
  sku_description,
  usage_unit,
  currency

ORDER BY
  date,
  cluster_name,
  cluster_location,
  namespace,
  label_value,
  resource_name

Cómo mostrar el consumo real de recursos como porcentaje de las solicitudes de recursos a lo largo del tiempo

Esta consulta muestra la proporción entre el consumo real de CPU y las solicitudes de CPU, de modo que puedes ver qué pods solicitan demasiada o demasiado poca CPU en comparación con los requisitos reales.

WITH
  constraints AS (
    SELECT
      TIMESTAMP(START_TIME) as min_time,
      TIMESTAMP(END_TIME) as max_time,
      "CLUSTER_GCP_PROJECT" as project_id
  ),
  request_based_amount_by_namespace AS (
    SELECT
      namespace,
      resource_name,
      SUM(usage.amount) AS requested_amount,
      usage.unit AS unit
    FROM
      'CLUSTER_GCP_PROJECT.USAGE_METERING_DATASET.gke_cluster_resource_usage' as requested_resource_usage
    INNER JOIN
      constraints
    ON
      requested_resource_usage.start_time >= constraints.min_time
      AND requested_resource_usage.end_time <= constraints.max_time
      AND requested_resource_usage.project.id = constraints.project_id
    GROUP BY
      namespace, resource_name, usage.unit
  ),
  consumption_based_amount_by_namespace AS (
    SELECT
      namespace,
      resource_name,
      SUM(usage.amount) AS consumed_amount,
      usage.unit AS unit
    FROM
      'CLUSTER_GCP_PROJECT.USAGE_METERING_DATASET.gke_cluster_resource_consumption' as consumed_resource_usage
    INNER JOIN
      constraints
    ON
      consumed_resource_usage.start_time >= constraints.min_time
      AND consumed_resource_usage.end_time <= constraints.max_time
      AND consumed_resource_usage.project.id = constraints.project_id
    GROUP BY
      namespace, resource_name, usage.unit
  )
SELECT
  request_based_amount_by_namespace.namespace,
  request_based_amount_by_namespace.resource_name,
  requested_amount,
  consumed_amount,
  request_based_amount_by_namespace.unit,
  CASE
    WHEN consumed_amount IS NULL THEN NULL
    WHEN requested_amount = 0 THEN NULL
    ELSE consumed_amount / requested_amount END
      AS consumption_to_request_ratio
FROM
  request_based_amount_by_namespace
  FULL JOIN
  consumption_based_amount_by_namespace
  ON
  request_based_amount_by_namespace.namespace = consumption_based_amount_by_namespace.namespace
  AND
  request_based_amount_by_namespace.resource_name = consumption_based_amount_by_namespace.resource_name
ORDER BY
  consumption_to_request_ratio
DESC

Esquema de medición del uso de GKE en BigQuery

En la siguiente tabla se describe el esquema de las tablas de medición de uso de GKE del conjunto de datos de BigQuery. Si tu clúster ejecuta una versión de GKE que admite la medición del consumo de recursos y las solicitudes de recursos, se crea una tabla adicional con el mismo esquema.

Campo	Tipo	Descripción
`cluster_location`	`STRING`	Nombre de la zona o región de Compute Engine en la que se encuentra el clúster de GKE.
`cluster_name`	`STRING`	Nombre del clúster de GKE.
`namespace`	`STRING`	El espacio de nombres de Kubernetes del que se genera el uso.
`resource_name`	`STRING`	Nombre del recurso, como "cpu", "memory" y "storage".
`sku_id`	`STRING`	Es el ID de SKU del recurso de nube Google Cloud subyacente.
`start_time`	`TIMESTAMP`	Marca de tiempo UNIX que indica cuándo empezó el uso.
`end_time`	`TIMESTAMP`	Marca de tiempo UNIX de cuándo finalizó el uso.
`fraction`	`FLOAT`	La fracción de un recurso de nube que se ha usado. En el caso de un recurso de nube dedicado que solo utiliza un espacio de nombres, la fracción siempre es 1.0. En el caso de los recursos compartidos entre varios espacios de nombres, la fracción se calcula dividiendo la cantidad solicitada entre la capacidad total del recurso de nube subyacente.
`cloud_resource_size`	`INTEGER`	Tamaño del recurso Google Cloud subyacente. Por ejemplo, el tamaño de las vCPUs de una instancia n1-standard-2 es 2.
`labels.key`	`STRING`	Clave de una etiqueta de Kubernetes asociada al uso.
`labels.value`	`STRING`	Valor de una etiqueta de Kubernetes asociada al uso.
`project.id`	`STRING`	El ID del proyecto en el que se encuentra el clúster de GKE.
`usage.amount`	`FLOAT`	Es la cantidad de `usage.unit` que se ha utilizado.
`usage.unit`	`STRING`	Es la unidad básica en la que se mide el uso del recurso. Por ejemplo, la unidad básica para medir el almacenamiento estándar es byte-seconds (bytes por segundo).

Las unidades de la medición de uso de GKE deben interpretarse de la siguiente manera:

La CPU usage.unit es segundos, que es el tiempo total de CPU que ha solicitado o utilizado un pod. Por ejemplo, si tenemos dos pods que solicitan 30 CPUs cada uno y se ejecutan durante 15 minutos,la cantidad agregada de la tabla de solicitudes es de 54.000 segundos (2 pods × 30 CPUs × 15 minutos × 60 segundos/minuto).
La memoria usage.unit es bytes-segundos, que es la integral de la memoria a lo largo del tiempo que ha solicitado o utilizado un pod. Por ejemplo, si tenemos dos pods que solicitan 30 GiB cada uno y se ejecutan durante 15 minutos, la cantidad agregada de la tabla de solicitudes es de 5.798+13 byte-segundos (2 pods * 30 GiB * 15 minutos * 60 segundos/minuto * 1073741824 bytes/GiB).

Cuándo se escriben los datos de medición de uso de GKE en BigQuery

La medición de uso de GKE escribe registros de uso en métricas de BigQuery en dos situaciones:

La fase del Pod cambia a succeeded o failed, o cuando se elimina el Pod.
Se alcanza la marca de tiempo de la programación horaria para escribir registros mientras el pod sigue en ejecución.

La medición de uso de GKE genera una programación horaria en la que escribe registros de uso de pods en BigQuery para todos los pods que se estén ejecutando en ese momento. La marca de tiempo de la programación no es la misma en todos los clústeres.

Si tienes varios pods en ejecución en esa marca de tiempo, encontrarás varios registros de uso con el mismo end_time. Estos registros de uso end_time indican la marca de tiempo de la programación por horas.

Además, si tienes varios pods que han estado activos durante varias horas, también tendrás un conjunto de registros de uso con un end_time que coincida con el start_time de otro conjunto de registros de uso.

Inhabilitar la medición del uso de GKE

gcloud

Para inhabilitar la medición de uso de GKE en un clúster, ejecuta el siguiente comando:

gcloud container clusters update CLUSTER_NAME \
    --clear-resource-usage-bigquery-dataset

Consola

Ve a la página Google Kubernetes Engine en la consola de Google Cloud .

Ir a Google Kubernetes Engine
Junto al clúster que quieras modificar, haz clic en Acciones y, a continuación, en Editar.
En Funciones, haz clic en Editar junto a Medición del uso de GKE.
Desmarca Habilitar la medición de uso de GKE.
Haz clic en Guardar cambios.

Comprender el uso de recursos de los clústeres Organízate con las colecciones Guarda y clasifica el contenido según tus preferencias.

Información general

Antes de empezar

Limitaciones

Requisitos previos

Habilitar la medición de uso de GKE

Crear el conjunto de datos de BigQuery

Habilitar la medición de uso de GKE en un clúster

Crear una agrupación

gcloud

Consola

Configurar un clúster

gcloud

Consola

Opcional: Habilitar medición de salida de red

Verificar que la medición de uso de GKE esté habilitada

Elige uno o varios conjuntos de datos de BigQuery

Visualizar los datos de medición del uso de GKE con un panel de control de Looker Studio

Requisitos previos

Crear la tabla de desglose de costes de BigQuery

Crear la fuente de datos de BigQuery

Crear el panel de control de Looker Studio

Usar el panel de control de Looker Studio

Consultar datos de medición de uso de GKE con BigQuery

Consultar solicitudes de recursos

Consulta de consumo de recursos

Más ejemplos

Cómo consultar los costes desglosados por espacio de nombres

Solicitudes de recursos

Consumo de recursos

Cómo consultar los costes de un periodo concreto desglosados por espacio de nombres y etiquetas

Solicitudes de recursos por periodo, agrupadas por espacios de nombres y etiquetas

Consumo de recursos por periodo, agrupado por espacios de nombres y etiquetas

Cómo mostrar el consumo real de recursos como porcentaje de las solicitudes de recursos a lo largo del tiempo

Esquema de medición del uso de GKE en BigQuery

Cuándo se escriben los datos de medición de uso de GKE en BigQuery

Inhabilitar la medición del uso de GKE

gcloud

Consola

Siguientes pasos

Comprender el uso de recursos de los clústeres