Como entender o uso de recursos do cluster

Standard

Nesta página, você aprende a medir o uso do GKE. Assim, será possível entender os perfis da utilização dos clusters do Google Kubernetes Engine (GKE) e associar o uso a equipes ou unidades de negócios individuais dentro da organização. A medição de uso do GKE não é cobrada no seu projeto. Com ela, você analisa a utilização de recursos em um nível granular.

Visão geral

Com a medição de uso do GKE, você rastreia informações sobre as solicitações e o uso real de recursos das cargas de trabalho do cluster. Atualmente, essas informações incluem CPU, GPU, TPU, memória, armazenamento e saída de rede (opcional). É possível diferenciar o uso de recursos por meio de namespaces e de rótulos (links em inglês) do Kubernetes ou uma combinação de ambos.

Os dados ficam armazenados no BigQuery. Nele, é possível consultá-los diretamente ou exportá-los para análise usando ferramentas externas, como o Looker Studio.

A medição de uso do GKE é aplicável a casos como estes:

Rastrear o consumo real e as solicitações dos recursos por locatário em um cluster de multilocação. Nesse cluster, cada locatário é operado em um determinado namespace.
Determinar o consumo de recursos de uma carga de trabalho em execução em um determinado cluster. Isso é feito ao atribuir um rótulo exclusivo aos objetos do Kubernetes associados à carga de trabalho.
Identificar as cargas de trabalho com solicitações de recursos que sejam muito diferentes do consumo real. Assim, é possível aumentar a eficiência da alocação de recursos em cada carga de trabalho.

Antes de começar

Antes de começar, verifique se você realizou as tarefas a seguir:

Ativar a API Google Kubernetes Engine.

Ativar a API Google Kubernetes Engine

Se você quiser usar a Google Cloud CLI para essa tarefa, instale e, em seguida, inicialize a CLI gcloud. Se você instalou a CLI gcloud anteriormente, instale a versão mais recente executando gcloud components update.
Observação: para instalações atuais da CLI gcloud, defina as propriedades compute/region e compute/zone. Ao definir locais padrão, é possível evitar erros na CLI gcloud, como: One of [--zone, --region] must be supplied: Please specify location.

Limitações

É possível usar as consultas de amostra do BigQuery e o modelo do Looker Studio para unir os dados de medição de uso do GKE aos dados exportados do faturamento no Google Cloud no BigQuery. Desta forma, é possível estimar um detalhamento de custos por cluster, namespace e identificadores.

Os dados de medição de uso do GKE servem apenas para orientação e não afetam sua fatura do Google Cloud. Para os dados de faturamento, sua fatura do Google Cloud é a única fonte de informações.

Considere as seguintes limitações:

Créditos ou descontos especiais em contratos não são considerados.
Recursos criados fora do escopo do GKE não são rastreados por namespace ou rótulo.
Somente rótulos de objetos Pod e PersistentVolumeClaim são rastreados por relatórios de uso.
Somente PersistentVolumes provisionados dinamicamente são compatíveis.
Somente os tipos de disco pd-standard e pd-ssd são compatíveis. A medição de uso do GKE pode incluir custos das versões regionais dos dois tipos de disco com o mesmo SKU.
O Looker Studio não é compatível com a visualização de tipos de máquinas com capacidade de bursting.
Só é possível exportar dados para um conjunto de dados do BigQuery que esteja no mesmo projeto que o cluster.
Não é possível usar as portas 27304, 47082 e 47083 porque elas são reservadas pelo rastreamento de saída de rede.
Os objetos StorageClass personalizados não são compatíveis.
O rastreamento de saída de rede não é compatível com nós do Windows Server.
A medição de saída de rede não é compatível com o VPC compartilhado ou o peering de rede VPC.
A medição de saída de rede não é compatível com clusters com mais de 150 nós.

Pré-requisitos

Antes de utilizar a medição de uso do GKE, atenda aos pré-requisitos a seguir:

Para rastrear o consumo real de recursos, o cluster precisa usar o GKE 1.14.2-gke.3 ou superior.
Se você estiver usando tipos de máquina E2 ou N2, a versão do cluster precisará ser GKE 1.15.11-gke.9 ou posterior.
A exportação de faturamento para o BigQuery está ativada. As cobranças estão associadas ao uso do BigQuery.
A versão 250.0.0 ou superior do comando gcloud é obrigatória. Use gcloud --version para verificar.
É preciso ativar a API BigQuery no projeto do Google Cloud. Se você ativou o GKE pela primeira vez depois de julho de 2018, a API já está ativada.

Ativar a medição de uso do GKE

Para ativar a medição de uso do GKE, primeiro crie um conjunto de dados do BigQuery para um cluster, para vários clusters no projeto ou para o projeto inteiro. Para mais informações sobre como escolher um mapeamento entre conjuntos de dados e clusters, consulte esta página.

Em seguida, ative a medição de uso do GKE ao criar um novo cluster ou modificar um atual.

Outra opção é criar um painel do Looker Studio para conferir o uso de recursos dos clusters.

Crie o conjunto de dados do BigQuery

Para usar a medição de uso do GKE para clusters em seu projeto do Google Cloud, primeiro crie o conjunto de dados do BigQuery e configure clusters para usá-lo. Em um único conjunto de dados do BigQuery, é possível armazenar informações sobre o uso de recursos de vários clusters no mesmo projeto.

Para mais detalhes, consulte Como criar conjuntos de dados. Defina Default table expiration para o conjunto de dados como Never para que a tabela não expire. Se uma tabela expirar, ela será recriada automaticamente como uma tabela vazia.

Como ativar a medição de uso do GKE em um cluster

É possível ativar a medição de uso do GKE em um cluster novo ou atual, usando o comando gcloud ou o Console do Google Cloud.

A ativação da medição de uso do GKE também ativa a medição do consumo de recursos por padrão. Para desativar seletivamente a medição de consumo de recursos enquanto continua a rastrear solicitações de recursos, consulte as instruções específicas para ativar a medição de uso do GKE usando o comando gcloud, neste tópico.

A medição de saída de rede está desativada por padrão. Para ativá-la, consulte neste tópico os avisos e instruções em Opcional: como ativar a medição da saída de rede.

Criar um novo cluster

Crie um cluster usando a gcloud CLI ou o Console do Google Cloud.

gcloud

Para criar um cluster com a medição de uso do GKE ativada, execute o comando a seguir:

gcloud container clusters create CLUSTER_NAME \
    --resource-usage-bigquery-dataset RESOURCE_USAGE_DATASET

Substitua:

CLUSTER_NAME: o nome do cluster do GKE.
RESOURCE_USAGE_DATASET: o nome do conjunto de dados do BigQuery.

A medição do consumo de recursos é ativada por padrão. Para desativá-lo e rastrear somente solicitações de recursos, adicione a sinalização --no-enable-resource-consumption- metering ao comando anterior. Você também precisa modificar os outros códigos de exemplo deste tópico para que eles não consultem o consumo de recursos.

Se necessário, as tabelas exigidas são criadas no conjunto de dados do BigQuery quando o cluster é iniciado.

Console

Para criar um cluster com a medição de uso do GKE ativada:

Acesse a página Google Kubernetes Engine no console do Google Cloud.

Acessar o Google Kubernetes Engine
Clique em Criar.
No painel de navegação, em Cluster, clique em Recursos.
Selecione Ativar medição de uso do GKE.
Insira o nome do conjunto de dados do BigQuery.
Se quiser, selecione a opção Ativar medição de saída de rede depois de consultar os avisos e as instruções em Opcional: como ativar a medição da saída de rede.
Continue configurando o cluster e clique em Criar.

Configurar um cluster atual

gcloud

Para ativar a medição de uso do GKE em um cluster atual, execute o comando a seguir:

gcloud container clusters update CLUSTER_NAME \
    --resource-usage-bigquery-dataset RESOURCE_USAGE_DATASET

Também é possível alterar o conjunto de dados que um cluster atual usa para armazenar os respectivos dados de medição de uso. Para isso, altere o valor da sinalização --resource-usage-bigquery-dataset.

Se necessário, uma tabela é criada no conjunto de dados do BigQuery quando o cluster é atualizado.

Console

Acesse a página do Google Kubernetes Engine no console do Google Cloud.

Acessar o Google Kubernetes Engine
Ao lado do cluster que você quer modificar, clique em Ações e, depois, em Editar.
Em Recursos, clique em Editar ao lado de Medição de uso do GKE.
Selecione Ativar medição de uso do GKE.
Insira o nome do conjunto de dados do BigQuery.
Se quiser, selecione a opção Ativar medição de saída de rede depois de consultar os avisos e as instruções em Opcional: como ativar a medição da saída de rede.
Clique em Salvar alterações.

Opcional: ativar a medição da saída de rede

Por padrão, os dados de saída de rede não são coletados ou exportados. A medição da saída de rede requer um agente de medição de rede (NMA) em execução em cada nó. O NMA, executado como um pod privilegiado, consome alguns recursos no nó (CPU, memória e espaço em disco), além de ativar a flag nf_conntrack_acct sysctl no kernel para a contabilidade do fluxo de rastreamento de conexão.

Se você já tiver familiaridade com esses avisos, ative o rastreamento de saída de rede e use-o com a medição de uso do GKE. Para ativar o acompanhamento de saída de rede, inclua a opção --enable-network-egress-metering ao criar ou atualizar o cluster, ou selecione Ativar a medição de saída de rede ao habilitar a medição de uso do GKE no Console do Google Cloud.

Para desativar a medição de saída de rede, adicione a sinalização --no-enable-network-egress-metering ao atualizar o cluster com a linha de comando. Também é possível desmarcar Ativar medição de saída de rede na seção de medição de uso do GKE do cluster no Console do Google Cloud.

Como verificar se a medição de uso do GKE está ativada

Para verificar se a medição de uso do GKE está ativada em um cluster e confirmar qual conjunto de dados do BigQuery armazena os dados de uso de recursos do cluster, execute o seguinte comando:

gcloud container clusters describe CLUSTER_NAME \
    --format="value(resourceUsageExportConfig)"

Se você não ativar a medição de uso do GKE, receberá uma saída vazia. Quando a medição é ativada, é mostrado o conjunto de dados do BigQuery usado pelo cluster em uma saída como esta:

bigqueryDestination={u'datasetId': u'test_usage_metering_dataset'}

Escolher um ou mais conjuntos de dados do BigQuery

Um conjunto de dados pode conter dados de medição de uso do GKE referentes a um ou mais clusters no seu projeto. O uso de um ou vários conjuntos de dados depende das suas necessidades de segurança:

Um único conjunto de dados para todo o projeto simplifica a administração.
Um conjunto de dados por cluster permite delegar acesso granular aos conjuntos de dados.
Um conjunto de dados por grupo relacionado de clusters permite que você encontre a combinação certa de simplicidade e granularidade para suas necessidades.

Visualizar dados de medição de uso do GKE utilizando um painel do Looker Studio

É possível visualizar os dados de medição de uso do GKE utilizando um painel do Looker Studio. Isso permite filtrar os dados por nome de cluster, namespace ou rótulo. Também é possível ajustar o período de relatório dinamicamente. Se você tem experiência com o Looker Studio e o BigQuery, crie um painel personalizado. Também é possível clonar um painel que criamos especificamente para a medição de uso do GKE.

Use o painel para visualizar as solicitações e o consumo de recursos nos clusters ao longo do tempo.

Pré-requisitos

Ative Exportar dados de faturamento do Google Cloud para o BigQuery, caso ainda não esteja ativado.

Durante esse processo, você cria um conjunto de dados, mas a tabela no conjunto de dados pode levar até cinco horas para aparecer e começar a ser preenchida. Quando a tabela é exibida, o nome dela é gcp_billing_export_v1_BILLING_ACCOUNT_ID.
Ative a medição de uso do GKE em pelo menos um cluster no projeto. Anote o nome escolhido para o conjunto de dados do BigQuery.
Ative o Looker Studio se ainda não estiver ativado.
Consiga as informações a seguir, que são necessárias para configurar o painel:
- Tabela de dados e ID do conjunto de dados de exportação do Faturamento do Cloud
- ID do conjunto de dados de medição de uso do GKE
Verifique se você tem a versão 2.0.58 ou posterior da CLI do BigQuery. Para verificar a versão, execute bq version e gcloud components update para atualizar a CLI do BigQuery.
Os comandos desta seção precisam ser executados em um terminal Linux ou no Cloud Shell.

Criar a tabela de detalhamento de custos do BigQuery

Faça o download de um dos seguintes modelos de consulta:
- Se você ativou a medição de consumo, faça o download de this template.
- Se você não ativou a medição de consumo, faça o download de this template.
Se você estiver usando o Cloud Shell, copie esse arquivo para o diretório em que você executa os comandos a seguir.
Execute o seguinte comando para definir as variáveis de ambiente:
```
export GCP_BILLING_EXPORT_TABLE_FULL_PATH=YOUR_BILLING_EXPORT_TABLE_PATH
export USAGE_METERING_PROJECT_ID=YOUR_USAGE_METERING_PROJECT_ID
export USAGE_METERING_DATASET_ID=YOUR_USAGE_METERING_DATASET_ID
export USAGE_METERING_START_DATE=YOUR_USAGE_METERING_START_DATE
export COST_BREAKDOWN_TABLE_ID=YOUR_COST_BREAKDOWN_TABLE_ID
export USAGE_METERING_QUERY_TEMPLATE=YOUR_TEMPLATE_PATH
export USAGE_METERING_QUERY=YOUR_RENDERED_QUERY_PATH
```
Substitua:
- YOUR_BILLING_EXPORT_TABLE_PATH: o caminho para a tabela de exportação de faturamento gerada. Essa tabela tem um nome semelhante a PROJECT_ID.DATASET_ID.gcp_billing_export_v1_xxxx.
- YOUR_USAGE_METERING_PROJECT_ID: o nome do seu projeto do Google Cloud.
- YOUR_USAGE_METERING_DATASET_ID: o nome do conjunto de dados que você criou no BigQuery, como all_billing_data.
- YOUR_USAGE_METERING_START_DATE: a data de início da consulta no formato YYYY-MM-DD.
- YOUR_COST_BREAKDOWN_TABLE_ID: o nome de uma nova tabela que você escolheu, como usage_metering_cost_breakdown. Essa tabela é usada como entrada para o Looker Studio.
- YOUR_TEMPLATE_PATH: o nome do modelo de consulta salvo, usage_metering_query_template_request_and_consumption.sql ou usage_metering_query_template_request_only.sql.
- YOUR_RENDERED_QUERY_PATH: o nome do caminho da consulta renderizada, como cost_breakdown_query.sql.
Por exemplo, as variáveis de ambiente podem ser semelhantes a:
```
export GCP_BILLING_EXPORT_TABLE_FULL_PATH=my-billing-project.all_billing_data.gcp_billing_export_v1_xxxx
export USAGE_METERING_PROJECT_ID=my-billing-project
export USAGE_METERING_DATASET_ID=all_billing_data
export USAGE_METERING_START_DATE=2022-05-01
export COST_BREAKDOWN_TABLE_ID=usage_metering_cost_breakdown
export USAGE_METERING_QUERY_TEMPLATE=usage_metering_query_template_request_only.sql
export USAGE_METERING_QUERY=cost_breakdown_query.sql
```

Renderize a consulta usando o modelo:

sed \
-e "s/\${fullGCPBillingExportTableID}/$GCP_BILLING_EXPORT_TABLE_FULL_PATH/" \
-e "s/\${projectID}/$USAGE_METERING_PROJECT_ID/" \
-e "s/\${datasetID}/$USAGE_METERING_DATASET_ID/" \
-e "s/\${startDate}/$USAGE_METERING_START_DATE/" \
"$USAGE_METERING_QUERY_TEMPLATE" \
> "$USAGE_METERING_QUERY"

Crie uma nova tabela de detalhamento de custos que seja atualizada a cada 24 horas:

bq query \
--project_id=$USAGE_METERING_PROJECT_ID \
--use_legacy_sql=false \
--destination_table=$USAGE_METERING_DATASET_ID.$COST_BREAKDOWN_TABLE_ID \
--schedule='every 24 hours' \
--display_name="GKE Usage Metering Cost Breakdown Scheduled Query" \
--replace=true \
"$(cat $USAGE_METERING_QUERY)"

Para mais informações sobre como programar consultas, acesse Configurar consultas programadas.

Criar a fonte de dados do BigQuery

No Looker Studio, acesse Fontes de dados.
Clique em Criar e, depois, em Fonte de dados.
Selecione BigQuery.
Nomeie a fonte de dados. Na barra de ferramentas, clique em Fonte de dados sem título para substituir o texto por um nome descritivo.
Selecione Consulta personalizada e o código do projeto.

Cole a consulta a seguir no "Editor de consultas".

SELECT
  *
FROM
  `USAGE_METERING_PROJECT_ID.USAGE_METERING_DATASET_ID.COST_BREAKDOWN_TABLE_ID`

Clique em Conectar.

Criar o painel do Looker Studio

Copie o painel de medição de uso do GKE para seu projeto.
Clique em Mais opções e em Fazer uma cópia.
Na caixa de diálogo Copiar este relatório, na lista Nova fonte de dados, selecione a fonte de dados que você criou.
Clique em Copiar relatório.

O painel é criado e é possível acessá-lo a qualquer momento na lista de relatórios do Looker Studio para o projeto.

Usar o painel do Looker Studio

O painel contém vários relatórios:

Detalhes de uso: Esse relatório contém a proporção geral de uso do cluster entre todos os clusters que enviam dados de medição de uso para a mesma fonte de dados do BigQuery. Ele também inclui informações detalhadas sobre o tipo de recurso, como CPU, memória ou saída de rede por namespace. É possível limitar os dados do relatório a um ou mais clusters ou namespaces individuais.
Detalhamento de uso com recursos não alocados: Semelhante ao relatório de detalhamento de uso, ele distribui os recursos não alocados proporcionalmente em todos os namespaces. Isso inclui recursos inativos e todos os outros que a medição de uso do GKE não aloca atualmente a locatários específicos.
Tendências de custo * detalhamento por namespace: Tendências de custo entre todos os clusters que enviam dados de medição de uso para a mesma fonte de dados do BigQuery, detalhadas por namespace. É possível selecionar um ou mais clusters, namespaces, recursos ou SKUs individuais.
Tendências de custo * detalhamento por rótulo: Tendências de custo entre todos os clusters que enviam dados de medição de uso para a mesma fonte de dados do BigQuery. É possível selecionar um ou mais clusters, recursos e nomes ou valores de rótulo individuais.
Medição baseada no consumo: Tendências de consumo entre todos os clusters que enviam dados de medição de uso para a mesma fonte de dados do BigQuery. É possível selecionar um ou mais namespaces e chaves ou valores de rótulo individuais. Esse relatório será preenchido somente se a medição de consumo de recursos estiver ativada em pelo menos um cluster.

Você pode mudar as páginas usando o menu de navegação. Altere o período de uma página usando o seletor de datas. Para compartilhar o relatório com membros da sua organização ou revogar o acesso, clique em Compartilhar relatório.

Depois de copiar o relatório para o projeto, personalize-o com o editor de relatórios do Looker Studio. Mesmo que o modelo de relatório fornecido pelo Google seja alterado, sua cópia não será afetada.

Analisar os dados de medição de uso do GKE utilizando o BigQuery

Para ver dados sobre solicitações de recursos usando o BigQuery, consulte a tabela gke_cluster_resource_usage no conjunto de dados relevante do BigQuery.

Para ver dados sobre o consumo real de recursos, consulte a tabela gke_cluster_resource_consumption. Os dados de consumo de saída de rede permanecem em gke_cluster_resource_usage porque não há um conceito de solicitações de recursos para a saída.

Para ver mais informações sobre como usar consultas no BigQuery, consulte Como executar consultas. Os campos do esquema são estáveis, ainda que mais campos possam ser adicionados no futuro.

Essas consultas são exemplos simples. Personalize sua consulta para encontrar os dados de que você precisa.

Consultar solicitações de recursos

SELECT
  cluster_name,
  labels,
  usage
FROM
  'CLUSTER_GCP_PROJECT.USAGE_METERING_DATASET.gke_cluster_resource_usage'
WHERE
  namespace="NAMESPACE"

Consultar o consumo de recursos

SELECT
  cluster_name,
  labels,
  usage
FROM
  'CLUSTER_GCP_PROJECT.USAGE_METERING_DATASET.gke_cluster_resource_consumption'
WHERE
  namespace="NAMESPACE"

Substitua:

CLUSTER_GCP_PROJECT: o nome do projeto do Google Cloud que contém o cluster que você quer consultar.
USAGE_METERING_DATASET: o nome da tabela de medição de uso.
NAMESPACE: o nome do namespace.

Mais exemplos

Expanda as seções a seguir para ver exemplos mais avançados.

Como consultar custos discriminados por namespace

Essas consultas ignoram o uso de recursos de um cluster quando as informações de faturamento do recurso de nuvem associado ainda não foram exportadas para o conjunto de dados de exportação de faturamento do Google Cloud. Esse atraso acontece quando a janela de tempo de um registro de uso de recursos da nuvem está adiantada em relação ao último registro nos dados de faturamento do Google Cloud exportados. A latência da exportação de faturamento pode ser de até cinco horas.

Solicitações de recursos

SELECT
  resource_usage.cluster_name,
  resource_usage.cluster_location,
  resource_usage.namespace,
  resource_usage.resource_name,
  resource_usage.sku_id,
  MIN(resource_usage.start_time) AS usage_start_time,
  MAX(resource_usage.end_time) AS usage_end_time,
  SUM(resource_usage.usage.amount * gcp_billing_export.rate) AS cost
FROM
  'CLUSTER_GCP_PROJECT.USAGE_METERING_DATASET.gke_cluster_resource_usage' AS resource_usage
LEFT JOIN (
  SELECT
    sku.id AS sku_id,
    SUM(cost) / SUM(usage.amount) AS rate,
    MIN(usage_start_time) AS min_usage_start_time,
    MAX(usage_end_time) AS max_usage_end_time
  FROM
    'CLUSTER_GCP_PROJECT.BILLING_DATASET.BILLING_TABLE'
  WHERE
    project.id = "CLUSTER_GCP_PROJECT"
  GROUP BY
    sku_id) AS gcp_billing_export
ON
  resource_usage.sku_id = gcp_billing_export.sku_id
WHERE
  resource_usage.start_time >= gcp_billing_export.min_usage_start_time
  AND resource_usage.end_time <= gcp_billing_export.max_usage_end_time
GROUP BY
  resource_usage.cluster_name,
  resource_usage.cluster_location,
  resource_usage.namespace,
  resource_usage.resource_name,
  resource_usage.sku_id

Consumo de recursos

SELECT
  resource_usage.cluster_name,
  resource_usage.cluster_location,
  resource_usage.namespace,
  resource_usage.resource_name,
  resource_usage.sku_id,
  MIN(resource_usage.start_time) AS usage_start_time,
  MAX(resource_usage.end_time) AS usage_end_time,
  SUM(resource_usage.usage.amount * gcp_billing_export.rate) AS cost
FROM
  'CLUSTER_GCP_PROJECT.USAGE_METERING_DATASET.gke_cluster_resource_consumption' AS resource_usage
LEFT JOIN (
  SELECT
    sku.id AS sku_id,
    SUM(cost) / SUM(usage.amount) AS rate,
    MIN(usage_start_time) AS min_usage_start_time,
    MAX(usage_end_time) AS max_usage_end_time
  FROM
    'CLUSTER_GCP_PROJECT.BILLING_DATASET.BILLING_TABLE'
  WHERE
    project.id = "CLUSTER_GCP_PROJECT"
  GROUP BY
    sku_id) AS gcp_billing_export
ON
  resource_usage.sku_id = gcp_billing_export.sku_id
WHERE
  resource_usage.start_time >= gcp_billing_export.min_usage_start_time
  AND resource_usage.end_time <= gcp_billing_export.max_usage_end_time
GROUP BY
  resource_usage.cluster_name,
  resource_usage.cluster_location,
  resource_usage.namespace,
  resource_usage.resource_name,
  resource_usage.sku_id

Como consultar custos em um período específico e discriminados por namespace e rótulos

Com essas consultas, você vê os custos de um período específico detalhados por rótulos e namespaces.

Solicitações de recursos por período, agrupadas por namespaces e rótulos

DECLARE drilldown_label STRING DEFAULT 'DRILLDOWN_LABEL';
DECLARE project_id STRING default "CLUSTER_GCP_PROJECT";

SELECT
  DATE(start_time) as date,
  resource_usage.cluster_name,
  resource_usage.cluster_location,
  resource_usage.namespace,
  label.value AS label_value,
  resource_usage.resource_name,
  resource_usage.sku_id,
  gcp_billing_export.sku_description,
  SUM(resource_usage.usage.amount) AS usage,
  resource_usage.usage.unit AS usage_unit,
  SUM(resource_usage.usage.amount * gcp_billing_export.rate) AS cost_estimate,
  gcp_billing_export.currency
FROM
  'CLUSTER_GCP_PROJECT.USAGE_METERING_DATASET.gke_cluster_resource_usage' AS resource_usage

-- select only workloads matching the defined "drilldown_label"
  CROSS JOIN UNNEST(labels) AS label ON label.key=drilldown_label

-- join with billing table to get pricing information and sku description
  LEFT JOIN (
  SELECT
    DATE(usage_start_time) as date,
    sku.id AS sku_id,
    sku.description AS sku_description,
    SAFE_DIVIDE(SUM(cost), SUM(usage.amount)) AS rate,
    currency
  FROM
    'CLUSTER_GCP_PROJECT.BILLING_DATASET.BILLING_TABLE'
  WHERE
    project.id = project_id
  GROUP BY
    date,
    sku_id,
    sku_description,
    currency) AS gcp_billing_export
  ON DATE(resource_usage.start_time) = gcp_billing_export.date AND resource_usage.sku_id = gcp_billing_export.sku_id

GROUP BY
  date,
  cluster_name,
  cluster_location,
  namespace,
  label_value,
  resource_name,
  sku_id,
  sku_description,
  usage_unit,
  currency

ORDER BY
  date,
  cluster_name,
  cluster_location,
  namespace,
  label_value,
  resource_name

Consumo de recursos por período, agrupado por namespaces e rótulos

DECLARE drilldown_label STRING DEFAULT 'DRILLDOWN_LABEL';
DECLARE project_id STRING default "CLUSTER_GCP_PROJECT";

SELECT
  DATE(start_time) as date,
  resource_usage.cluster_name,
  resource_usage.cluster_location,
  resource_usage.namespace,
  label.value AS label_value,
  resource_usage.resource_name,
  resource_usage.sku_id,
  gcp_billing_export.sku_description,
  SUM(resource_usage.usage.amount) AS usage,
  resource_usage.usage.unit AS usage_unit,
  SUM(resource_usage.usage.amount * gcp_billing_export.rate) AS cost_estimate,
  gcp_billing_export.currency
FROM
  'CLUSTER_GCP_PROJECT.USAGE_METERING_DATASET.gke_cluster_resource_consumption' AS resource_usage

-- select only workloads matching the defined "drilldown_label"
  CROSS JOIN UNNEST(labels) AS label ON label.key=drilldown_label

-- join with billing table to get pricing information and sku description
  LEFT JOIN (
  SELECT
    DATE(usage_start_time) as date,
    sku.id AS sku_id,
    sku.description AS sku_description,
    SAFE_DIVIDE(SUM(cost), SUM(usage.amount)) AS rate,
    currency
  FROM
    'CLUSTER_GCP_PROJECT.BILLING_DATASET.BILLING_TABLE'
  WHERE
    project.id = project_id
  GROUP BY
    date,
    sku_id,
    sku_description,
    currency) AS gcp_billing_export
  ON DATE(resource_usage.start_time) = gcp_billing_export.date AND resource_usage.sku_id = gcp_billing_export.sku_id

GROUP BY
  date,
  cluster_name,
  cluster_location,
  namespace,
  label_value,
  resource_name,
  sku_id,
  sku_description,
  usage_unit,
  currency

ORDER BY
  date,
  cluster_name,
  cluster_location,
  namespace,
  label_value,
  resource_name

Como mostrar o consumo real de recursos como uma porcentagem das solicitações de recursos ao longo do tempo

Com essa consulta, você recebe a proporção entre o consumo real da CPU e as solicitações da CPU. Assim, você vê quais pods solicitam pouca ou muita CPU em comparação com os requisitos reais.

WITH
  constraints AS (
    SELECT
      TIMESTAMP(START_TIME) as min_time,
      TIMESTAMP(END_TIME) as max_time,
      "CLUSTER_GCP_PROJECT" as project_id
  ),
  request_based_amount_by_namespace AS (
    SELECT
      namespace,
      resource_name,
      SUM(usage.amount) AS requested_amount,
      usage.unit AS unit
    FROM
      'CLUSTER_GCP_PROJECT.USAGE_METERING_DATASET.gke_cluster_resource_usage' as requested_resource_usage
    INNER JOIN
      constraints
    ON
      requested_resource_usage.start_time >= constraints.min_time
      AND requested_resource_usage.end_time <= constraints.max_time
      AND requested_resource_usage.project.id = constraints.project_id
    GROUP BY
      namespace, resource_name, usage.unit
  ),
  consumption_based_amount_by_namespace AS (
    SELECT
      namespace,
      resource_name,
      SUM(usage.amount) AS consumed_amount,
      usage.unit AS unit
    FROM
      'CLUSTER_GCP_PROJECT.USAGE_METERING_DATASET.gke_cluster_resource_consumption' as consumed_resource_usage
    INNER JOIN
      constraints
    ON
      consumed_resource_usage.start_time >= constraints.min_time
      AND consumed_resource_usage.end_time <= constraints.max_time
      AND consumed_resource_usage.project.id = constraints.project_id
    GROUP BY
      namespace, resource_name, usage.unit
  )
SELECT
  request_based_amount_by_namespace.namespace,
  request_based_amount_by_namespace.resource_name,
  requested_amount,
  consumed_amount,
  request_based_amount_by_namespace.unit,
  CASE
    WHEN consumed_amount IS NULL THEN NULL
    WHEN requested_amount = 0 THEN NULL
    ELSE consumed_amount / requested_amount END
      AS consumption_to_request_ratio
FROM
  request_based_amount_by_namespace
  FULL JOIN
  consumption_based_amount_by_namespace
  ON
  request_based_amount_by_namespace.namespace = consumption_based_amount_by_namespace.namespace
  AND
  request_based_amount_by_namespace.resource_name = consumption_based_amount_by_namespace.resource_name
ORDER BY
  consumption_to_request_ratio
DESC

Esquema de medição de uso do GKE no BigQuery

Veja na tabela a seguir o esquema das tabelas de medição de uso do GKE no conjunto de dados do BigQuery. Se o cluster estiver executando uma versão do GKE compatível com a medição de consumo e as solicitações de recursos, outra tabela será criada com o mesmo esquema.

Campo	Tipo	Descrição
`cluster_location`	`STRING`	O nome da zona ou região do Compute Engine em que o cluster do GKE reside.
`cluster_name`	`STRING`	O nome do cluster do GKE.
`namespace`	`STRING`	O namespace do Kubernetes a partir do qual o uso é gerado.
`resource_name`	`STRING`	O nome do recurso, como "cpu", "memória" e "armazenamento".
`sku_id`	`STRING`	O ID da SKU do recurso de nuvem subjacente do Google Cloud.
`start_time`	`TIMESTAMP`	O carimbo de data/hora do UNIX de quando o uso começou.
`end_time`	`TIMESTAMP`	O carimbo de data/hora do UNIX de quando o uso terminou.
`fraction`	`FLOAT`	A fração de um recurso de nuvem consumido pelo uso. Para um recurso de nuvem dedicado usado exclusivamente por um único namespace, a fração é sempre 1.0. Para recursos compartilhados entre vários namespaces, a fração é calculada como o valor solicitado dividido pela capacidade total do recurso de nuvem subjacente.
`cloud_resource_size`	`INTEGER`	O tamanho do recurso subjacente do Google Cloud. Por exemplo, o tamanho de vCPUs em uma instância de n1-standard-2 é 2.
`labels.key`	`STRING`	A chave de um rótulo do Kubernetes associado ao uso.
`labels.value`	`STRING`	O valor de um rótulo do Kubernetes associado ao uso.
`project.id`	`STRING`	O ID do projeto em que o cluster GKE reside.
`usage.amount`	`FLOAT`	A quantidade de `usage.unit` usada.
`usage.unit`	`STRING`	A unidade base em que o uso do recurso é medido. Por exemplo, a unidade base para armazenamento padrão é byte-segundos.

As unidades para medição de uso do GKE precisam ser interpretadas da seguinte maneira:

A CPU usage.unit é de segundos, que é o Tempo de CPU total solicitado ou usado por um pod. Por exemplo, se tivermos dois pods que solicitam 30 CPUs cada um e que são executados por 15 minutos, a quantidade agregada da tabela de solicitações será de 54.000 segundos (2 pods * 30 CPUs * 15 minutos * 60 segundos / minuto).
A memória usage.unit é bytes-segundos, que é parte integrante da memória ao longo do tempo que um pod a solicitou ou utilizou. Por exemplo, se tivermos dois pods que solicitam 30 GiB e que são executados por 15 minutos, a quantidade agregada da tabela de solicitações será: 5.798 + 13 bytes por segundo (2 pods * 30 GiB * 15 minutos * 60 segundos / minuto * 1073741824 bytes / GiB).

Noções básicas sobre quando os dados de medição de uso do GKE são gravados no BigQuery

Há duas condições em que a medição de uso do GKE grava registros de uso nas métricas do BigQuery:

A fase do pod muda para succeeded ou failed ou quando o pod é excluído.
Quando o carimbo de data/hora da programação por hora para gravar registros é atingido e o pod ainda está em execução.

A medição de uso do GKE gera uma programação por hora que grava registros de uso do pod no BigQuery para todos os pods em execução. O carimbo de data/hora da programação não é o mesmo em todos os clusters.

Se você tiver vários pods em execução nesse carimbo de data/hora, encontrará vários registros de uso com o mesmo end_time. Esses registros de uso end_time indicariam o carimbo de data/hora da programação por hora.

Além disso, se você tiver vários pods em execução há várias horas, também terá um conjunto de registros de uso com um end_time que corresponde ao start_time de outro conjunto de registros de uso.

Desativar a Medição de uso do GKE

gcloud

Para desativar a medição de uso do GKE em um cluster, execute o comando a seguir:

gcloud container clusters update CLUSTER_NAME \
    --clear-resource-usage-bigquery-dataset

Console

Acesse a página do Google Kubernetes Engine no console do Google Cloud.

Acessar o Google Kubernetes Engine
Ao lado do cluster que você quer modificar, clique em Ações e, depois, em Editar.
Em Recursos, clique em Editar ao lado de Medição de uso do GKE.
Desmarque Ativar medição de uso do GKE.
Clique em Save Changes.

Como entender o uso de recursos do cluster

Visão geral

Antes de começar

Limitações

Pré-requisitos

Ativar a medição de uso do GKE

Crie o conjunto de dados do BigQuery

Como ativar a medição de uso do GKE em um cluster

Criar um novo cluster

gcloud

Console

Configurar um cluster atual

gcloud

Console

Opcional: ativar a medição da saída de rede

Como verificar se a medição de uso do GKE está ativada

Escolher um ou mais conjuntos de dados do BigQuery

Visualizar dados de medição de uso do GKE utilizando um painel do Looker Studio

Pré-requisitos

Criar a tabela de detalhamento de custos do BigQuery

Criar a fonte de dados do BigQuery

Criar o painel do Looker Studio

Usar o painel do Looker Studio

Analisar os dados de medição de uso do GKE utilizando o BigQuery

Consultar solicitações de recursos

Consultar o consumo de recursos

Mais exemplos

Como consultar custos discriminados por namespace

Solicitações de recursos

Consumo de recursos

Como consultar custos em um período específico e discriminados por namespace e rótulos

Solicitações de recursos por período, agrupadas por namespaces e rótulos

Consumo de recursos por período, agrupado por namespaces e rótulos

Como mostrar o consumo real de recursos como uma porcentagem das solicitações de recursos ao longo do tempo

Esquema de medição de uso do GKE no BigQuery

Noções básicas sobre quando os dados de medição de uso do GKE são gravados no BigQuery

Desativar a Medição de uso do GKE

gcloud

Console

A seguir