Entender os custos de execução do pipeline

É possível analisar o custo das execuções de pipeline usando a exportação do Cloud Billing para o BigQuery.

Também é possível usar o ID de faturamento exclusivo da execução do pipeline para analisar os custos dos recursos criados pela execução do pipeline, da seguinte maneira:

  1. O Vertex AI Pipelines anexa automaticamente o rótulo vertex-ai-pipelines-run-billing-id à execução do pipeline. O valor desse rótulo é seu ID de faturamento de execução do pipeline exclusivo.

  2. O Vertex AI Pipelines propaga esse rótulo para os recursos do Google Cloud gerados pelos componentes do pipeline durante a execução do pipeline. Para alguns componentes e recursos, é preciso fazer upgrade do SDK de componentes do pipeline do Google Cloud ou atualizar o código do componente para propagar os rótulos. Para mais informações sobre como rotular recursos do Google Cloud, consulte Rotulagem de recursos por pipelines da Vertex AI.

  3. O rótulo vertex-ai-pipelines-run-billing-id conecta o uso dos recursos do Google Cloud gerados pelo pipeline executado nos relatórios de faturamento. Com o valor desse rótulo, é possível analisar o custo do uso de recursos na execução do pipeline com a exportação do Cloud Billing para o BigQuery.

Nesta página, você aprende as seguintes ações com relação à verificação de tempo de atividade:

Antes de começar

Antes de usar o Cloud Billing para entender o custo de uma execução de pipeline, siga as instruções a seguir para configurar o projeto e o ambiente de desenvolvimento do Google Cloud:

Para mais informações sobre o esquema dos dados de custo de uso padrão do Cloud Billing, consulte Esquema dos dados de custo de uso padrão.

Listar as 10 execuções de pipeline mais caras

Execute esta consulta para ver uma lista das 10 execuções de pipeline mais caras em um período especificado:

SQL padrão

SELECT
  project.id,
  location.region,
  L.value,
  SUM(cost) AS total_cost
FROM
  `project.dataset.gcp_billing_export_v1_XXXXXX_XXXXXX_XXXXXX` B,
  UNNEST (B.labels) L
WHERE
  DATE(_PARTITIONTIME) >= "START_DATE"
  AND DATE(_PARTITIONTIME) < "END_DATE"
  AND L.key = "vertex-ai-pipelines-run-billing-id"
GROUP BY
  project.id,
  location.region,
  L.value
ORDER BY
  total_cost DESC
LIMIT
  10;

Substitua:

  • START_DATE: data de início do período.

  • END_DATE: data de término do período.

Você verá as seguintes colunas nos resultados da consulta:

  • project_id

  • region

  • pipeline_run_billing_id

  • total_cost

Agora é possível usar o ID de faturamento de execução do pipeline exclusivo da coluna pipeline_run_billing_id dos resultados da consulta para fazer o seguinte:

Usar o ID de faturamento para localizar uma execução de pipeline

É possível usar o ID de faturamento de execução de pipeline exclusivo dos resultados da consulta em Listar as 10 execuções de pipeline mais caras para localizar uma execução de pipeline.

Console

Use as instruções a seguir para recuperar uma execução de pipeline no Console do Google Cloud.

  1. No console do Google Cloud, na seção da Vertex AI, acesse a página Conjuntos de dados.

    Acessar "Pipelines"

  2. Para localizar a execução do pipeline, filtre a lista usando um ID de faturamento de execução de pipeline exclusivo dos resultados da consulta em Listar as 10 execuções de pipeline mais caras. Para isso, siga estas etapas:

    1. Clique em Filtrar e em Rótulos.

    2. Insira o ID de faturamento exclusivo da execução do pipeline no seguinte formato e pressione Enter:
      labels.vertex-ai-pipelines-run-billing-id=PIPELINE_RUN_BILLING_ID
      em que PIPELINE_RUN_BILLING_ID é a execução exclusiva do pipeline ID de faturamento.

SDK da Vertex AI para Python

Use o exemplo de código a seguir para recuperar a execução do pipeline:

runs = aip.PipelineJob.list(
  project=PROJECT_ID,
  location=LOCATION,
  filter="labels.vertex-ai-pipelines-run-billing-id=PIPELINE_RUN_BILLING_ID")

Substitua:

  • PROJECT_ID: o projeto do Google Cloud em que este pipeline é executado.

  • LOCATION: a região em que o pipeline é executado. Para mais informações sobre as regiões em que o Pipelines da Vertex AI está disponível, consulte o guia de locais da Vertex AI.

  • PIPELINE_RUN_BILLING_ID: o ID de faturamento da execução do pipeline exclusivo dos resultados da consulta em Listar as 10 execuções de pipeline mais caras.

Ver os custos dos recursos do Google Cloud em uma execução de pipeline

É possível usar o ID de faturamento de execução de pipeline exclusivo dos resultados da consulta em Listar as 10 execuções de pipeline mais caras para ver os custos dos recursos do Google Cloud gerados pela execução do pipeline.

Execute esta consulta para ver a lista de recursos do Google Cloud gerados em uma execução de pipeline, além do custo de cada recurso:

SQL padrão

SELECT
  service,
  sku,
  cost
FROM
  `project.dataset.gcp_billing_export_v1_XXXXXX_XXXXXX_XXXXXX` B,
  UNNEST (B.labels) L
WHERE
  DATE(_PARTITIONTIME) >=  "START_DATE"
  AND DATE(_PARTITIONTIME) <  "END_DATE"
  AND L.key = "vertex-ai-pipelines-run-billing-id"
  AND L.value = "PIPELINE_RUN_BILLING_ID";

Substitua:

  • START_DATE: data de início do período.

  • END_DATE: data de término do período.

  • PIPELINE_RUN_BILLING_ID: o ID de faturamento da execução do pipeline exclusivo dos resultados da consulta em Listar as 10 execuções de pipeline mais caras.

Você verá as seguintes colunas nos resultados da consulta:

  • service.id

  • service.description

  • sku.id

  • sku_description

  • cost

A coluna cost representa o custo de um recurso correspondente a sku.id na execução do pipeline.