É possível analisar o custo das execuções de pipeline usando a exportação do Cloud Billing para o BigQuery.
Também é possível usar o ID de faturamento exclusivo da execução do pipeline para analisar os custos dos recursos criados pela execução do pipeline, da seguinte maneira:
O Vertex AI Pipelines anexa automaticamente o rótulo
vertex-ai-pipelines-run-billing-id
à execução do pipeline. O valor desse rótulo é seu ID de faturamento de execução do pipeline exclusivo.O Vertex AI Pipelines propaga esse rótulo para os recursos do Google Cloud gerados pelos componentes do pipeline durante a execução do pipeline. Para alguns componentes e recursos, é preciso fazer upgrade do SDK de componentes do pipeline do Google Cloud ou atualizar o código do componente para propagar os rótulos. Para mais informações sobre como rotular recursos do Google Cloud, consulte Rotulagem de recursos por pipelines da Vertex AI.
O rótulo
vertex-ai-pipelines-run-billing-id
conecta o uso dos recursos do Google Cloud gerados pelo pipeline executado nos relatórios de faturamento. Com o valor desse rótulo, é possível analisar o custo do uso de recursos na execução do pipeline com a exportação do Cloud Billing para o BigQuery.
Nesta página, você aprende as seguintes ações com relação à verificação de tempo de atividade:
Usar um ID de faturamento de execução do pipeline para localizar uma execução de pipeline
Consultar os custos dos recursos do Google Cloud em um pipeline executado no Cloud Billing
Antes de começar
Antes de usar o Cloud Billing para entender o custo de uma execução de pipeline, siga as instruções a seguir para configurar o projeto e o ambiente de desenvolvimento do Google Cloud:
Configure a exportação de dados do Cloud Billing para o BigQuery.
Instale a versão 1.0.31 ou mais recente do SDK dos componentes de pipeline do Google Cloud
Para mais informações sobre o esquema dos dados de custo de uso padrão do Cloud Billing, consulte Esquema dos dados de custo de uso padrão.
Listar as 10 execuções de pipeline mais caras
Execute esta consulta para ver uma lista das 10 execuções de pipeline mais caras em um período especificado:
SQL padrão
SELECT
project.id,
location.region,
L.value,
SUM(cost) AS total_cost
FROM
`project.dataset.gcp_billing_export_v1_XXXXXX_XXXXXX_XXXXXX` B,
UNNEST (B.labels) L
WHERE
DATE(_PARTITIONTIME) >= "START_DATE"
AND DATE(_PARTITIONTIME) < "END_DATE"
AND L.key = "vertex-ai-pipelines-run-billing-id"
GROUP BY
project.id,
location.region,
L.value
ORDER BY
total_cost DESC
LIMIT
10;
Substitua:
START_DATE: data de início do período.
END_DATE: data de término do período.
Você verá as seguintes colunas nos resultados da consulta:
project_id
region
pipeline_run_billing_id
total_cost
Agora é possível usar o ID de faturamento de execução do pipeline exclusivo da coluna pipeline_run_billing_id
dos resultados da consulta para fazer o seguinte:
Usar o ID de faturamento para localizar uma execução de pipeline
É possível usar o ID de faturamento de execução de pipeline exclusivo dos resultados da consulta em Listar as 10 execuções de pipeline mais caras para localizar uma execução de pipeline.
Console
Use as instruções a seguir para recuperar uma execução de pipeline no Console do Google Cloud.
No console do Google Cloud, na seção da Vertex AI, acesse a página Conjuntos de dados.
Para localizar a execução do pipeline, filtre a lista usando um ID de faturamento de execução de pipeline exclusivo dos resultados da consulta em Listar as 10 execuções de pipeline mais caras. Para isso, siga estas etapas:
Clique em Filtrar e em Rótulos.
Insira o ID de faturamento exclusivo da execução do pipeline no seguinte formato e pressione Enter:
labels.vertex-ai-pipelines-run-billing-id=PIPELINE_RUN_BILLING_ID
em que PIPELINE_RUN_BILLING_ID é a execução exclusiva do pipeline ID de faturamento.
SDK da Vertex AI para Python
Use o exemplo de código a seguir para recuperar a execução do pipeline:
runs = aip.PipelineJob.list(
project=PROJECT_ID,
location=LOCATION,
filter="labels.vertex-ai-pipelines-run-billing-id=PIPELINE_RUN_BILLING_ID")
Substitua:
PROJECT_ID: o projeto do Google Cloud em que este pipeline é executado.
LOCATION: a região em que o pipeline é executado. Para mais informações sobre as regiões em que o Pipelines da Vertex AI está disponível, consulte o guia de locais da Vertex AI.
PIPELINE_RUN_BILLING_ID: o ID de faturamento da execução do pipeline exclusivo dos resultados da consulta em Listar as 10 execuções de pipeline mais caras.
Ver os custos dos recursos do Google Cloud em uma execução de pipeline
É possível usar o ID de faturamento de execução de pipeline exclusivo dos resultados da consulta em Listar as 10 execuções de pipeline mais caras para ver os custos dos recursos do Google Cloud gerados pela execução do pipeline.
Execute esta consulta para ver a lista de recursos do Google Cloud gerados em uma execução de pipeline, além do custo de cada recurso:
SQL padrão
SELECT
service,
sku,
cost
FROM
`project.dataset.gcp_billing_export_v1_XXXXXX_XXXXXX_XXXXXX` B,
UNNEST (B.labels) L
WHERE
DATE(_PARTITIONTIME) >= "START_DATE"
AND DATE(_PARTITIONTIME) < "END_DATE"
AND L.key = "vertex-ai-pipelines-run-billing-id"
AND L.value = "PIPELINE_RUN_BILLING_ID";
Substitua:
START_DATE: data de início do período.
END_DATE: data de término do período.
PIPELINE_RUN_BILLING_ID: o ID de faturamento da execução do pipeline exclusivo dos resultados da consulta em Listar as 10 execuções de pipeline mais caras.
Você verá as seguintes colunas nos resultados da consulta:
service.id
service.description
sku.id
sku_description
cost
A coluna cost
representa o custo de um recurso correspondente a sku.id
na execução do pipeline.