Vous pouvez examiner le coût de vos exécutions de pipelines à l'aide de l'exportation Cloud Billing vers BigQuery.
Vous pouvez également utiliser l'ID de compte de facturation d'exécution de pipeline unique de votre exécution de pipeline pour examiner les coûts des ressources créées par l'exécution de pipeline, comme suit :
Vertex AI Pipelines associe automatiquement l'étiquette
vertex-ai-pipelines-run-billing-id
à votre exécution de pipeline. La valeur de cette étiquette correspond à votre ID de compte de facturation d'exécution de pipeline unique.Vertex AI Pipelines propage cette étiquette aux ressources Google Cloud générées par les composants du pipeline pendant son exécution. Notez que pour certains composants et ressources, vous devez mettre à niveau le SDK des composants de pipeline Google Cloud ou mettre à jour votre code de composant pour propager les étiquettes. Pour en savoir plus sur l'étiquetage des ressources Google Cloud, consultez la section Étiquetage de ressources par Vertex AI Pipelines.
L'étiquette
vertex-ai-pipelines-run-billing-id
associe l'utilisation des ressources Google Cloud générées par l'exécution de pipeline dans les rapports de facturation. La valeur de cette étiquette vous permet de vérifier le coût d'utilisation des ressources dans l'exécution de pipeline avec l'exportation Cloud Billing vers BigQuery.
Cette page vous explique comment :
Avant de commencer
Avant d'utiliser Cloud Billing pour comprendre le coût d'une exécution de pipeline, suivez les instructions ci-dessous afin de configurer votre projet et votre environnement de développement Google Cloud :
Configurez l'exportation des données Cloud Billing vers BigQuery.
Installez la version 1.0.31 ou une version ultérieure du SDK des composants de pipeline Google Cloud.
Pour en savoir plus sur le schéma des données de coût d'utilisation standard de Cloud Billing, consultez la section Schéma des données de coût d'utilisation standard.
Lister vos dix exécutions de pipeline les plus coûteuses
Exécutez la requête suivante pour afficher la liste de vos dix exécutions de pipeline les plus coûteuses sur une période donnée :
SQL standard
SELECT
project.id,
location.region,
L.value,
SUM(cost) AS total_cost
FROM
`project.dataset.gcp_billing_export_v1_XXXXXX_XXXXXX_XXXXXX` B,
UNNEST (B.labels) L
WHERE
DATE(_PARTITIONTIME) >= "START_DATE"
AND DATE(_PARTITIONTIME) < "END_DATE"
AND L.key = "vertex-ai-pipelines-run-billing-id"
GROUP BY
project.id,
location.region,
L.value
ORDER BY
total_cost DESC
LIMIT
10;
Remplacez les éléments suivants :
START_DATE : date de début de la période.
END_DATE : date de fin de la période.
Les colonnes suivantes devraient s'afficher dans les résultats de la requête :
project_id
region
pipeline_run_billing_id
total_cost
Vous pouvez maintenant utiliser l'ID de compte de facturation d'exécution de pipeline unique dans la colonne pipeline_run_billing_id
des résultats de la requête pour effectuer les opérations suivantes :
Utiliser l'ID de compte de facturation pour localiser une exécution de pipeline
Vous pouvez utiliser l'ID de compte de facturation d'exécution de pipeline unique à partir des résultats de la requête dans la section Lister vos dix exécutions de pipeline les plus coûteuses pour localiser une exécution de pipeline.
Console
Suivez les instructions ci-dessous pour récupérer une exécution de pipeline dans la console Google Cloud.
Dans la section Vertex AI de la console Google Cloud, accédez à la page Pipelines.
Pour localiser l'exécution de pipeline, filtrez la liste à l'aide d'un ID de compte de facturation d'exécution de pipeline unique à partir des résultats de la requête dans la section Lister vos dix exécutions de pipeline les plus coûteuses. Procédez comme suit :
Cliquez sur Filtre, puis sur Étiquettes.
Saisissez l'ID de compte de facturation d'exécution de pipeline unique au format suivant, puis appuyez sur Entrée :
labels.vertex-ai-pipelines-run-billing-id=PIPELINE_RUN_BILLING_ID
où PIPELINE_RUN_BILLING_ID correspond à l'ID de compte de facturation d'exécution de pipeline unique.
SDK Vertex AI pour Python
Utilisez l'exemple de code suivant pour récupérer l'exécution de pipeline :
runs = aip.PipelineJob.list(
project=PROJECT_ID,
location=LOCATION,
filter="labels.vertex-ai-pipelines-run-billing-id=PIPELINE_RUN_BILLING_ID")
Remplacez les éléments suivants :
PROJECT_ID : projet Google Cloud dans lequel ce pipeline s'exécute.
LOCATION : région dans laquelle le pipeline s'exécute. Pour en savoir plus sur les régions dans lesquelles Vertex AI Pipelines est disponible, consultez le guide des emplacements Vertex AI.
PIPELINE_RUN_BILLING_ID : ID de compte de facturation d'exécution de pipeline unique à partir des résultats de la requête dans la section Lister vos dix exécutions de pipeline les plus coûteuses.
Afficher les coûts des ressources Google Cloud dans une exécution de pipeline
Vous pouvez utiliser l'ID de compte de facturation d'exécution de pipeline unique à partir des résultats de la requête dans la section Lister vos dix exécutions de pipeline les plus coûteuses pour afficher les coûts des ressources Google Cloud générées par l'exécution du pipeline.
Exécutez la requête suivante pour afficher la liste des ressources Google Cloud générées lors d'une exécution de pipeline, ainsi que le coût de chaque ressource :
SQL standard
SELECT
service,
sku,
cost
FROM
`project.dataset.gcp_billing_export_v1_XXXXXX_XXXXXX_XXXXXX` B,
UNNEST (B.labels) L
WHERE
DATE(_PARTITIONTIME) >= "START_DATE"
AND DATE(_PARTITIONTIME) < "END_DATE"
AND L.key = "vertex-ai-pipelines-run-billing-id"
AND L.value = "PIPELINE_RUN_BILLING_ID";
Remplacez les éléments suivants :
START_DATE : date de début de la période.
END_DATE : date de fin de la période.
PIPELINE_RUN_BILLING_ID : ID de compte de facturation d'exécution de pipeline unique à partir des résultats de la requête dans la section Lister vos dix exécutions de pipeline les plus coûteuses.
Les colonnes suivantes devraient s'afficher dans les résultats de la requête :
service.id
service.description
sku.id
sku_description
cost
La colonne cost
représente le coût d'une ressource correspondant au sku.id
dans l'exécution du pipeline.