Comprender los costos de la ejecución de las canalizaciones

Puedes revisar el costo de las ejecuciones de tu canalización con la exportación de Facturación de Cloud a BigQuery.

También puedes usar el ID de facturación único de la ejecución de canalización para revisar los costos de los recursos que creó la ejecución de canalización, de la siguiente manera:

  1. Vertex AI Pipelines adjunta de forma automática la etiqueta vertex-ai-pipelines-run-billing-id a la ejecución de tu canalización. El valor de esta etiqueta es el ID de facturación de la ejecución de canalización única.

  2. Vertex AI Pipelines propaga esta etiqueta a los recursos de Google Cloud que generan los componentes de canalización durante la ejecución de la canalización. Ten en cuenta que, para algunos componentes y recursos, debes actualizar el SDK de componentes de canalización de Google Cloud o actualizar el código de tu componente a fin de propagar las etiquetas. Para obtener más información sobre cómo etiquetar recursos de Google Cloud, consulta Etiquetado de recursos de Vertex AI Pipelines.

  3. La etiqueta vertex-ai-pipelines-run-billing-id conecta el uso de los recursos de Google Cloud que genera la ejecución de la canalización en los informes de facturación. Con el valor de esta etiqueta, puedes revisar el costo del uso de recursos en la ejecución de la canalización con la exportación de la Facturación de Cloud a BigQuery.

Esta página te muestra cómo hacer lo siguiente:

Antes de comenzar

Antes de usar la Facturación de Cloud para comprender el costo de una ejecución de canalización, usa las siguientes instrucciones para configurar tu proyecto de Google Cloud y el entorno de desarrollo:

Para obtener más información sobre el esquema de los datos de costo de uso estándar de Facturación de Cloud, consulta Esquema de los datos de costo de uso estándar.

Enumera las diez ejecuciones de canalización más costosas

Ejecuta la siguiente consulta para ver una lista de las diez ejecuciones de canalización más costosas en un período especificado:

SQL estándar

SELECT
  project.id,
  location.region,
  L.value,
  SUM(cost) AS total_cost
FROM
  `project.dataset.gcp_billing_export_v1_XXXXXX_XXXXXX_XXXXXX` B,
  UNNEST (B.labels) L
WHERE
  DATE(_PARTITIONTIME) >= "START_DATE"
  AND DATE(_PARTITIONTIME) < "END_DATE"
  AND L.key = "vertex-ai-pipelines-run-billing-id"
GROUP BY
  project.id,
  location.region,
  L.value
ORDER BY
  total_cost DESC
LIMIT
  10;

Reemplaza lo siguiente:

  • START_DATE: Es la fecha de inicio del período.

  • END_DATE: Es la fecha de finalización del período.

Deberías ver las siguientes columnas en los resultados de la consulta:

  • project_id

  • region

  • pipeline_run_billing_id

  • total_cost

Ahora puedes usar el ID de facturación único de la ejecución de la canalización de la columna pipeline_run_billing_id de los resultados de la consulta para hacer lo siguiente:

Usa el ID de facturación para ubicar una ejecución de canalización

Puedes usar el ID de facturación único de la ejecución de la canalización de los resultados de la consulta en Enumera las diez ejecuciones de canalización más costosas para ubicar una ejecución de canalización.

Console

Usa las siguientes instrucciones para recuperar una ejecución de canalización en la consola de Google Cloud.

  1. En la sección Vertex AI de la consola de Google Cloud, ve a la página Canalizaciones.

    Ir a Canalizaciones

  2. Para ubicar la ejecución de la canalización, filtra la lista con un ID de facturación único de la ejecución de la canalización de los resultados de la consulta en Enumera las diez ejecuciones de canalización más costosas. Para ello, siga estos pasos:

    1. Haz clic en Filtrar y, luego, en Etiquetas.

    2. Ingresa el ID de facturación único de la ejecución de la canalización en el siguiente formato y presiona Intro:
      labels.vertex-ai-pipelines-run-billing-id=PIPELINE_RUN_BILLING_ID
      en el que PIPELINE_RUN_BILLING_ID es la ejecución de la canalización única ID de facturación

SDK de Vertex AI para Python

Usa la siguiente muestra de código para recuperar la ejecución de la canalización:

runs = aip.PipelineJob.list(
  project=PROJECT_ID,
  location=LOCATION,
  filter="labels.vertex-ai-pipelines-run-billing-id=PIPELINE_RUN_BILLING_ID")

Reemplaza lo siguiente:

  • PROJECT_ID: Es el proyecto de Google Cloud en el que se ejecuta esta canalización.

  • LOCATION: Es la región en la que se ejecuta la canalización. Para obtener más información sobre las regiones en las que Vertex AI Pipelines está disponible, consulta la guía de ubicaciones de Vertex AI.

  • PIPELINE_RUN_BILLING_ID: El ID de facturación único de la ejecución de la canalización de los resultados de la consulta en Enumera las diez ejecuciones de canalización más costosas.

Visualiza los costos de los recursos de Google Cloud en la ejecución de una canalización

Puedes usar el ID de facturación único de la ejecución de la canalización de los resultados de la consulta en Enumera las diez ejecuciones de canalizaciones más costosas para ver los costos de los recursos de Google Cloud que generó la ejecución de la canalización.

Ejecuta la siguiente consulta para ver la lista de recursos de Google Cloud generados en una ejecución de canalización, junto con el costo de cada recurso:

SQL estándar

SELECT
  service,
  sku,
  cost
FROM
  `project.dataset.gcp_billing_export_v1_XXXXXX_XXXXXX_XXXXXX` B,
  UNNEST (B.labels) L
WHERE
  DATE(_PARTITIONTIME) >=  "START_DATE"
  AND DATE(_PARTITIONTIME) <  "END_DATE"
  AND L.key = "vertex-ai-pipelines-run-billing-id"
  AND L.value = "PIPELINE_RUN_BILLING_ID";

Reemplaza lo siguiente:

Deberías ver las siguientes columnas en los resultados de la consulta:

  • service.id

  • service.description

  • sku.id

  • sku_description

  • cost

La columna cost representa el costo de un recurso correspondiente a sku.id en la ejecución de la canalización.