Consultar los costes de las ejecuciones de la canalización

Puedes consultar el coste de las ejecuciones de tu canalización mediante la exportación de Facturación de Cloud a BigQuery.

También puede usar el ID de facturación único de la ejecución de su flujo de procesamiento para revisar los costes de los recursos creados por la ejecución del flujo de procesamiento, de la siguiente manera:

  1. Vertex AI Pipelines añade automáticamente la etiqueta vertex-ai-pipelines-run-billing-id a la ejecución del flujo de procesamiento. El valor de esta etiqueta es el ID de facturación único de la ejecución de la canalización.

  2. Vertex AI Pipelines propaga esta etiqueta a los Google Cloud recursos generados por los componentes del flujo de procesamiento durante la ejecución del flujo de procesamiento. Ten en cuenta que, en el caso de algunos componentes y recursos, debes actualizar el SDK de componentes de la canalización o el código del componente para propagar las etiquetas. Google Cloud Para obtener más información sobre el etiquetado de recursos, consulta Etiquetado de recursos por Vertex AI Pipelines. Google Cloud

  3. La etiqueta vertex-ai-pipelines-run-billing-id conecta el uso de los Google Cloud recursos generados por la ejecución de la canalización en los informes de facturación. Con el valor de esta etiqueta, puedes revisar el coste del uso de recursos en la ejecución de la canalización con la exportación de facturación de Cloud a BigQuery.

En esta página se explica cómo hacer lo siguiente:

Antes de empezar

Antes de usar Cloud Billing para conocer el coste de una ejecución de un flujo de procesamiento, sigue estas instrucciones para configurar tu Google Cloud proyecto y tu entorno de desarrollo:

Para obtener más información sobre el esquema de los datos de costes de uso estándar de Facturación de Cloud, consulta Esquema de los datos de costes de uso estándar.

Lista las diez ejecuciones de flujos de procesamiento más caras

Ejecuta la siguiente consulta para ver una lista de los diez flujos de procesamiento más caros durante un periodo concreto:

SQL estándar

SELECT
  project.id,
  location.region,
  L.value,
  SUM(cost) AS total_cost
FROM
  `project.dataset.gcp_billing_export_v1_XXXXXX_XXXXXX_XXXXXX` B,
  UNNEST (B.labels) L
WHERE
  DATE(_PARTITIONTIME) >= "START_DATE"
  AND DATE(_PARTITIONTIME) < "END_DATE"
  AND L.key = "vertex-ai-pipelines-run-billing-id"
GROUP BY
  project.id,
  location.region,
  L.value
ORDER BY
  total_cost DESC
LIMIT
  10;

Haz los cambios siguientes:

  • START_DATE: fecha de inicio del periodo.

  • END_DATE: fecha de finalización del periodo.

En los resultados de la consulta, deberían aparecer las siguientes columnas:

  • project_id

  • region

  • pipeline_run_billing_id

  • total_cost

Ahora puede usar el ID de facturación único de la ejecución de la canalización de la columna pipeline_run_billing_id de los resultados de la consulta para hacer lo siguiente:

Usar el ID de facturación para localizar una ejecución de una canalización

Puedes usar el ID de facturación único de la ejecución del flujo de trabajo de los resultados de la consulta Lista de las diez ejecuciones de flujo de trabajo más caras para localizar una ejecución de flujo de trabajo.

Consola

Sigue estas instrucciones para obtener una ejecución de una canalización en la Google Cloud consola.

  1. En la Google Cloud consola, en la sección Vertex AI, ve a la página Pipelines (Pipelines).

    Ir a Pipelines

  2. Para localizar la ejecución de la canalización, filtre la lista con un ID de facturación único de la ejecución de la canalización de los resultados de la consulta en Lista de las diez ejecuciones de canalización más caras. Para hacer esto:

    1. Haga clic en Filtro y, a continuación, en Etiquetas.

    2. Introduce el ID de facturación único de la ejecución de la canalización con el siguiente formato y pulsa Intro:
      labels.vertex-ai-pipelines-run-billing-id=PIPELINE_RUN_BILLING_ID
      donde PIPELINE_RUN_BILLING_ID es el ID de facturación único de la ejecución de la canalización.

SDK de Vertex AI para Python

Usa el siguiente código de ejemplo para obtener la ejecución de la canalización:

runs = aip.PipelineJob.list(
  project=PROJECT_ID,
  location=LOCATION,
  filter="labels.vertex-ai-pipelines-run-billing-id=PIPELINE_RUN_BILLING_ID")

Haz los cambios siguientes:

Ver los costes de los Google Cloud recursos en una ejecución de una canalización

Puedes usar el ID de facturación único de la ejecución del flujo de procesamiento de los resultados de la consulta Lista de las diez ejecuciones de flujos de procesamiento más caras para ver los costes de los recursos generados por la ejecución del flujo de procesamiento. Google Cloud

Ejecuta la siguiente consulta para ver la lista de Google Cloud recursos generados en una ejecución de una canalización, junto con el coste de cada recurso:

SQL estándar

SELECT
  service,
  sku,
  cost
FROM
  `project.dataset.gcp_billing_export_v1_XXXXXX_XXXXXX_XXXXXX` B,
  UNNEST (B.labels) L
WHERE
  DATE(_PARTITIONTIME) >=  "START_DATE"
  AND DATE(_PARTITIONTIME) <  "END_DATE"
  AND L.key = "vertex-ai-pipelines-run-billing-id"
  AND L.value = "PIPELINE_RUN_BILLING_ID";

Haz los cambios siguientes:

En los resultados de la consulta, deberían aparecer las siguientes columnas:

  • service.id

  • service.description

  • sku.id

  • sku_description

  • cost

La columna cost representa el coste de un recurso correspondiente al sku.id en la ejecución de la canalización.