Informationen zu den Kosten für die Pipelineausführung

Mit dem Cloud Billing-Export nach BigQuery können Sie die Kosten Ihrer Pipelineausführungen prüfen.

Sie können auch die eindeutige Abrechnungs-ID der Pipelineausführung verwenden, um die Kosten für die von der Pipelineausführung erstellten Ressourcen zu prüfen. Gehen Sie dazu so vor:

  1. Vertex AI Pipelines fügt der Pipelineausführung automatisch das Label vertex-ai-pipelines-run-billing-id hinzu. Der Wert dieses Labels ist die eindeutige Abrechnungs-ID der Pipelineausführung.

  2. Vertex AI Pipelines überträgt dieses Label auf Google Cloud-Ressourcen, die während der Pipelineausführung von Pipelinekomponenten generiert werden. Beachten Sie, dass Sie für einige Komponenten und Ressourcen entweder das Google Cloud Pipeline Components SDK oder Ihren Komponentencode aktualisieren müssen, um die Labels weiterzugeben. Weitere Informationen zum Labeling von Google Cloud-Ressourcen finden Sie unter Ressourcen-Labeling von Vertex AI Pipelines.

  3. Das Label vertex-ai-pipelines-run-billing-id verknüpft die Nutzung von Google Cloud-Ressourcen, die durch die Pipelineausführung in Abrechnungsberichten generiert wurden. Anhand des Werts dieses Labels können Sie die Kosten für die Ressourcennutzung in der Pipeline mit dem Cloud Billing-Export in BigQuery prüfen.

Diese Seite enthält Anleitungen für Folgendes:

Vorbereitung

Bevor Sie mit Cloud Billing die Kosten einer Pipeline-Ausführung ermitteln, richten Sie Ihr Google Cloud-Projekt und Ihre Entwicklungsumgebung mit der folgenden Anleitung ein:

Weitere Informationen zum Schema der Standardnutzungskosten in Cloud Billing finden Sie unter Schema der Standardnutzungskosten.

Die zehn teuersten Pipelineausführungen auflisten

Führen Sie die folgende Abfrage aus, um eine Liste der zehn teuersten Pipelineausführungen in einem bestimmten Zeitraum aufzurufen:

Standard-SQL

SELECT
  project.id,
  location.region,
  L.value,
  SUM(cost) AS total_cost
FROM
  `project.dataset.gcp_billing_export_v1_XXXXXX_XXXXXX_XXXXXX` B,
  UNNEST (B.labels) L
WHERE
  DATE(_PARTITIONTIME) >= "START_DATE"
  AND DATE(_PARTITIONTIME) < "END_DATE"
  AND L.key = "vertex-ai-pipelines-run-billing-id"
GROUP BY
  project.id,
  location.region,
  L.value
ORDER BY
  total_cost DESC
LIMIT
  10;

Ersetzen Sie dabei Folgendes:

  • START_DATE: Startdatum des Zeitraums.

  • END_DATE: Enddatum des Zeitraums.

In den Abfrageergebnissen sollten die folgenden Spalten angezeigt werden:

  • project_id

  • region

  • pipeline_run_billing_id

  • total_cost

Sie können jetzt die eindeutige Pipelineausführungs-Abrechnungs-ID aus der Spalte pipeline_run_billing_id der Abfrageergebnisse verwenden, um Folgendes zu tun:

Pipelineausführung mithilfe der Abrechnungs-ID suchen

Sie können die eindeutige Abrechnungs-ID der Pipelineausführung aus den Abfrageergebnissen unter Die zehn teuersten Pipelineausführungen auflisten verwenden, um eine Pipelineausführung zu finden.

Console

Gehen Sie nach der folgenden Anleitung vor, um eine Pipelineausführung in der Google Cloud Console abzurufen.

  1. Rufen Sie in der Google Cloud Console im Abschnitt „Vertex AI“ die Seite Pipelines auf.

    Zu Pipelines

  2. Wenn Sie die Pipelineausführung ermitteln möchten, filtern Sie die Liste mit einer eindeutigen Abrechnungsausführungs-ID aus den Abfrageergebnissen in Die zehn teuersten Pipelineausführungen auflisten. Gehen Sie so vor:

    1. Klicken Sie auf Filter und dann auf Labels.

    2. Geben Sie die eindeutige Abrechnungs-ID für die Pipelineausführung im folgenden Format ein und drücken Sie die Eingabetaste:
      labels.vertex-ai-pipelines-run-billing-id=PIPELINE_RUN_BILLING_ID
      , wobei PIPELINE_RUN_BILLING_ID die eindeutige Abrechnungs-ID der Pipelineausführung ist.

Vertex AI SDK für Python

Im folgenden Codebeispiel wird die Pipelineausführung abgerufen:

runs = aip.PipelineJob.list(
  project=PROJECT_ID,
  location=LOCATION,
  filter="labels.vertex-ai-pipelines-run-billing-id=PIPELINE_RUN_BILLING_ID")

Ersetzen Sie dabei Folgendes:

  • PROJECT_ID: Das Google Cloud-Projekt, in dem diese Pipeline ausgeführt wird.

  • LOCATION: Die Region, in der die Pipeline ausgeführt wird. Weitere Informationen zu den Regionen, in denen Vertex AI Pipelines verfügbar ist, finden Sie in der Anleitung zu Vertex AI-Standorten.

  • PIPELINE_RUN_BILLING_ID: Eine eindeutige Abrechnungs-ID der Pipelineausführung wird aus den Abfrageergebnissen in Die zehn teuersten Pipelineausführungen auflisten angezeigt.

Kosten für Google Cloud-Ressourcen in einer Pipelineausführung aufrufen

Sie können die eindeutige Abrechnungs-ID der Pipelineausführung aus den Abfrageergebnissen unter Die zehn teuersten Pipelineausführungen auflisten verwenden, um die Kosten für Google Cloud-Ressourcen anzuzeigen, die von der Pipelineausführung generiert werden.

Führen Sie die folgende Abfrage aus, um eine Liste der in einer Pipelineausführung generierten Google Cloud-Ressourcen sowie die Kosten für jede Ressource aufzurufen:

Standard-SQL

SELECT
  service,
  sku,
  cost
FROM
  `project.dataset.gcp_billing_export_v1_XXXXXX_XXXXXX_XXXXXX` B,
  UNNEST (B.labels) L
WHERE
  DATE(_PARTITIONTIME) >=  "START_DATE"
  AND DATE(_PARTITIONTIME) <  "END_DATE"
  AND L.key = "vertex-ai-pipelines-run-billing-id"
  AND L.value = "PIPELINE_RUN_BILLING_ID";

Ersetzen Sie dabei Folgendes:

  • START_DATE: Startdatum des Zeitraums.

  • END_DATE: Enddatum des Zeitraums.

  • PIPELINE_RUN_BILLING_ID: Eine eindeutige Abrechnungs-ID der Pipelineausführung wird aus den Abfrageergebnissen in Die zehn teuersten Pipelineausführungen auflisten angezeigt.

In den Abfrageergebnissen sollten die folgenden Spalten angezeigt werden:

  • service.id

  • service.description

  • sku.id

  • sku_description

  • cost

Die Spalte cost enthält die Kosten einer Ressource, die sku.id in der Pipelineausführung entspricht.