파이프라인 실행 비용 이해

BigQuery로 Cloud Billing 내보내기를 사용하여 파이프라인 실행 비용을 검토할 수 있습니다.

다음과 같이 파이프라인 실행의 고유한 파이프라인 실행 결제 ID를 사용하여 파이프라인 실행에서 생성된 리소스의 비용을 검토할 수도 있습니다.

  1. Vertex AI Pipelines는 자동으로 vertex-ai-pipelines-run-billing-id 라벨을 파이프라인 실행에 연결합니다. 이 라벨의 값은 고유한 파이프라인 실행 결제 ID입니다.

  2. Vertex AI Pipelines는 파이프라인 실행 중에 파이프라인 구성요소에서 생성된 Google Cloud 리소스에 이 라벨을 전파합니다. 일부 구성요소 및 리소스의 경우 Google Cloud 파이프라인 구성요소 SDK를 업그레이드하거나 구성요소 코드를 업데이트하여 라벨을 전파해야 합니다. Google Cloud 리소스 라벨 지정에 대한 자세한 내용은 Vertex AI Pipelines의 리소스 라벨 지정을 참조하세요.

  3. vertex-ai-pipelines-run-billing-id 라벨은 결제 보고서에서 파이프라인 실행으로 생성된 Google Cloud 리소스 사용량과 연결됩니다. 이 라벨의 값을 사용하면 BigQuery로 Cloud Billing 내보내기를 통해 파이프라인 실행의 리소스 사용 비용을 검토할 수 있습니다.

이 페이지에서는 다음을 수행하는 방법을 보여줍니다.

시작하기 전에

Cloud Billing을 사용하여 파이프라인 실행 비용을 파악하기 전에 다음 안내에 따라 Google Cloud 프로젝트 및 개발 환경을 설정합니다.

Cloud Billing 표준 사용량 비용 데이터의 스키마에 대한 자세한 내용은 표준 사용량 비용 데이터의 스키마를 참조하세요.

가장 비용이 많이 드는 10개의 파이프라인 실행 나열

다음 쿼리를 실행하여 지정된 기간 동안 비용이 가장 많이 드는 파이프라인 실행 10개의 목록을 확인합니다.

표준 SQL

SELECT
  project.id,
  location.region,
  L.value,
  SUM(cost) AS total_cost
FROM
  `project.dataset.gcp_billing_export_v1_XXXXXX_XXXXXX_XXXXXX` B,
  UNNEST (B.labels) L
WHERE
  DATE(_PARTITIONTIME) >= "START_DATE"
  AND DATE(_PARTITIONTIME) < "END_DATE"
  AND L.key = "vertex-ai-pipelines-run-billing-id"
GROUP BY
  project.id,
  location.region,
  L.value
ORDER BY
  total_cost DESC
LIMIT
  10;

다음을 바꿉니다.

  • START_DATE: 기간의 시작일

  • END_DATE: 기간의 종료일

쿼리 결과에 다음 열이 표시됩니다.

  • project_id

  • region

  • pipeline_run_billing_id

  • total_cost

이제 쿼리 결과의 pipeline_run_billing_id 열에서 고유한 파이프라인 실행 결제 ID를 사용하여 다음을 수행할 수 있습니다.

결제 ID를 사용하여 파이프라인 실행 찾기

가장 비용이 많이 드는 파이프라인 실행 10개 나열의 쿼리 결과에서 고유한 파이프라인 실행 결제 ID를 사용하여 파이프라인 실행을 찾을 수 있습니다.

콘솔

Google Cloud 콘솔에서 파이프라인 실행을 가져오려면 다음 안내를 따르세요.

  1. Google Cloud 콘솔의 Vertex AI 섹션에서 파이프라인 페이지로 이동합니다.

    파이프라인으로 이동

  2. 파이프라인 실행을 찾으려면 비용이 가장 많이 드는 10개의 파이프라인 실행 나열의 쿼리 결과에서 고유한 파이프라인 실행 결제 ID를 사용하여 목록을 필터링합니다. 그러려면 다음 안내를 따르세요.

    1. 필터를 클릭한 다음 라벨을 클릭합니다.

    2. 다음 형식으로 고유한 파이프라인 실행 결제 ID를 입력하고 Enter 키를 누릅니다.
      labels.vertex-ai-pipelines-run-billing-id=PIPELINE_RUN_BILLING_ID
      여기서 PIPELINE_RUN_BILLING_ID는 고유한 파이프라인 실행 결제 ID입니다.

Python용 Vertex AI SDK

다음 코드 샘플을 사용하여 파이프라인 실행을 가져옵니다.

runs = aip.PipelineJob.list(
  project=PROJECT_ID,
  location=LOCATION,
  filter="labels.vertex-ai-pipelines-run-billing-id=PIPELINE_RUN_BILLING_ID")

다음을 바꿉니다.

파이프라인 실행의 Google Cloud 리소스 비용 보기

가장 비용이 많이 드는 10개의 파이프라인 실행 나열의 쿼리 결과에서 고유한 파이프라인 실행 결제 ID를 사용하여 파이프라인 실행으로 생성된 Google Cloud 리소스의 비용을 확인할 수 있습니다.

다음 쿼리를 실행하여 각 리소스의 비용과 함께 파이프라인 실행으로 생성된 Google Cloud 리소스의 목록을 확인합니다.

표준 SQL

SELECT
  service,
  sku,
  cost
FROM
  `project.dataset.gcp_billing_export_v1_XXXXXX_XXXXXX_XXXXXX` B,
  UNNEST (B.labels) L
WHERE
  DATE(_PARTITIONTIME) >=  "START_DATE"
  AND DATE(_PARTITIONTIME) <  "END_DATE"
  AND L.key = "vertex-ai-pipelines-run-billing-id"
  AND L.value = "PIPELINE_RUN_BILLING_ID";

다음을 바꿉니다.

쿼리 결과에 다음 열이 표시됩니다.

  • service.id

  • service.description

  • sku.id

  • sku_description

  • cost

cost 열은 파이프라인 실행의 sku.id에 해당하는 리소스의 비용을 나타냅니다.