Memahami biaya operasi pipeline

Anda dapat meninjau biaya operasi pipeline menggunakan ekspor Penagihan Cloud ke BigQuery.

Anda juga dapat menggunakan ID penagihan operasi pipeline yang unik dari operasi pipeline Anda untuk meninjau biaya resource yang dibuat oleh operasi pipeline, sebagai berikut:

  1. Vertex AI Pipelines otomatis melampirkan label vertex-ai-pipelines-run-billing-id ke operasi pipeline Anda. Nilai label ini adalah ID penagihan operasi pipeline unik Anda.

  2. Vertex AI Pipelines menyebarkan label ini ke resource Google Cloud yang dihasilkan oleh komponen pipeline selama operasi pipeline. Perhatikan bahwa untuk beberapa komponen dan resource, Anda harus mengupgrade Google Cloud Pipeline Components SDK atau memperbarui kode komponen Anda guna menyebarkan label. Untuk mengetahui informasi selengkapnya tentang pelabelan resource Google Cloud, lihat Memberi label resource dengan Vertex AI Pipelines.

  3. Label vertex-ai-pipelines-run-billing-id menghubungkan penggunaan resource Google Cloud yang dihasilkan oleh operasi pipeline di laporan penagihan. Dengan menggunakan nilai label ini, Anda dapat meninjau biaya penggunaan resource dalam operasi pipeline dengan ekspor Penagihan Cloud ke BigQuery.

Halaman ini menunjukkan cara melakukan hal berikut:

Sebelum memulai

Sebelum Anda menggunakan Penagihan Cloud untuk memahami biaya operasi pipeline, gunakan petunjuk berikut untuk menyiapkan lingkungan pengembangan dan project Google Cloud Anda:

Untuk mengetahui informasi selengkapnya tentang skema data biaya penggunaan standar Penagihan Cloud, lihat Skema data biaya penggunaan standar.

Mencantumkan sepuluh operasi pipeline yang paling mahal

Jalankan kueri berikut untuk melihat daftar sepuluh operasi pipeline paling mahal Anda selama jangka waktu yang ditentukan:

SQL Standar

SELECT
  project.id,
  location.region,
  L.value,
  SUM(cost) AS total_cost
FROM
  `project.dataset.gcp_billing_export_v1_XXXXXX_XXXXXX_XXXXXX` B,
  UNNEST (B.labels) L
WHERE
  DATE(_PARTITIONTIME) >= "START_DATE"
  AND DATE(_PARTITIONTIME) < "END_DATE"
  AND L.key = "vertex-ai-pipelines-run-billing-id"
GROUP BY
  project.id,
  location.region,
  L.value
ORDER BY
  total_cost DESC
LIMIT
  10;

Ganti kode berikut:

  • START_DATE: Tanggal mulai jangka waktu.

  • END_DATE: Tanggal akhir jangka waktu.

Anda akan melihat kolom berikut di hasil kueri:

  • project_id

  • region

  • pipeline_run_billing_id

  • total_cost

Anda kini dapat menggunakan ID penagihan operasi pipeline yang unik dari kolom pipeline_run_billing_id hasil kueri untuk melakukan hal berikut:

Menggunakan ID penagihan untuk menemukan operasi pipeline

Anda dapat menggunakan ID penagihan operasi pipeline yang unik dari hasil kueri di Mencantumkan sepuluh operasi pipeline Anda yang paling mahal untuk menemukan operasi pipeline.

Konsol

Gunakan petunjuk berikut untuk mengambil operasi pipeline di Konsol Google Cloud.

  1. Di Konsol Google Cloud, di bagian Vertex AI, buka halaman Pipelines.

    Buka Pipeline

  2. Untuk menemukan operasi pipeline, filter daftar menggunakan ID penagihan operasi pipeline yang unik dari hasil kueri di Mencantumkan sepuluh operasi pipeline yang paling mahal. Untuk melakukannya:

    1. Klik Filter, lalu klik Labels.

    2. Masukkan ID penagihan operasi pipeline yang unik dalam format berikut, lalu tekan Enter:
      labels.vertex-ai-pipelines-run-billing-id=PIPELINE_RUN_BILLING_ID
      di mana PIPELINE_RUN_BILLING_ID adalah ID penagihan operasi pipeline yang unik.

Vertex AI SDK untuk Python

Gunakan contoh kode berikut untuk mengambil operasi pipeline:

runs = aip.PipelineJob.list(
  project=PROJECT_ID,
  location=LOCATION,
  filter="labels.vertex-ai-pipelines-run-billing-id=PIPELINE_RUN_BILLING_ID")

Ganti kode berikut:

Melihat biaya resource Google Cloud dalam operasi pipeline

Anda dapat menggunakan ID penagihan operasi pipeline yang unik dari hasil kueri di Mencantumkan sepuluh operasi pipeline yang paling mahal untuk melihat biaya resource Google Cloud yang dihasilkan oleh operasi pipeline.

Jalankan kueri berikut untuk melihat daftar resource Google Cloud yang dihasilkan dalam operasi pipeline, beserta biaya setiap resource:

SQL Standar

SELECT
  service,
  sku,
  cost
FROM
  `project.dataset.gcp_billing_export_v1_XXXXXX_XXXXXX_XXXXXX` B,
  UNNEST (B.labels) L
WHERE
  DATE(_PARTITIONTIME) >=  "START_DATE"
  AND DATE(_PARTITIONTIME) <  "END_DATE"
  AND L.key = "vertex-ai-pipelines-run-billing-id"
  AND L.value = "PIPELINE_RUN_BILLING_ID";

Ganti kode berikut:

Anda akan melihat kolom berikut di hasil kueri:

  • service.id

  • service.description

  • sku.id

  • sku_description

  • cost

Kolom cost menunjukkan biaya resource yang sesuai dengan sku.id dalam operasi pipeline.