구성요소, 리소스, Google Cloud 파이프라인 구성요소 SDK 버전의 유형에 따라 Vertex AI Pipelines는 파이프라인 실행의 라벨을 Google Cloud 파이프라인 구성요소에서 생성된 리소스에 자동으로 전파하거나 생성된 리소스에 라벨을 지정하도록 요청합니다. 사용자 정의 구성요소의 경우 구성요소 코드를 작성해 환경 변수의 라벨을 연결해야 합니다. 자세한 내용은 사용자 정의 구성요소에서 생성된 리소스를 참조하세요.
자동 라벨 지정이 적용되는 리소스
Vertex AI Pipelines는 Google Cloud 파이프라인 구성요소 SDK 버전에 관계없이 라벨을 자동으로 다음 리소스에 지정합니다.
CustomJob 리소스
Vertex AI Pipelines는 자동으로 파이프라인 실행의 라벨을 CustomJob 리소스에 전파합니다. 이것은 Google Cloud 파이프라인 구성요소 SDK의 모든 버전에 있는 다음 구성요소에서 지원됩니다.
Google Cloud 파이프라인 구성요소 SDK v1.0.31 이상에서 자동 라벨 지정이 적용되는 리소스
Google Cloud 파이프라인 구성요소 SDK v1.0.31 이상을 사용하는 경우 Vertex AI Pipelines가 자동으로 다음 리소스에 라벨을 지정합니다.
BatchPredictionJob 리소스
Google Cloud 파이프라인 구성요소 SDK v1.0.31 이상을 사용하는 경우 Vertex AI Pipelines가 파이프라인 실행의 라벨을 ModelBatchPredictOp 구성요소에서 생성된 BatchPredictionJob 리소스에 자동으로 전파합니다.
Vertex AI endpoint 리소스
Google Cloud 파이프라인 구성요소 SDK v1.0.31 이상을 사용하는 경우 Vertex AI Pipelines가 파이프라인 실행의 라벨을 EndpointCreateOp 구성요소에서 생성된 Vertex AI endpoint 리소스에 자동으로 전파합니다.
HyperparameterTuningJob 리소스
Google Cloud 파이프라인 구성요소 SDK v1.0.31 이상을 사용하는 경우 Vertex AI Pipelines가 파이프라인 실행의 라벨을 HyperparameterTuningJobRunOp 구성요소에서 생성된 HyperparameterTuningJob 리소스에 자동으로 전파합니다.
Vertex AI 데이터 세트 리소스
Google Cloud 파이프라인 구성요소 SDK v1.0.31 이상을 사용하는 경우 Vertex AI Pipelines가 파이프라인 실행의 라벨을 다음 Vertex AI 구성요소에서 생성된 Vertex AI 데이터 세트 리소스에 자동으로 전파합니다.
Google Cloud BigQuery 작업 리소스
Google Cloud 파이프라인 구성요소 SDK v1.0.31 이상을 사용하는 경우 Vertex AI Pipelines가 파이프라인 실행의 라벨을 BigQuery ML 구성요소에서 생성된 Google Cloud BigQuery 작업 리소스 리소스에 자동으로 전파합니다.
Google Cloud Dataproc 작업 리소스
Google Cloud 파이프라인 구성요소 SDK v1.0.31 이상을 사용하는 경우 Vertex AI Pipelines가 파이프라인 실행의 라벨을 Dataproc 서버리스 구성요소에서 생성된 Google Cloud Dataproc 작업 리소스 리소스에 자동으로 전파합니다.
TrainingPipeline 및 Model 리소스
Google Cloud 파이프라인 구성요소 SDK v1.0.31 이상을 사용하는 경우 Vertex AI Pipelines가 파이프라인 실행의 라벨을 다음 AutoML 구성요소에서 생성된 TrainingPipeline 및 Model 리소스에 자동으로 전파합니다.
Google Cloud BigQuery 테이블 리소스
Google Cloud 파이프라인 구성요소 SDK v1.0.31 이상을 사용하는 경우 Vertex AI Pipelines가 파이프라인 실행의 라벨을 ForecastingPreprocessingOp 구성요소에서 생성한 Google Cloud BigQuery 테이블 리소스에 자동으로 전파합니다.
자동 라벨 지정이 적용되지 않는 리소스
Vertex AI Pipelines는 Google Cloud 파이프라인 구성요소 SDK 버전에 관계없이 라벨을 자동으로 다음 리소스에 지정하지 않습니다.
Google Cloud Dataflow 리소스
Vertex AI Pipelines는 라벨을 자동으로 DataflowPythonJobOp 구성요소에서 생성한 Dataflow 리소스에 지정하지 않습니다. 라벨을 리소스에 지정하는 안내를 코드에 포함할 수 있습니다.
다음 코드 샘플을 사용하여 파이프라인 실행의 청구 라벨을 DataflowPythonJobOp 구성요소를 사용하여 생성된 모든 Google Cloud Dataflow 리소스에 전파합니다.
import argparse
import apache_beam as beam
...
def run(argv=None):
parser = argparse.ArgumentParser()
# Don't add `--labels` to the argument list, so that they will be passed to the pipeline_options
parser.add_argument('--input', …)
parser.add_argument('--output', …)
...
known_args, pipeline_args = parser.parse_known_args(argv)
pipeline_options = PipelineOptions(pipeline_args)
with beam.Pipeline(options=pipeline_options) as p:
사용자 정의 구성요소에서 생성된 리소스
Vertex AI Pipelines는 라벨을 자동으로 사용자 정의 구성요소에서 생성된 Google Cloud 리소스에 지정하지 않습니다. 환경 변수 VERTEX_AI_PIPELINES_RUN_LABELS에서 라벨을 가져오고 런타임 시 구성요소를 사용하여 생성된 Google Cloud 리소스에 라벨을 연결하라는 안내를 코드에 포함할 수 있습니다.
환경 변수 VERTEX_AI_PIPELINE_RUN_LABELS에는 JSON 형식의 라벨이 키-값 쌍으로 포함됩니다.
예: { "label1_key": "label1_value", "label2_key": "label2_value", ...}
Python용 Vertex AI SDK를 사용하는 경우 구성요소 코드에 다음 코드 샘플을 사용하여 환경 변수의 라벨을 구성요소에서 생성된 새 리소스에 전파합니다.
import os
import json
from google.cloud import aiplatform
aiplatform.init(
project='PROJECT_ID',
location='LOCATION'
)
aiplatform.RESOURCE.create(
...
json.loads(os.getenv("VERTEX_AI_PIPELINES_RUN_LABELS"))
)
다음을 바꿉니다.
PROJECT_ID: 이 파이프라인이 실행되는 Google Cloud 프로젝트입니다.
LOCATION: 이 파이프라인이 실행되는 위치 또는 리전입니다.
RESOURCE: 구성요소에서 생성된 Google Cloud 리소스입니다(예:
CustomJob또는Model).
Python을 사용하여 환경 변수를 파싱하려면 gcp_labels_util.attach_system_labels 유틸리티를 사용할 수도 있습니다. Google Cloud 파이프라인 구성요소 라이브러리에 액세스할 수 있고 Python을 사용하는 경우에만 이 유틸리티를 사용할 수 있습니다. 자세한 내용은 GitHub의 유틸리티 함수 소스 코드를 참조하세요.
라벨 지정이 지원되지 않는 리소스
Vertex AI Pipelines는 다음 리소스에 대한 청구 라벨 전파를 지원하지 않습니다.
ML Metadata 리소스
ML Metadata 리소스는 스토어 수준에서 청구됩니다. 청구 라벨을 사용하여 리소스 수준 비용을 파악할 수 없습니다.
Cloud Storage 리소스
Vertex AI Pipelines는 Cloud Storage 버킷과 같은 Cloud Storage 리소스에 청구 라벨을 전파하지 않습니다.