Google Cloud 파이프라인 구성요소 소개

Google Cloud 파이프라인 구성요소(GCPC) SDK는 프로덕션 품질, 성능, 사용하기 쉬운 사전 빌드된 Kubeflow Pipelines 구성요소 집합을 제공합니다. Google Cloud 파이프라인 구성요소를 사용하여 Vertex AI Pipelines 및 Kubeflow Pipelines를 준수하는 다른 ML 파이프라인 실행 백엔드에서 ML 파이프라인을 정의하고 실행할 수 있습니다.

예를 들어 구성요소를 사용하여 다음을 완료할 수 있습니다.

  • 새 데이터 세트를 만들고 서로 다른 데이터 유형을 데이터 세트(이미지, 표 형식, 텍스트, 동영상)에 로드합니다.
  • 데이터 세트에서 Cloud Storage로 데이터를 내보냅니다.
  • AutoML을 사용하여 이미지, 표 형식, 텍스트, 동영상 데이터를 사용해서 모델을 학습시킵니다.
  • 커스텀 컨테이너 또는 Python 패키지를 사용하여 커스텀 학습 작업을 실행합니다.
  • 일괄 예측을 위해 Vertex AI에 기존 모델을 업로드합니다.
  • 온라인 예측을 위해 새 엔드포인트를 만들고 모델을 배포합니다.

또한 이러한 사전 빌드된 Google Cloud 파이프라인 구성요소는 Vertex AI Pipelines에서 지원되며 다음 이점을 제공합니다.

  • 더 쉬운 디버깅: 간소화된 디버깅을 위해 구성요소에서 실행된 기본 리소스를 보여줍니다.
  • 표준화된 아티팩트 유형: 입력 및 출력에 표준 아티팩트 유형을 사용하도록 일관적인 인터페이스를 제공합니다. 이러한 표준 아티팩트는 Vertex ML 메타데이터에서 추적되며, 파이프라인 아티팩트 계보를 쉽게 분석할 수 있게 해줍니다. 아티팩트 계보에 대한 자세한 내용은 파이프라인 아티팩트 계보 추적을 참조하세요.
  • 청구 라벨을 사용한 파이프라인 비용 파악: 리소스 라벨은 파이프라인 실행의 Google Cloud 파이프라인 구성요소에서 생성된 Google Cloud 서비스에 자동으로 전파됩니다. 청구 라벨을 BigQuery로 Cloud Billing 내보내기와 함께 사용하여 파이프라인 실행 비용을 검토할 수 있습니다. 라벨을 사용하여 파이프라인 실행 비용을 파악하는 방법에 대한 자세한 내용은 파이프라인 실행 비용 이해를 참조하세요. 파이프라인 실행에서 Google Cloud 파이프라인 구성요소에 의해 생성된 리소스로 라벨이 전파되는 방법에 대한 자세한 내용은 Vertex AI Pipelines의 리소스 라벨 지정을 참조하세요.
  • 비용 효율성*: Vertex AI Pipelines는 컨테이너를 실행할 필요 없이 Google Cloud 리소스를 실행하여 이러한 구성요소의 실행을 최적화합니다. 따라서 시작 지연 시간을 줄이고 대기 시간이 많은 컨테이너 비용을 줄여줍니다.
* 이 기능은 다음 구성요소에만 적용됩니다.
  • CustomTrainingJobOp
  • WaitGcpResourcesOp(Dataflow)
  • DataflowPythonJobOp

다음 단계