서버리스 Dataproc 구성요소

Dataproc 서버리스 구성요소를 사용하면 Vertex AI Pipelines 내의 파이프라인에서 Apache Spark 일괄 워크로드를 실행할 수 있습니다. 서버리스 Dataproc은 관리형 컴퓨팅 인프라에서 일괄 워크로드를 실행하고 필요에 따라 리소스를 자동 확장합니다.

서버리스 Dataproc지원되는 Spark 워크로드에 대해 자세히 알아보세요.

Dataproc 서버리스에서 Batch 리소스는 일괄 워크로드를 나타냅니다. Google Cloud 파이프라인 구성요소 SDK에는 Batch 리소스를 만들고 실행을 모니터링하는 다음 연산자가 포함됩니다.

API 참조

튜토리얼

버전 기록 및 출시 노트

Google Cloud 파이프라인 구성요소 SDK의 버전 기록 및 변경사항을 자세히 알아보려면 Google Cloud 파이프라인 구성요소 SDK 출시 노트를 참조하세요.

기술 지원 담당자

궁금한 점이 있으면 kfp-dataproc-components@google.com으로 문의하세요.