Dataproc 서버리스 구성요소를 사용하면 Vertex AI Pipelines 내의 파이프라인에서 Apache Spark 일괄 워크로드를 실행할 수 있습니다. 서버리스 Dataproc은 관리형 컴퓨팅 인프라에서 일괄 워크로드를 실행하고 필요에 따라 리소스를 자동 확장합니다.
서버리스 Dataproc 및 지원되는 Spark 워크로드에 대해 자세히 알아보세요.
Dataproc 서버리스에서 Batch
리소스는 일괄 워크로드를 나타냅니다.
Google Cloud 파이프라인 구성요소 SDK에는 Batch
리소스를 만들고 실행을 모니터링하는 다음 연산자가 포함됩니다.
API 참조
구성요소 참조는 Dataproc 서버리스 구성요소에 대한 Google Cloud 파이프라인 구성요소 SDK 참조를 확인하세요.
서버리스 Dataproc 리소스 참조는 다음 API 참조 페이지를 확인하세요.
Batch
리소스
튜토리얼
버전 기록 및 출시 노트
Google Cloud 파이프라인 구성요소 SDK의 버전 기록 및 변경사항을 자세히 알아보려면 Google Cloud 파이프라인 구성요소 SDK 출시 노트를 참조하세요.
기술 지원 담당자
궁금한 점이 있으면 kfp-dataproc-components@google.com으로 문의하세요.