서버리스 Dataproc 구성요소

Dataproc 서버리스 구성요소를 사용하면 Vertex AI Pipelines 내의 파이프라인에서 Apache Spark 일괄 워크로드를 실행할 수 있습니다. 서버리스 Dataproc은 관리형 컴퓨팅 인프라에서 일괄 워크로드를 실행하고 필요에 따라 리소스를 자동 확장합니다.

서버리스 Dataproc 및 지원되는 Spark 워크로드에 대해 자세히 알아보세요.

Dataproc 서버리스에서 Batch 리소스는 일괄 워크로드를 나타냅니다. Google Cloud 파이프라인 구성요소 SDK에는 Batch 리소스를 만들고 실행을 모니터링하는 다음 연산자가 포함됩니다.

• DataprocPySparkBatchOp
• DataprocSparkBatchOp
• DataprocSparkRBatchOp
• DataprocSparkSqlBatchOp

API 참조

• 구성요소 참조는 Dataproc 서버리스 구성요소에 대한 Google Cloud 파이프라인 구성요소 SDK 참조를 확인하세요.

• 서버리스 Dataproc 리소스 참조는 다음 API 참조 페이지를 확인하세요.

  • Batch 리소스

튜토리얼

• Dataproc 서버리스 파이프라인 구성요소 시작하기

버전 기록 및 출시 노트

Google Cloud 파이프라인 구성요소 SDK의 버전 기록 및 변경사항을 자세히 알아보려면 Google Cloud 파이프라인 구성요소 SDK 출시 노트를 참조하세요.

기술 지원 담당자

궁금한 점이 있으면 [e-mail]으로 문의하세요.