Komponen Serverless Dataproc

Komponen Dataproc Serverless memungkinkan Anda menjalankan workload batch Apache Spark dari pipeline dalam Vertex AI Pipelines. Dataproc Serverless menjalankan workload batch pada infrastruktur komputasi terkelola, serta melakukan penskalaan otomatis resource sesuai kebutuhan.

Pelajari lebih lanjut Dataproc Serverless dan workload Spark yang didukung.

Di Dataproc Serverless, resource Batch merepresentasikan workload batch. Google Cloud Pipeline Components SDK menyertakan operator berikut untuk membuat resource Batch dan memantau eksekusinya:

• DataprocPySparkBatchOp
• DataprocSparkBatchOp
• DataprocSparkRBatchOp
• DataprocSparkSqlBatchOp

Referensi API

• Untuk referensi komponen, lihat referensi Google Cloud Pipeline Components SDK untuk komponen Dataproc Serverless .

• Untuk referensi resource Dataproc Serverless, lihat halaman referensi API berikut:

  • Resource Batch

Tutorial

• Memulai komponen pipeline Dataproc Serverless

Histori versi dan catatan rilis

Untuk mempelajari lebih lanjut histori versi dan perubahan pada Google Cloud Pipeline Components SDK, lihat Catatan Rilis Google Cloud Pipeline Components SDK.

Kontak dukungan teknis

Jika ada pertanyaan, hubungi [e-mail].