Mit den serverlosen Dataproc-Komponenten können Sie Apache Spark-Batcharbeitslasten aus einer Pipeline in Vertex AI Pipelines ausführen. Dataproc Serverless führt die Batcharbeitslasten in einer verwalteten Computing-Infrastruktur aus und skaliert die Ressourcen automatisch nach Bedarf.
Weitere Informationen zu Dataproc Serverless und zu unterstützten Spark-Arbeitslasten
In Dataproc Serverless stellt eine Batch-Ressource eine Batcharbeitslast dar.
Das Google Cloud Pipeline Components SDK enthält die folgenden Operatoren zum Erstellen von Batch-Ressourcen und zum Überwachen ihrer Ausführung:
API-Referenz
Die Komponentenreferenz finden Sie in der SDK-Referenz für Google Cloud Pipeline-Komponenten für Dataproc Serverless-Komponenten .
Die Referenz zu Dataproc Serverless-Ressourcen finden Sie auf der folgenden API-Referenzseite:
BatchRessource
Tutorials
Versionsverlauf und Versionshinweise
Weitere Informationen zum Versionsverlauf und zu Änderungen am Google Cloud Pipeline Components SDK finden Sie in den Versionshinweisen zum Google Cloud Pipeline Components SDK.
Technische Supportkontakte
Wenn Sie Fragen haben, wenden Sie sich bitte an kfp-dataproc-components@google.com.