Dataproc Serverless consente di eseguire carichi di lavoro Spark senza dover eseguire il provisioning e gestire il tuo cluster Dataproc. Esistono due modi per eseguire i carichi di lavoro Dataproc Serverless:
Dataproc Serverless per Spark Batch
Utilizza la console Google Cloud, Google Cloud CLI o l'API Dataproc per inviare un carico di lavoro batch al servizio Dataproc Serverless. Il servizio verrà eseguito il carico di lavoro su un'infrastruttura di computing gestita, con la scalabilità automatica delle risorse in base alle esigenze. Gli addebiti di Dataproc Serverless si applicano solo a e quando il carico di lavoro è in esecuzione.
Per iniziare, consulta Esegui un carico di lavoro batch Apache Spark.
Dataproc serverless per Spark interattivo
Scrivi ed esegui codice nei blocchi note Jupyter durante una sessione interattiva Dataproc Serverless per Spark. Puoi creare una sessione del notebook nei seguenti modi:
Utilizza il plug-in JupyterLab di Dataproc per creare più sessioni del blocco note da modelli che crei e gestisci. Quando installi il plug-in su una macchina locale o su una VM Compute Engine, nella pagina del programma di avvio di JupyterLab vengono visualizzate diverse schede corrispondenti a diverse configurazioni del kernel Spark. Fai clic su una scheda per creare un Dataproc serverless blocco note, quindi inizia a scrivere e testare il codice nel blocco note.
Il plug-in JupyterLab di Dataproc ti consente inoltre di utilizzare la pagina di avvio di JupyterLab per eseguire le seguenti azioni:
- Crea cluster Dataproc su Compute Engine.
- Invio di job ai cluster Dataproc su Compute Engine.
- Visualizzare i log di Google Cloud e Spark.
Per iniziare, consulta Utilizzare JupyterLab per sessioni batch e del blocco note interattive serverless.
Confronto tra Dataproc Serverless per Spark e Dataproc su Compute Engine
Dataproc su Compute Engine è ideale se vuoi eseguire il provisioning e la gestione dell'infrastruttura, nonché eseguire i carichi di lavoro su Spark e altri framework di elaborazione open source. La seguente tabella elenca le principali differenze tra Dataproc su Compute Engine e Dataproc Serverless per Spark.
| Capacità | Dataproc serverless per Spark | Dataproc su Compute Engine |
|---|---|---|
| Framework di elaborazione | Batch: Spark 3.4 e versioni precedenti Interattivo: kernel PySpark per Spark 3.4 e versioni precedenti |
Spark 3.3 e versioni precedenti. Altri framework open source, come Hive, Flink, Trino e Kafka |
| Serverless | Sì | No |
| Tempi di avvio | 60 secondi | 90 secondi |
| Controllo dell'infrastruttura | No | Sì |
| Gestione delle risorse | In base a Spark | Basato su YARN |
| Supporto GPU | Sì | Sì |
| Sessioni interattive | Sì | No |
| Container personalizzati | Sì | No |
| Accesso alle VM (ad esempio SSH) | No | Sì |
| Versioni Java | Java 17, 11 | Versioni precedenti supportate |
OS Login
assistenza * |
No | Sì |
Note:
- Un criterio di accesso al sistema operativo non è applicabile o supportato da Dataproc Serverless.
Se la tua organizzazione applica un criterio
OS Login, i relativi carichi di lavoro serverless Dataproc non riuscirà.
Conformità alla sicurezza serverless di Dataproc
Dataproc Serverless rispetta tutti i requisiti di residenza dei dati, CMEK, VPC-SC e altri requisiti di sicurezza previsti da Dataproc.
Funzionalità dei carichi di lavoro batch di Dataproc Serverless per Spark
Puoi eseguire Dataproc Serverless per i tipi di carichi di lavoro batch Spark:
- Pyspark
- Spark SQL
- Spark R
- Spark (Java o Scala)
Puoi specificare le proprietà Spark quando invii un carico di lavoro batch Dataproc Serverless per Spark.