Questa pagina mostra come creare sessioni interattive e modelli di sessione di Dataproc Serverless. Un modello di sessione può essere utilizzato per creare più sessioni interattive in base alla configurazione del modello di sessione.
Crea una sessione Dataproc Serverless
Puoi utilizzare la console Google Cloud, Google Cloud CLI o l'API Dataproc per creare una sessione interattiva Dataproc Serverless.
Console
Per creare una sessione Dataproc Serverless utilizzando la console Google Cloud, completa i seguenti passaggi:
Nella console Google Cloud, vai alla pagina Sessioni interattive.
- Fai clic su Crea.
Nella pagina Aggiungi una sessione interattiva (anteprima), inserisci o conferma le impostazioni di configurazione della sessione. Tieni presente quanto segue:
- Nome della sessione interattiva: obbligatorio. Accetta il nome predefinito o specifica un nome per la sessione.
- Regione: obbligatoria. Accetta la regione predefinita o specifica una regione disponibile per la sessione.
- Configurazione di runtime:facoltativa. I runtime delle sessioni selezionabili corrispondono alle versioni del runtime Dataproc Serverless per Spark disponibili. Puoi specificare un'immagine container personalizzata da utilizzare per la sessione.
- Proprietà:facoltativo. Fai clic su Aggiungi elemento per ogni proprietà da impostare per la sessione. Per ulteriori informazioni, consulta Proprietà Spark.
- UI di Spark (anteprima): facoltativo. Puoi utilizzare l'interfaccia utente di Spark per raccogliere e monitorare i dettagli di esecuzione della sessione.
- Account di servizio:facoltativo. L'account di servizio da utilizzare per la sessione. Se non specificato, viene utilizzato l'account di servizio predefinito di Compute Engine.
- Configurazione di rete: obbligatoria. La subnet della sessione deve avere accesso privato Google (PGA) abilitato e deve consentire la comunicazione della subnet su tutte le porte. In questa sezione sono elencate solo le reti con subnet nella regione della sessione specificata con PGA abilitato. Per ulteriori informazioni, consulta la pagina Configurazione di rete di Dataproc Serverless per Spark.
Fai clic su Invia per creare la sessione.
gcloud
Puoi utilizzare gcloud beta dataproc sessions create command SESSION_NAME per creare una sessione interattiva Dataproc Serverless.
Note sui flag dei comandi:
--region: obbligatorio. Una regione disponibile per la tua sessione.--version: facoltativo. Una versione del runtime Spark supportata. Se non utilizzi questo flag per specificare una versione, viene utilizzata la versione predefinita corrente del runtime Spark.--container-image: facoltativo. Un'immagine container personalizzata da utilizzare per la sessione.--property: facoltativo. Una o più proprietà Spark separate da virgole per la sessione.--service-account: facoltativo. L'account di servizio da utilizzare per la sessione. Se non specificato, viene utilizzato l'account di servizio predefinito di Compute Engine.--subnet: facoltativo. Una subnet VPC nel seguente formato:projects/PROJECT_ID/regions/REGION/subnetworks/SUBNET_NAME
- REGION: il
--regionselezionato per la sessione. - SUBNET_NAME: la subnet deve avere attivato accesso privato Google (PGA) e consentire la comunicazione della subnet su tutte le porte. Per ulteriori informazioni, consulta Configurazione di rete di Dataproc Serverless per Spark.
- REGION: il
REST
Puoi utilizzare l'API Dataproc
sessions.create
per creare una sessione interattiva Dataproc Serverless.
Note:
name: obbligatoria. Nome della sessione.version: facoltativo. Qualsiasi delle versioni di runtime Spark supportate per la sessione. Se non specifichi una versione, viene utilizzata la versione predefinita corrente.containerImage: facoltativo. Un'immagine container personalizzata da utilizzare per la sessione.properties: facoltativo. Una mappatura dei nomi delle proprietà della sessione ai valori. Consulta Proprietà Spark.serviceAccount: facoltativo. L'account di servizio da utilizzare per eseguire la sessione. Se non specificato, viene utilizzato l'account di servizio predefinito di Compute Engine.subnetworkUri: facoltativo. Una subnet VPC per la sessione nel seguente formato:projects/PROJECT_ID/regions/REGION/subnetworks/SUBNET_NAME
Crea un modello di sessione Dataproc Serverless
Un modello di sessione Dataproc Serverless definisce le impostazioni di configurazione per la creazione di una o più sessioni interattive Dataproc Serverless.
Puoi utilizzare la console Google Cloud, la gcloud CLI o l'API Dataproc per creare un modello di sessione Dataproc Serverless.
Console
Per creare un modello di sessione Dataproc Serverless utilizzando la console Google Cloud, completa i seguenti passaggi:
Nella console Google Cloud, vai alla pagina Modelli di sessione interattiva.
Vai a Modelli di sessione interattiva
- Fai clic su Crea.
Nella pagina Crea modello sessione, inserisci o conferma le impostazioni di configurazione del modello. Tieni presente quanto segue:
- ID runtime del modello:obbligatorio. Accetta l'ID (nome) predefinito o specifica un nome per il runtime del modello.
- Regione: obbligatoria. Accetta la regione predefinita o specifica una regione disponibile per le sessioni dei modelli.
- Versione del runtime:facoltativa. I runtime delle sessioni selezionabili corrispondono alle versioni del runtime di Dataproc Serverless per Spark.
- Tipo di configurazione del modello:obbligatorio. Seleziona un tipo. Se selezioni
Jupyter, specifica il Nome visualizzato e seleziona il Tipo di kernel Jupyter. Per ulteriori informazioni, consulta Avvia un blocco note Jupyter su Dataproc Serverless. - Account di servizio:facoltativo. L'account di servizio da utilizzare per eseguire sessioni basate su modelli. Se non specificato, viene utilizzato l'account di servizio predefinito di Compute Engine.
- Immagine del container personalizzato:facoltativa. Un'immagine container personalizzata da utilizzare per le sessioni basate su modelli.
- Proprietà:facoltativo. Fai clic su Aggiungi elemento per ogni proprietà da impostare per le sessioni basate su modelli. Per ulteriori informazioni, consulta Proprietà Spark.
- Configurazione di rete: * Obbligatorio. La subnet della sessione deve avere accesso privato Google (PGA) abilitato e deve consentire la comunicazione della subnet su tutte le porte. In questa sezione sono elencate solo le reti con subnet nella regione della sessione con PGA abilitato. Per ulteriori informazioni, consulta la pagina Configurazione di rete di Dataproc Serverless per Spark.
Fai clic su Invia per creare il modello di sessione.
gcloud
Non puoi creare direttamente un modello di sessione Dataproc Serverless utilizzando gcloud CLI, ma puoi utilizzare il comando gcloud beta dataproc session-templates import per importare un modello di sessione esistente. Puoi modificare il modello importato
e poi esportarlo utilizzando il comando gcloud beta dataproc session-templates export.
REST
Puoi utilizzare l'API Dataproc
sessionTemplates.create
per creare un modello di sessione Dataproc Serverless.
Note:
name: obbligatoria. Nome del modello di sessione.version: facoltativo. Qualsiasi delle versioni del runtime Spark supportate per le sessioni basate su modelli. Se non specifichi una versione, viene utilizzata la versione predefinita.containerImage: facoltativo. Un'immagine container personalizzata da utilizzare per le sessioni basate su modelli.properties: facoltativo. Una mappatura dei nomi delle proprietà della sessione ai valori. Consulta Proprietà Spark.serviceAccount: facoltativo. Un account di servizio da utilizzare per eseguire le sessioni basate su modelli. Se non specificato, viene utilizzato l'account di servizio predefinito di Compute Engine.subnetworkUri: facoltativo. Una subnet VPC per le sessioni basate su modello nel seguente formato:projects/PROJECT_ID/regions/REGION/subnetworks/SUBNET_NAME