Crear sesiones interactivas y plantillas de sesión

Dataproc Serverless ahora es Google Cloud Serverless para Apache Spark. Hasta que se actualicen, en algunos documentos se seguirá haciendo referencia al nombre anterior.

En esta página se explica cómo crear sesiones interactivas y plantillas de sesiones de Serverless para Apache Spark. Una plantilla de sesión se puede usar para crear varias sesiones interactivas basadas en la configuración de la plantilla de sesión.

Nota: Las sesiones interactivas de Apache Spark sin servidor están asociadas a cuadernos interactivos. Para ver un ejemplo de uso de sesiones con cuadernos de Jupyter, consulta Usar el complemento JupyterLab de Dataproc para sesiones de cuadernos interactivas y por lotes sin servidor. Para ver ejemplos del uso de sesiones en cuadernos de BigQuery Studio, consulta Ejecutar código de PySpark en cuadernos de BigQuery Studio.

Crear una sesión interactiva

Puedes usar Google Cloud CLI o la API de Dataproc para crear una sesión interactiva de Serverless para Apache Spark.

gcloud

Puedes usar el gcloud beta dataproc sessions create command SESSION_NAME para crear una sesión interactiva de Serverless para Apache Spark.

gcloud beta dataproc sessions create spark SESSION_ID \
    --location=REGION \
    optional flags ...

Sustituye o añade lo siguiente:

• SESSION_ID: obligatorio. ID de la sesión.

• REGION: obligatorio. Una región disponible para localizar tu sesión.

• --version: opcional. Una versión del entorno de ejecución de Spark compatible. Si no usas esta marca para especificar una versión, se usará la versión predeterminada actual del entorno de ejecución de Spark.

• --container-image: opcional. Una imagen de contenedor personalizado que se usará en tu sesión.

• --property: opcional. Una o varias propiedades de Spark separadas por comas para tu sesión.

• --service-account: opcional. La cuenta de servicio que se usará en tu sesión. Si no se especifica, se usa la cuenta de servicio predeterminada de Compute Engine.

• --subnet: opcional. Nombre de una subred de la región de la sesión. Si no se especifica, Serverless para Apache Spark usa la subred default de la región de la sesión. Serverless para Apache Spark habilita el acceso privado de Google (PGA) en la subred. Para consultar los requisitos de conectividad de red, consulta Google Cloud Configuración de red de Serverless para Apache Spark.

REST

Puedes usar la API Dataproc sessions.create para crear una sesión interactiva de Serverless para Apache Spark.

Notas:

• name: Obligatorio. Nombre de la sesión.

• version: opcional. Cualquiera de las versiones del tiempo de ejecución de Spark compatibles con tu sesión. Si no especificas ninguna versión, se usará la versión predeterminada actual.

• containerImage: opcional. Una imagen de contenedor personalizado que se usará en tu sesión.

• properties: opcional. Una asignación de nombres de propiedades de sesión a valores. Consulta las propiedades de Spark.

• serviceAccount: opcional. La cuenta de servicio que se usará para ejecutar tu sesión. Si no se especifica, se usa la cuenta de servicio predeterminada de Compute Engine.

• subnetworkUri: opcional. Nombre de una subred de la región de la sesión. Si no se especifica, Serverless para Apache Spark usa la subred default de la región de la sesión. Serverless para Apache Spark habilita el acceso privado de Google (PGA) en la subred. Para consultar los requisitos de conectividad de red, consulta Google Cloud Configuración de red de Serverless para Apache Spark.

Crear una plantilla de sesión

Una plantilla de sesión de Serverless para Apache Spark define los ajustes de configuración para crear una o varias sesiones interactivas de Serverless para Apache Spark. Puedes usar la consola, la interfaz de línea de comandos gcloud o la API de Dataproc para crear una plantilla de sesión de Serverless para Apache Spark para una sesión de Jupyter o Spark Connect. Google Cloud

Nota: Puedes crear una sesión en un cuaderno de BigQuery Studio a partir de una plantilla de sesión de Serverless para Apache Spark. En esta sección se explica cómo configurar la plantilla para usarla en un cuaderno de BigQuery Studio.

Consola

Para crear una plantilla de sesión de Apache Spark sin servidor mediante la consola de Google Cloud , sigue estos pasos:

1. En la Google Cloud consola, ve a la página Plantillas de sesión.

   Ir a Plantillas de sesión

   1. Haz clic en Crear.

2. En la página Crear plantilla de sesión, introduce o confirma los ajustes de configuración de la plantilla. Ten en cuenta lo siguiente:

   • ID de tiempo de ejecución de la plantilla: obligatorio. Acepte el ID (nombre) predeterminado o especifique un nombre de tiempo de ejecución de la plantilla.
   • Región: obligatoria. Acepta la región predeterminada o especifica una región disponible para las sesiones de plantilla.
   • Versión del entorno de ejecución: opcional. Los tiempos de ejecución de las sesiones seleccionables corresponden a las versiones del tiempo de ejecución de Serverless para Apache Spark.
     • Requisitos de la sesión del cuaderno de BigQuery Studio: Si vas a crear una plantilla para usarla en sesiones de Spark Connect de cuadernos de BigQuery Studio, debe usar la versión 2.3 o posterior del tiempo de ejecución de Spark.
   • Tipo de configuración de plantilla: obligatorio. Selecciona un tipo. Si selecciona Jupyter, especifique el Nombre visible y seleccione el Tipo de kernel de Jupyter. Consulta también Iniciar un cuaderno de Jupyter en Serverless para Apache Spark.
     • Requisito de la sesión del cuaderno de BigQuery Studio: las sesiones del cuaderno de BigQuery Studio deben especificar Spark Connect como tipo de configuración de plantilla.
   • Cuenta de servicio: opcional. La cuenta de servicio que se va a usar para ejecutar sesiones basadas en plantillas. Si no se especifica, se usa la cuenta de servicio predeterminada de Compute Engine.
   • Imagen de contenedor personalizada: opcional. Una imagen de contenedor personalizada que se usará en tus sesiones con plantilla.
   • Propiedades: opcional. Haz clic en Añadir elemento para cada propiedad que quieras definir en tus sesiones basadas en plantillas. Para obtener más información, consulta Propiedades de Spark.
   • Configuración de red: * Obligatorio. Selecciona una subred en la región de la sesión. Serverless para Apache Spark habilita Acceso privado de Google (PGA) en la subred especificada. Para consultar los requisitos de conectividad de red, consulta Google Cloud Configuración de red de Serverless para Apache Spark.

3. Haga clic en Enviar para crear la plantilla de sesión.

gcloud

No puedes crear directamente una plantilla de sesión de Serverless para Apache Spark con la CLI de gcloud, pero puedes usar el comando gcloud beta dataproc session-templates import para importar una plantilla de sesión. Puedes editar la plantilla importada y, a continuación, exportarla con el comando gcloud beta dataproc session-templates export.

REST

Puedes usar la API de Dataproc sessionTemplates.create para crear una plantilla de sesión de Serverless para Apache Spark.

Notas:

• name: Obligatorio. Nombre de la plantilla de sesión.

• version: opcional. Cualquiera de las versiones del tiempo de ejecución de Spark admitidas para tus sesiones basadas en plantillas. Si no especificas ninguna versión, se usará la versión predeterminada.

  • Requisitos de la sesión del cuaderno de BigQuery Studio: Si vas a crear una plantilla para usarla en sesiones de Spark Connect de cuadernos de BigQuery Studio, debe usar la versión 2.3 o posterior del tiempo de ejecución de Spark.

• sessionConfig: especifique jupyter_session o spark_connect_session. Si especificas jupyter_session, también debes especificar JupyterConfig.display_name y JupyterConfig.kernel. Consulta también Iniciar un cuaderno de Jupyter en Serverless para Apache Spark.

  • Requisito de la sesión del cuaderno de BigQuery Studio: En las sesiones del cuaderno de BigQuery Studio se debe especificar Spark Connect como tipo de configuración de plantilla.

• containerImage: opcional. Una imagen de contenedor personalizada que se usará en tus sesiones con plantilla.

• properties: opcional. Una asignación de nombres de propiedades de sesión a valores. Consulta las propiedades de Spark.

• serviceAccount: opcional. Una cuenta de servicio que se usará para ejecutar tus sesiones basadas en plantillas. Si no se especifica, se usa la cuenta de servicio predeterminada de Compute Engine.

• subnetworkUri: opcional. Nombre de una subred de la región de la sesión. Si no se especifica, Serverless para Apache Spark usa la subred default de la región de la sesión. Serverless para Apache Spark habilita el acceso privado de Google (PGA) en la subred. Para consultar los requisitos de conectividad de red, consulta Google Cloud Configuración de red de Serverless para Apache Spark.