Spark en Google Cloud

Experiencia unificada de SQL y Spark: crea y ejecuta código de Apache Spark que se escribe en Python directamente desde BigQuery. Luego, puedes ejecutar y programar estos procedimientos almacenados en BigQuery mediante una consulta en SQL estándar de Google, similar a la ejecución de los procedimientos almacenados de SQL.

Los desarrolladores pueden dedicar todo su tiempo al código y la lógica, y usar una interfaz de su elección para enviar trabajos de Spark con aprovisionamiento y ajuste de escala automáticos. Consulta la documentación de Spark sin servidores. 

Spark para la ciencia de datos con un clic: los científicos de datos pueden usar Spark para el desarrollo desde Vertex AI Workbench sin problemas, con seguridad integrada. Spark está integrado en las funciones de MLOps de Vertex AI, en las que los usuarios pueden ejecutar el código de Spark mediante los ejecutores de notebooks integrados en las canalizaciones de Vertex AI.

Ejecuta Spark con ajuste de escala automático en los datos de Google Cloud desde una única interfaz que tiene acceso con un solo clic a SparkSQL, Notebooks o PySpark. También ofrece una colaboración sencilla con la capacidad de guardar, compartir y buscar notebooks y secuencias de comandos, junto con los datos, y administración integrada en los data lakes. 

Además de la implementación de Spark sin servidores para no-ops, los clientes que estandarizan en Kubernetes para la administración de la infraestructura pueden ejecutar Spark en Google Kubernetes Engine (DG) a fin de mejorar el uso de recursos y simplificar la administración de la infraestructura. Los clientes que buscan administración de infraestructura de estilo Hadoop pueden ejecutar Spark en Compute Engine (DG).