Spark sur Google Cloud

Expérience SQL et Spark unifiée : créer et exécuter du code Apache Spark écrit en Python directement depuis BigQuery. Vous pouvez ensuite exécuter et programmer ces procédures stockées dans BigQuery à l'aide d'une requête SQL standard, semblable à l'exécution de procédures stockées SQL.

Les développeurs peuvent consacrer tout leur temps au code et à la logique, et utiliser l'interface de leur choix pour envoyer des tâches Spark qui assurent le provisionnement et l'autoscaling automatiques. Lisez la documentation sur Spark sans serveur.

Spark pour la data science en un clic : les data scientists peuvent utiliser Spark pour le développement depuis Vertex AI Workbench en toute transparence, grâce à une sécurité intégrée. Spark est intégré aux fonctionnalités MLOps de Vertex AI, où les utilisateurs peuvent exécuter du code Spark via des exécuteurs de notebook intégrés à Vertex AI Pipelines.

Exécutez l'autoscaling Spark sur les données de Google Cloud à partir d'une interface unique permettant d'accéder en un clic à SparkSQL, Notebooks ou PySpark. Profitez également d'une collaboration facile, avec la possibilité d'enregistrer, de partager et de rechercher des notebooks et des scripts parallèlement aux données, ainsi qu'une gouvernance intégrée sur l'ensemble des lacs de données.

En plus de la solution Spark sans serveur pour le déploiement no-ops, les clients qui standardisent l'utilisation de Kubernetes pour la gestion de l'infrastructure peuvent exécuter Spark sur Google Kubernetes Engine (version bêta privée) pour améliorer l'utilisation des ressources et simplifier la gestion de l'infrastructure. Les clients qui cherchent à gérer l'infrastructure de type Hadoop peuvent exécuter Spark sur Compute Engine.