Apache Spark sur Google Cloud

Utiliser Google Cloud Serverless pour Apache Spark pour booster la productivité et les performances avec Lightning Engine* et Gemini Cette expérience est un environnement profondément intégré qui permet d'exécuter des charges de travail Apache Spark et SQL directement depuis BigQuery. La solution offre une sécurité unifiée, des métadonnées d'exécution à l'aide du metastore BigLake et une gouvernance via le catalogue universel Dataplex. Maximisez la productivité grâce à la CI/CD intégrée, à Gemini dans les notebooks, et éliminez la gestion des clusters Apache Spark.

* Les requêtes sont dérivées de la norme TPC-DS et de la norme TPC-H. Elles ne sont donc pas comparables aux résultats publiés pour la norme TPC-DS et la norme TPC-H, car ces exécutions ne respectent pas toutes les exigences de la spécification de la norme TPC-DS et de la norme TPC-H.

Dataproc est un service entièrement géré et hautement évolutif qui vous permet de déployer et d'exploiter Spark, Hadoop et un vaste écosystème de plus de 30 outils Open Source dédiés. Son intégration aux produits et services Google Cloud plus larges, y compris Lightning Engine pour Dataproc sur Google Compute Engine (niveau premium), en fait la solution idéale pour la modernisation des lacs de données, les pipelines ETL efficaces et les initiatives de science des données sécurisées à grande échelle, dans lesquelles le contrôle des clusters est primordial.

Que vous préfériez la simplicité sans opérations de Google Cloud Serverless pour Apache Spark ou le contrôle des clusters Dataproc gérés, vous pouvez accélérer l'ensemble du cycle de vie du machine learning. Profitez de ces avantages :

• Intégration parfaite : connectez-vous facilement à BigQuery pour accéder aux données et à Vertex AI pour le MLOps, et créez des pipelines de science des données de bout en bout.
• Productivité des développeurs : utilisez Gemini pour obtenir des insights sur le codage et une assistance dans des environnements de notebook tels que BigQuery Studio et Vertex AI Workbench.
• Préparation à l'IA/au ML : utilisez les bibliothèques de ML préemballées et l'accélération par GPU disponibles avec les clusters Spark et Dataproc sans serveur pour les tâches d'entraînement et d'inférence exigeantes.
• Itérations plus rapides : concentrez-vous sur le développement et l'expérimentation, quel que soit votre choix.

Développez et exploitez Spark pour la data science en toute simplicité avec Vertex AI. Utilisez Spark depuis Vertex AI Workbench pour un développement interactif avec sécurité intégrée et assistance Gemini. Intégrez le traitement Spark à Vertex AI Pipelines pour des opérations MLOps robustes.

Les offres Spark de Google Cloud offrent une compatibilité robuste avec des formats Open Source tels qu'Apache Iceberg, Delta Lake et Hudi. Utilisez BigLake Metastore ou Dataproc Metastore pour une gestion unifiée des métadonnées dans tous les formats, et bénéficiez d'une architecture de lakehouse ouverte dans laquelle vous pouvez traiter les données avec le moteur Spark de votre choix.