Compatibilité native de BigQuery avec Apache Spark parallèlement à SQL En savoir plus

Spark sur Google Cloud

La première solution Spark sans serveur du secteur proposant l'autoscaling, s'intègre aux meilleurs outils Google natifs et Open Source. Développez et exécutez Spark où vous en avez besoin pour tous les cas d'utilisation, y compris l'ETL, la data science et l'exploration.

Essayez Spark sans serveur Nous contacter

Déployez une solution de lakehouse d'analyse de données recommandée par Google

Commencer dès maintenant

Avantages

Augmentez la productivité des développeurs et obtenez plus rapidement des insights sur les données

Simplicité opérationnelle grâce à Spark sans serveur

Développez des applications et des pipelines Spark qui évoluent automatiquement sans provisionnement ni réglage d'infrastructure manuels.

Spark fluide pour tous les utilisateurs de données

Spark est intégré à BigQuery, Vertex AI et Dataplex afin de pouvoir écrire et exécuter des données à partir de ces interfaces en deux clics, sans intégrations personnalisées, pour l'ETL, l'exploration de données, l'analyse et le ML.

Une consommation flexible

Chaque entreprise a des besoins différents. Pour vos applications Spark, vous avez le choix entre les clusters sans serveur, les clusters Kubernetes et les clusters de calcul.

Principales fonctionnalités

Exécuter des tâches Spark qui s'adaptent automatiquement en deux clics, à partir de l'interface de votre choix

Data science avec Spark sans serveur

Spark sans serveur de Google Cloud accélère la science des données en automatisant l'infrastructure. Concentrez-vous sur votre code, et non sur la gestion des cluster. Le scaling automatique et l'intégration parfaite avec BigQuery et Vertex AI simplifient les workflows, ce qui permet d'accélérer l'itération et le développement de modèles. Découvrez les dernières bibliothèques pour Spark sans serveur afin de bénéficier de plus de cas d'utilisation avec moins de configuration utilisateur nécessaire. Découvrez les derniers exemples de code pour les data scientists, y compris la création d'un pipeline pour prédire la perte de clients à l'aide d'Apache Spark, XGBoost et la bibliothèque Hugging Face Transformers.

Spark via Vertex AI

Spark pour la data science en un clic : les data scientists peuvent utiliser Spark pour le développement depuis Vertex AI Workbench en toute transparence, grâce à une sécurité intégrée. Spark est intégré aux fonctionnalités MLOps de Vertex AI, où les utilisateurs peuvent exécuter du code Spark via des exécuteurs de notebook intégrés à Vertex AI Pipelines.

Procédures BigQuery externes pour Apache Spark

Expérience SQL et Spark unifiée : créer et exécuter du code Apache Spark écrit en Python directement depuis BigQuery. Vous pouvez ensuite exécuter et programmer ces procédures stockées dans BigQuery à l'aide d'une requête SQL standard, semblable à l'exécution de procédures stockées SQL.

Spark sans serveur

Les développeurs peuvent consacrer tout leur temps au code et à la logique, et utiliser l'interface de leur choix pour envoyer des tâches Spark qui assurent le provisionnement et l'autoscaling automatiques. Lisez la documentation sur Spark sans serveur.

Spark via Dataplex

Exécutez l'autoscaling Spark sur les données de Google Cloud à partir d'une interface unique permettant d'accéder en un clic à SparkSQL, Notebooks ou PySpark. Profitez également d'une collaboration facile, avec la possibilité d'enregistrer, de partager et de rechercher des notebooks et des scripts parallèlement aux données, ainsi qu'une gouvernance intégrée sur l'ensemble des lacs de données.

Vous êtes prêt ? Nous contacter

Partenaires