Dataproc

Un moyen plus rapide, plus facile et plus économique d'exécuter Apache Spark et Apache Hadoop

Apache Hadoop et Apache Spark en mode cloud natif

Dataproc est un service cloud rapide, facile à utiliser et entièrement géré qui permet une exécution plus simple et plus rentable des clusters Apache Spark et Apache Hadoop. Les opérations qui prenaient auparavant des heures ou des jours prennent désormais quelques secondes ou quelques minutes, et vous ne payez que les ressources que vous utilisez (grâce à la facturation à la seconde). De plus, Dataproc s'intègre facilement à d'autres services Google Cloud Platform (GCP). Vous bénéficiez ainsi d'une plate-forme puissante et complète de traitement des données, d'analyse et de machine learning.

Traitement des données rapide et évolutif

Créez rapidement des clusters Dataproc, puis redimensionnez-les à tout moment (de trois nœuds à plusieurs centaines de nœuds) afin que vos pipelines de données ne saturent pas vos clusters. Vous pouvez consacrer plus de temps à l'analyse des insights et moins à l'infrastructure, chaque opération de cluster prenant en moyenne moins de 90 secondes.

Traitement de données rapide et évolutif

Des tarifs abordables

À l'image de Google Cloud Platform, Dataproc est économique et fait l'objet d'une tarification simple basée sur l'utilisation réelle mesurée à la seconde. Les clusters Dataproc peuvent également inclure des instances préemptives moins chères, des remises sur engagement d'utilisation et des remises automatiques proportionnelles à une utilisation soutenue, ce qui vous permet de bénéficier de clusters performants à un coût total encore plus faible.

Un écosystème Open Source

Vous pouvez utiliser les outils, les bibliothèques et la documentation Spark et Hadoop avec Dataproc, lequel fournit des mises à jour fréquentes des versions natives de Spark, Hadoop, Pig et Hive. Vous pouvez ainsi vous lancer sans avoir à vous familiariser avec de nouveaux outils ou de nouvelles API, et migrer des pipelines ETL ou des projets existants sans avoir à les redévelopper.

Fonctionnalités de Dataproc

Dataproc est un service Apache Spark et Apache Hadoop géré qui est rapide, facile à utiliser et économique.

Gestion automatisée des clusters: Le déploiement, la journalisation et la surveillance gérés vous permettent de vous concentrer sur vos données, et non pas sur vos clusters. Les clusters Dataproc sont stables, évolutifs et rapides.
Clusters redimensionnables: Créez des clusters et adaptez-les rapidement avec différents types de machines virtuelles, tailles de disque, nombres de nœuds et options de mise en réseau.
Autoscaling des clusters: L'autoscaling Dataproc fournit un mécanisme assurant l'automatisation de la gestion des ressources de cluster, et permet l'ajout et le retrait automatiques de nœuds de calcul de cluster.
Intégration au cloud: Grâce à l'intégration à Cloud Storage, BigQuery, Bigtable, Stackdriver Logging, Stackdriver Monitoring et AI Hub, vous bénéficiez d'une plate-forme de données robuste et complète.
Gestion des versions: La gestion des versions d'images vous permet de basculer entre différentes versions d'Apache Spark, d'Apache Hadoop et d'autres outils.
Haute disponibilité: Pour garantir la disponibilité élevée de vos clusters et de vos tâches, exécutez vos clusters en mode haute disponibilité avec plusieurs nœuds maîtres et paramétrez vos tâches de façon qu'elles redémarrent en cas d'échec.
Sécurité d'entreprise: Lorsque vous créez un cluster Dataproc, vous pouvez activer le mode sécurisé Hadoop via Kerberos en ajoutant une configuration de sécurité. De plus, GCP et Dataproc offrent des fonctionnalités de sécurité supplémentaires permettant de protéger vos données. Le chiffrement au repos par défaut, la connexion au système d'exploitation, VPC Service Controls et les clés de chiffrement gérées par le client (CMEK) font partie des fonctionnalités de sécurité propres à GCP les plus fréquemment utilisées avec Dataproc.
Suppression programmée du cluster: Pour éviter d'avoir à payer des frais pour un cluster inactif, vous pouvez utiliser la suppression programmée de Cloud Dataproc qui offre des options pour supprimer un cluster après une période d'inactivité spécifiée, à une date/heure définie, ou après une période déterminée.

Configuration automatique ou manuelle: Dataproc configure automatiquement le matériel et les logiciels tout en permettant un contrôle manuel.
Outils pour les développeurs: Gérez vos clusters via une interface utilisateur Web conviviale, le SDK Cloud, des API RESTful, l'accès SSH et d'autres méthodes.
Actions d'initialisation: Exécutez des actions d'initialisation pour installer ou personnaliser les paramètres et les bibliothèques dont vous avez besoin une fois votre cluster créé.
Composants facultatifs: Utilisez des composants facultatifs pour installer et configurer des composants supplémentaires sur le cluster. Intégrés aux composants Dataproc, les composants facultatifs offrent des environnements entièrement configurés pour Zeppelin, Druid, Presto et d'autres composants logiciels Open Source liés à l'écosystème Apache Hadoop/Apache Spark.
Images personnalisées: Les clusters Dataproc peuvent être provisionnés avec une image personnalisée incluant vos packages de système d'exploitation Linux préinstallés.
Machines virtuelles flexibles: Les clusters peuvent utiliser des types de machines personnalisés et des machines virtuelles préemptives afin que leur taille soit parfaitement adaptée à vos besoins.
Passerelle des composants et accès à des notebooks: La passerelle des composants Dataproc permet un accès sécurisé, en un seul clic, aux interfaces Web des composants par défaut et facultatifs de Dataproc en cours d'exécution sur le cluster.
Modèles de workflow: Les modèles de workflow Dataproc offrent un procédé souple et convivial pour gérer et exécuter des workflows. Un modèle de workflow est une configuration de workflow réutilisable qui définit un graphe des tâches avec des informations sur leur emplacement d'exécution.

Tarifs de Dataproc

Avec Dataproc, la facturation se fait par petits incréments en fonction du nombre de processeurs virtuels dans les instances Compute Engine de votre cluster¹.

Profiter d'un essai gratuit

Sélection de blogs

Consultez les derniers blogs pour mieux comprendre le traitement de données Open Source dans le cloud.

Obtenir des résultats rapides avec Apache Hadoop et Spark : utiliser des clusters dédiés à une tâche sur une architecture cloud native

Démarrage rapide, facturation à la seconde et architecture cloud native : une combinaison aux effets révolutionnaires pour les opérateurs

10 conseils pour créer des clusters de longue durée avec Cloud Dataproc

Notre équipe Cloud Dataproc a travaillé avec d'innombrables clients qui créent des clusters pour leurs cas d'utilisation particuliers. Cependant, les charges de travail Hadoop et Spark ne sont pas toutes diffusées de manière appropriée par un modèle de cluster éphémère dédié à une tâche. L'objectif de l'équipe Cloud Dataproc est de veiller à ce que les cas d'utilisation de tous les clients puissent être traités. À cette fin, nous sommes ravis de partager ces conseils et recommandations pour l'utilisation de Cloud Dataproc dans un modèle non éphémère.

Exécuter les charges de travail Apache Spark et Apache Hadoop avec la flexibilité et la prévisibilité de Cloud Dataproc

Les évolutions récentes du marché soulignent les avantages de l'exécution de services Spark et Hadoop gérés cloud natifs, tels que Cloud Dataproc, permettant de réduire les incertitudes et d'apporter de la flexibilité.

Intégration simplifiée à Apache Spark et Hadoop via les ID et les libellés de tâche Google Cloud Dataproc

Nombreux sont ceux qui ignorent que la fonctionnalité des ID de tâche spécifiés par l'utilisateur et un modèle de conception basé sur les libellés Cloud Dataproc peuvent être utiles pour le développement. Dans cet article de blog, nous vous indiquerons quelques bonnes pratiques que vous pourrez suivre pour intégrer vos applications au service de manière très productive.

HDFS ou Cloud Storage : avantages, inconvénients et conseils de migration

HDFS était autrefois le composant essentiel de la pile Hadoop. La technologie HDFS peut-elle réellement être en voie de disparition si Apache Hadoop et Apache Spark continuent d'être largement utilisés ? C'est la question que chacun devrait naturellement se poser. Dans cet article de blog, nous nous penchons sur le sujet.

Nouveaux outils Open Source dans Cloud Dataproc : traitement des données à l'échelle du cloud

Cet article de blog présente rapidement les plus récentes fonctionnalités de Cloud Dataproc annoncées lors de la conférence Cloud Next 2019. Vous pouvez dès aujourd'hui y accéder et essayer de les utiliser.

Extension des fonctionnalités SQL de votre cluster Cloud Dataproc avec le composant facultatif Presto

Une requête Presto peut traiter efficacement les données de plusieurs sources telles que HDFS, Cloud Storage, MySQL, Cassandra ou même Kafka. C'est une méthodologie bien prise en charge basée sur l'exécution de requêtes fédérées, idéale pour effectuer une analyse ad hoc nécessitant de relier des systèmes disparates. Dans cet article, nous fournissons un exemple utilisant les données publiques des taxis de Chicago.

Sept bonnes pratiques pour exécuter Cloud Dataproc en production

Nous avons réuni les sept bonnes pratiques les plus intéressantes pour vous aider à développer des processus de production extrêmement fiables et stables utilisant Cloud Dataproc. Cela vous aidera à traiter les données plus rapidement pour obtenir de meilleurs insights et de meilleurs résultats.

Aide pour les tâches Hadoop/Spark s'exécutant lentement sur Google Cloud : 10 questions que vous devez vous poser à propos des performances de votre cluster Hadoop et Spark

S'il est une question pertinente que de nombreuses personnes utilisant Hadoop dans le cloud pour la première fois sont amenées à se poser, c'est bien celle concernant les performances qu'elles sont en droit d'attendre. Les clients déploient parfois une démonstration de faisabilité ou transfèrent leur premier ensemble de données vers Cloud Storage, puis lancent leurs tâches Hadoop et Spark et obtiennent des performances bien inférieures à leurs attentes. Il est presque toujours possible de restaurer rapidement et efficacement les performances d'un déploiement.

Un nouveau rapport se penche sur la valeur économique de la solution Spark et Hadoop gérée de Cloud Dataproc

ESG a récemment publié un blog et un rapport de validation de la valeur économique commandé par Google qui examine la valeur apportée par Cloud Dataproc. Selon Mike Leone, analyste senior chez ESG, la comparaison d'un environnement Hadoop et Spark sur site à une solution basée sur l'hébergement de la même infrastructure dans le cloud "a montré que les coûts pouvaient être réduits de 57 % avec Google Cloud Dataproc, qui permettait aussi de réaliser 32 % d'économies par rapport à une solution basée sur Amazon EMR".

Présentation des options de sécurité avancées de Cloud Dataproc (désormais accessibles à tous)

Les nouvelles configurations de sécurité de Cloud Dataproc vous offrent le meilleur de deux mondes : l'accès à l'infrastructure ainsi qu'aux fonctionnalités de sécurité les plus modernes et les plus performantes, et les dispositifs de contrôle que vous avez vous-même développés pour vos environnements Hadoop et Spark.

Types de tâches SparkR dans Cloud Dataproc

Lorsque vous utilisez GCP pour le langage R, vous évitez les obstacles liés à l'infrastructure qui limitaient précédemment votre compréhension des données (par exemple, lors du choix des ensembles de données à échantillonner en raison des limites liées aux capacités de calcul ou à la taille des données). Avec GCP, vous pouvez créer des modèles à grande échelle pour analyser des ensembles de données de tailles qui auraient auparavant nécessité des investissements initiaux considérables dans des infrastructures informatiques hautes performances.

Temps forts de la conférence Next 2019

Découvrez comment nos clients utilisent Dataproc pour réduire leurs coûts et prendre des décisions basées sur les données dans leur organisation.

Dernières fonctionnalités de Cloud Dataproc

Migrer Hadoop vers Google Cloud Platform : les méthodes utilisées par nos clients

Démocratiser Dataproc

Développez vos connaissances et créez des applications

Vous débutez sur GCP ? Bénéficiez d'un avoir de 300 $ pour essayer les produits GCP gratuitement.

Profiter d'un essai gratuit

Encore besoin d'aide ?

Nos experts peuvent vous aider à concevoir la solution adaptée à vos besoins ou à trouver le bon partenaire.

Les produits figurant sur cette page sont proposés en version alpha ou bêta, ou en accès anticipé. Pour en savoir plus sur les étapes de lancement de nos produits, consultez cette page.

Les produits Cloud AI sont conformes aux règles du contrat de niveau de service qui figurent sur cette page. Ils peuvent présenter des latences ou des garanties de disponibilité différentes de celles d'autres services Google Cloud.