Le service Dataproc Hub vous permet de tirer parti d'AI Platform Notebooks et de Dataproc pour exécuter des tâches de ML et de traitement de données interactives à grande échelle à l'aide de notebooks Jupyter et de l'écosystème Hadoop et Spark.
Dataproc Hub exploite JupyterHub pour :
- renforcer la cohérence au sein de votre organisation en permettant aux administrateurs de créer une liste organisée de modèles de notebooks pour différents groupes de données et d'utilisateurs de ML ;
- accélérer la création de notebooks en fournissant aux utilisateurs des données et du ML des environnements préconfigurés qui correspondent à leurs exigences logicielles et matérielles.
Dataproc Hub fournit des interfaces distinctes pour les administrateurs et les utilisateurs :
- Les administrateurs utilisent l'interface utilisateur Notebooks→Dataproc de Cloud Console pour créer des instances Dataproc Hub. Chaque instance de hub contient un ensemble prédéfini d'environnements de notebooks définis par des fichiers de configuration de cluster YAML.
- Les utilisateurs de données et de ML utilisent l'interface utilisateur Notebooks→Instances de Cloud Console pour sélectionner un environnement de notebooks prédéfini afin de générer un serveur de notebooks sur leur cluster Dataproc.
- Les utilisateurs qui n'ont pas accès à la console peuvent accéder à l'instance Dataproc Hub pour générer un cluster Dataproc à partir de leur navigateur Web à l'aide d'une URL d'instance Dataproc Hub fournie par l'administrateur.
Cas d'utilisation de Dataproc Hub :
- Les utilisateurs de données et de ML sont organisés en groupes ayant des exigences logicielles et matérielles courantes (les utilisateurs peuvent être placés dans plusieurs groupes).
- Accès limité à la console Dataproc : les utilisateurs n'ont pas accès à Dataproc dans Cloud Console.
Fonctionnalités de Dataproc Hub :
- Environnements utilisateurs prédéfinis
- Isolation de cluster et de notebook : les membres d'un groupe donné ne disposent pas d'un accès facile aux clusters et aux notebooks des membres d'autres groupes
Pour en savoir plus
- Administrateurs : Configurer Dataproc Hub
- Utilisateurs : Utiliser Dataproc Hub