Présentation des notebooks gérés

Les instances de notebooks gérés Vertex AI Workbench sont des environnements gérés par Google avec des intégrations et des fonctionnalités qui vous aident à configurer et à utiliser un environnement de production de bout en bout basé sur un notebook Jupyter.

Les instances de notebooks gérés sont préinstallées avec JupyterLab et disposent d'une suite de packages de deep learning préinstallée, assurant la compatibilité avec les frameworks TensorFlow et PyTorch. Les instances de notebooks gérés sont compatibles avec les accélérateurs GPU et peuvent être synchronisées avec un dépôt GitHub. Vos instances de notebooks gérés sont protégées par l'authentification et l'autorisation Google Cloud.

Infrastructure de calcul gérée par Google

Une instance de notebooks gérés Vertex AI Workbench est une infrastructure de calcul basée sur un notebook Jupyter et gérée par Google.

Lorsque vous créez une instance de notebooks gérés, elle est déployée en tant qu'instance de machine virtuelle (VM) gérée par Google dans un projet locataire.

Votre instance de notebooks gérés comprend de nombreux environnements courants de framework de data science, tels que TensorFlow et PyTorch. Vous pouvez également ajouter vos propres images de conteneurs personnalisées à votre instance de notebooks gérés. Ces environnements sont disponibles sous forme de noyaux dans lesquels vous pouvez exécuter votre fichier notebook.

Lorsque vous exécutez un notebook dans l'un des noyaux, Vertex AI Workbench démarre le conteneur correspondant, crée une session Jupyter sur celui-ci et utilise cette session Jupyter pour exécuter votre notebook sur le conteneur.

Cette infrastructure de calcul gérée par Google inclut des intégrations et des fonctionnalités qui vous aident à implémenter des workflows de data science et de machine learning de bout en bout. Pour en savoir plus, consultez les sections suivantes.

Utiliser des conteneurs personnalisés

Vous pouvez ajouter des images de conteneurs Docker personnalisées à votre instance de notebooks gérés pour exécuter votre code de notebook dans un environnement personnalisé suivant vos besoins.

Ces conteneurs personnalisés peuvent être utilisés directement à partir de l'interface utilisateur de JupyterLab, tout comme les frameworks préinstallés. Pour en savoir plus, consultez la page Ajouter un conteneur personnalisé à une instance de notebooks gérés.

Workflow basé sur des notebooks

Les instances de notebooks gérés vous permettent d'effectuer des tâches axées sur les workflows sans quitter l'interface utilisateur de JupyterLab.

Contrôler votre matériel et votre framework à partir de JupyterLab

Dans une instance de notebooks gérés, c'est dans l'interface utilisateur de JupyterLab que vous déterminez les ressources de calcul avec lesquelles votre code s'exécutera. Par exemple, vous pouvez configurer le nombre de processeurs virtuels ou de GPU souhaité, la quantité de mémoire RAM souhaitée et le framework dans lequel vous souhaitez exécuter le code. Vous pouvez commencer par écrire votre code, puis choisir la façon de l'exécuter sans avoir à quitter JupyterLab ou à redémarrer votre instance. Pour tester rapidement votre code, vous pouvez procéder à un scaling à la baisse de votre matériel, puis à un scaling à la hausse pour exécuter votre code avec davantage de données.

Accéder aux données

Vous pouvez accéder à vos données sans quitter l'interface utilisateur de JupyterLab.

Dans le menu de navigation de JupyterLab d'une instance de notebooks gérés, vous pouvez utiliser l'intégration Cloud Storage pour parcourir les données et les autres fichiers auxquels vous avez accès. Consultez la page Accéder aux fichiers et buckets Cloud Storage à partir de JupyterLab.

Vous pouvez également utiliser l'intégration BigQuery pour parcourir les tables auxquelles vous avez accès, écrire des requêtes, prévisualiser les résultats et charger des données dans un notebook. Consultez la page Interroger les données dans les tables BigQuery à partir de JupyterLab.

Exécuter des notebooks

Utilisez l'exécuteur pour exécuter un fichier notebook ponctuellement ou de manière planifiée. Choisissez l'environnement et le matériel spécifiques sur lesquels vous souhaitez procéder à l'exécution. Le code de votre notebook s'exécute sur l'entraînement personnalisé de Vertex AI, ce qui peut faciliter l'entraînement distribué, optimiser les hyperparamètres ou planifier des tâches d'entraînement continu. Consultez la page Exécuter des fichiers notebook avec l'exécuteur.

Vous pouvez utiliser des paramètres dans votre exécution pour apporter des modifications spécifiques à chaque exécution. Par exemple, vous pouvez spécifier un autre ensemble de données à utiliser, modifier le taux d'apprentissage de votre modèle ou modifier la version du modèle.

Vous pouvez configurer un notebook pour qu'il s'exécute selon un calendrier récurrent. Même lorsque votre instance est arrêtée, Vertex AI Workbench va exécuter votre fichier notebook et enregistrer les résultats, que vous pouvez consulter et partager avec d'autres utilisateurs.

Partager des insights

Les exécutions de notebook effectuées sont stockées dans un bucket Cloud Storage. Vous pouvez donc partager vos insights avec d'autres utilisateurs en accordant l'accès aux résultats. Consultez la section précédente sur l'exécution des notebooks.

Sécuriser votre instance

Vous pouvez déployer votre instance de notebooks gérés avec le réseau par défaut géré par Google, qui utilise un réseau et un sous-réseau VPC par défaut. Au lieu du réseau par défaut, vous pouvez spécifier un réseau VPC à utiliser avec votre instance. Pour en savoir plus, consultez la page Configurer un réseau. Vous pouvez utiliser VPC Service Controls pour renforcer la sécurité de vos instances de notebooks gérés.

Pour utiliser des notebooks gérés par l'utilisateur dans un périmètre de service, consultez la section Utiliser une instance de notebooks gérés par l'utilisateur dans un périmètre de service.

Par défaut, Google Cloud chiffre automatiquement les données au repos à l'aide de clés de chiffrement gérées par Google. Si vous avez des exigences réglementaires ou de conformité spécifiques concernant les clés qui protègent vos données, vous pouvez utiliser des clés de chiffrement gérées par le client (CMEK) avec vos instances de notebooks gérés. Pour en savoir plus, consultez la page Utiliser des clés de chiffrement gérées par le client.

Arrêt automatisé pour les instances inactives

Pour vous aider à gérer les coûts, les instances de notebooks gérés s'arrêtent après avoir été inactives pendant une période donnée. Vous pouvez modifier cette durée ou désactiver cette fonctionnalité. Pour en savoir plus, consultez la page Arrêt en cas d'inactivité.

Intégration de Dataproc

Vous pouvez traiter les données rapidement en exécutant un notebook sur un cluster Dataproc. Une fois votre cluster configuré, vous pouvez exécuter un fichier notebook sur celui-ci sans quitter l'interface utilisateur de JupyterLab. Pour en savoir plus, consultez la page Exécuter une instance de notebooks gérés sur un cluster Dataproc.

Limites

Tenez compte des limites suivantes concernant les notebooks gérés par l'utilisateur lors de la planification de votre projet :

Les instances de notebooks gérés sont gérées par Google et sont donc moins personnalisables que les instances de notebooks Vertex AI Workbench gérés par l'utilisateur. Les instances de notebooks gérés par l'utilisateur peuvent mieux convenir aux utilisateurs qui ont besoin d'exercer un contrôle important sur leur environnement. Pour plus d'informations, consultez la page Présentation des notebooks gérés par l'utilisateur.
Les extensions JupyterLab tierces ne sont pas compatibles.
Le plug-in Dataproc JupyterLab n'est pas compatible avec les notebooks gérés, mais vous pouvez l'utiliser dans les instances Vertex AI Workbench. Consultez Créer une instance compatible avec Dataproc.
Les instances de notebook gérés ne permettent pas aux utilisateurs de disposer d'un accès sudo.
Lorsque vous utilisez Access Context Manager et Chrome Enterprise Premium pour protéger les instances de notebooks gérés à l'aide de contrôles d'accès contextuels, l'accès est évalué chaque fois que l'utilisateur s'authentifie auprès de l'instance. Par exemple, l'accès est évalué la première fois que l'utilisateur accède à JupyterLab ainsi qu'à chaque accès ultérieur, si le cookie de son navigateur Web a expiré.
Pour utiliser des accélérateurs avec des instances de notebooks gérés, le type d'accélérateur souhaité doit être disponible dans la zone de votre instance. Pour en savoir plus sur la disponibilité des accélérateurs par zone, consultez la page Disponibilité des GPU dans les régions et zones.