Orchestrer des notebooks
Si vous souhaitez envoyer des commentaires sur l'orchestration des notebooks, envoyez un e-mail à bigquery-notebooks-scheduling-support@google.com.
Ce document explique comment orchestrer des notebooks Colab Enterprise dans BigQuery, y compris comment planifier des notebooks et inspecter les exécutions planifiées de notebooks.
Les notebooks sont des éléments de code fournis par Dataform.
Vous pouvez programmer l'exécution automatique d'un notebook à une heure et une fréquence spécifiées, par exemple pour entraîner un modèle de ML, appeler des API externes ou exécuter du code BigQuery DataFrames.
Les modifications que vous apportez à un notebook sont automatiquement enregistrées, mais ne sont disponibles que pour vous et les utilisateurs qui ont accès au notebook. Pour mettre à jour la programmation avec une nouvelle version du notebook, vous devez déployer le notebook. En déployant un notebook, vous mettez à jour sa programmation avec votre version actuelle du notebook. Les programmations exécutent la dernière version déployée du notebook.
Chaque programmation de notebook est exécutée par un compte de service Dataform personnalisé, que vous sélectionnez lors de la création de la programmation. Pour en savoir plus sur les types de comptes de service dans Dataform, consultez la section À propos des comptes de service dans Dataform.
Dataform écrit la sortie des exécutions de notebook programmées dans le bucket Cloud Storage sélectionné lors de la création de la programmation.
Les programmations de notebooks utilisent un environnement d'exécution E2 standard. Des frais Colab Enterprise s'appliquent aux environnements d'exécution. Les frais de traitement des environnements d'exécution sont calculés en fonction du type de machine E2. Pour en savoir plus sur les tarifs des environnements d'exécution E2 standards, consultez la page Tarifs de Colab Enterprise.
Avant de commencer
Avant de commencer, créez un notebook.
Activer la programmation de notebooks
Pour programmer des notebooks, vous devez attribuer les rôles suivants au compte de service Dataform personnalisé que vous prévoyez d'utiliser pour les programmations de notebooks :
- Utilisateur de Notebook Executor (
roles/aiplatform.notebookExecutorUser) - Suivez la procédure décrite à la section Attribuer un rôle unique à un projet pour attribuer le rôle utilisateur Notebook Executor à votre compte de service Dataform personnalisé sur le projet sélectionné.
- Administrateur de l'espace de stockage (
roles/storage.admin) - Suivez la procédure décrite à la section Ajouter un compte principal à une stratégie au niveau du bucket pour ajouter votre compte de service Dataform personnalisé en tant que compte principal au bucket Cloud Storage que vous prévoyez d'utiliser pour stocker le résultat des exécutions de notebook programmées, et attribuer le rôle Administrateur de l'espace de stockage à ce compte principal.
- Utilisateur du compte de service (
roles/iam.serviceAccountUser) - Suivez la procédure décrite à la section Accorder un rôle unique à un compte de service pour ajouter votre compte de service Dataform personnalisé en tant que compte principal à lui-même. En d'autres termes, ajoutez le compte de service Dataform personnalisé en tant que compte principal au même compte de service Dataform personnalisé. Attribuez ensuite le rôle Utilisateur du compte de service à ce compte principal.
Vous devez également attribuer le rôle suivant au compte de service Dataform par défaut :
- Créateur de jetons de compte de service (
roles/iam.serviceAccountTokenCreator) - Suivez la procédure décrite à la section Accorder l'accès à la création de jetons à un compte de service Dataform personnalisé pour ajouter le compte de service Dataform par défaut en tant que compte principal à votre compte de service Dataform personnalisé, et attribuer le rôle Créateur de jetons de compte de service à ce compte principal.
Pour en savoir plus sur les comptes de service dans Dataform, consultez la section À propos des comptes de service dans Dataform.
Autorisations requises
Pour créer des planifications de notebook, vous devez disposer des rôles suivants:
- Administrateur Dataform (
roles/dataform.admin) - Utilisateur de sessions de lecture BigQuery (
roles/bigquery.readSessionUser) ou utilisateur BigQuery Studio (roles/bigquery.studioUser)
Pour modifier et supprimer des programmations de notebooks (preview), vous devez disposer du rôle Éditeur Dataform (roles/dataform.editor).
Pour afficher les programmations de notebooks (preview), vous devez disposer du rôle Lecteur Dataform (roles/dataform.viewer).
Pour plus d'informations sur BigQuery IAM, consultez la page Contrôle des accès avec IAM.
Créer une programmation
Pour programmer un notebook, procédez comme suit :
Dans la console Google Cloud, accédez à la page BigQuery.
Dans le volet Explorateur, développez votre projet et le dossier Notebooks et, si nécessaire, le dossier Notebooks partagés. Cliquez sur le nom du notebook que vous souhaitez programmer.
Cliquez sur Programmer.
Dans le volet Programmer un notebook, dans le champ Nom de la programmation, saisissez un nom pour la programmation.
Dans le champ Modèle d'environnement d'exécution, sélectionnez un environnement d'exécution.
Dans le champ Compte de service, sélectionnez un compte de service Dataform personnalisé.
Dans le champ Bucket Cloud Storage, cliquez sur Parcourir, puis sélectionnez ou créez un bucket Cloud Storage.
Le compte de service Dataform personnalisé sélectionné doit disposer du rôle IAM "Administrateur de stockage" sur le bucket sélectionné. Pour en savoir plus, consultez la section Activer la programmation des notebooks.
Dans la section Fréquence de programmation, procédez comme suit :
- Dans le menu déroulant Répétitions, sélectionnez la fréquence d'exécution du notebook programmé.
- Dans le champ À, saisissez l'heure d'exécution du notebook programmé.
- Dans le menu déroulant Fuseau horaire, sélectionnez le fuseau horaire de la programmation.
Cliquez sur Créer la programmation.
Lorsque vous créez la programmation, la version actuelle du notebook est automatiquement déployée. Pour mettre à jour la planification avec une nouvelle version du notebook, déployez le notebook.
La dernière version déployée du notebook s'exécute à l'heure et à la fréquence sélectionnées.
Déployer un notebook
Le déploiement d'un notebook met à jour sa programmation avec la version actuelle du notebook. Les programmations exécutent la dernière version déployée du notebook.
Pour déployer un notebook, procédez comme suit :
Dans la console Google Cloud, accédez à la page BigQuery.
Dans le volet Explorateur, développez votre projet et le dossier Notebooks et, si nécessaire, le dossier Notebooks partagés. Cliquez sur le nom du notebook sélectionné.
Cliquez sur Déployer.
La programmation correspondante est mise à jour avec la version actuelle du notebook. La dernière version déployée du notebook s'exécute à l'heure programmée.
Exécuter manuellement un notebook déployé
Lorsque vous exécutez manuellement un notebook déployé selon un calendrier sélectionné, BigQuery exécute le notebook déployé une seule fois, indépendamment du calendrier.
Pour exécuter manuellement un notebook déployé, procédez comme suit:
Dans la console Google Cloud, accédez à la page Orchestration.
Cliquez sur le nom de la planification de notebook sélectionnée.
Sur la page Détails de la planification, cliquez sur Exécuter.
Afficher toutes les programmations
Pour afficher toutes les programmations de notebooks de votre projet, procédez comme suit :
Dans la console Google Cloud, accédez à la page Orchestration.
Facultatif: Pour afficher des colonnes supplémentaires avec des informations sur la planification du bloc-notes, cliquez sur Options d'affichage des colonnes, puis sélectionnez les colonnes et cliquez sur OK.
Afficher les détails d'une programmation
Vous pouvez afficher les détails d'une planification sélectionnée dans le volet Explorer ou sur la page Orchestration.
Pour afficher les détails de la programmation d'un notebook sélectionné, procédez comme suit :
Volet Explorer
Dans la console Google Cloud, accédez à la page BigQuery.
Dans le volet Explorer, développez votre projet et le dossier Notebooks, et, si nécessaire, le dossier Notebooks partagés. Cliquez sur le nom du notebook sélectionné.
Cliquez sur Afficher la programmation.
Page Orchestration
Dans la console Google Cloud, accédez à la page Orchestration.
Cliquez sur le nom de la planification de notebook sélectionnée.
Afficher les exécutions passées
Vous pouvez afficher les exécutions précédentes d'une programmation de notebook sélectionnée dans le volet Explorer (Explorer) ou sur la page Orchestration.
Pour afficher les exécutions précédentes d'une programmation de notebook sélectionnée, procédez comme suit :
Volet Explorer
Dans la console Google Cloud, accédez à la page BigQuery.
Dans le volet Explorer, développez votre projet et le dossier Notebooks, et, si nécessaire, le dossier Notebooks partagés. Cliquez sur le nom du notebook sélectionné.
Cliquez sur Afficher la programmation, puis sur Afficher les exécutions précédentes.
Page Orchestration
Dans la console Google Cloud, accédez à la page Orchestration.
Cliquez sur le nom de la planification de notebook sélectionnée.
Sur la page Détails de la planification, dans la section Exécutions précédentes, inspectez les exécutions précédentes.
Facultatif: Pour actualiser la liste des exécutions précédentes, cliquez sur Actualiser.
Désactiver une programmation
Pour suspendre les exécutions programmées d'un notebook sélectionné sans supprimer la programmation, vous pouvez la désactiver.
Pour désactiver une programmation pour un notebook sélectionné, procédez comme suit :
Dans la console Google Cloud, accédez à la page BigQuery.
Dans le volet Explorateur, développez votre projet et le dossier Notebooks et, si nécessaire, le dossier Notebooks partagés. Cliquez sur le nom du notebook sélectionné.
Cliquez sur Afficher la programmation.
Dans le tableau des détails de la programmation, sur la ligne État de la programmation, cliquez sur le bouton La programmation est activée.
Activer une programmation
Pour reprendre les exécutions programmées d'une programmation désactivée, procédez comme suit :
Dans la console Google Cloud, accédez à la page BigQuery.
Dans le volet Explorateur, développez votre projet et le dossier Notebooks et, si nécessaire, le dossier Notebooks partagés. Cliquez sur le nom du notebook sélectionné.
Cliquez sur Afficher la programmation.
Dans le tableau des détails de la programmation, sur la ligne État de la programmation, cliquez sur le bouton La programmation est désactivée.
Modifier une programmation
Vous pouvez modifier une planification dans le volet Explorer ou sur la page Orchestration.
Pour modifier une programmation, procédez comme suit :
Volet Explorer
Dans la console Google Cloud, accédez à la page BigQuery.
Dans le volet Explorer, développez votre projet et le dossier Notebooks, et, si nécessaire, le dossier Notebooks partagés. Cliquez sur le nom du notebook sélectionné.
Cliquez sur Afficher la programmation, puis sur Modifier.
Dans la boîte de dialogue Programmer un notebook, modifiez la programmation, puis cliquez sur Mettre à jour la programmation.
Page Orchestration
Dans la console Google Cloud, accédez à la page Orchestration.
Cliquez sur le nom de la planification de notebook sélectionnée.
Sur la page Détails de la planification, cliquez sur Modifier.
Cliquez sur Afficher la programmation, puis sur Modifier.
Dans la boîte de dialogue Programmer un notebook, modifiez la programmation, puis cliquez sur Mettre à jour la programmation.
Supprimer une programmation
Pour supprimer définitivement une programmation pour un notebook sélectionné, procédez comme suit :
Dans la console Google Cloud, accédez à la page Orchestration.
Effectuez l'une des opérations suivantes :
Cliquez sur le nom de la planification sélectionnée, puis sur la page Détails de la planification, cliquez sur Supprimer.
Sur la ligne contenant la planification sélectionnée, cliquez sur Afficher les actions dans la colonne Actions, puis sur Supprimer.
Dans la boîte de dialogue qui s'affiche, cliquez sur Supprimer.
Étape suivante
- Apprenez-en plus sur les notebooks Colab Enterprise dans BigQuery.
- Apprenez à créer des notebooks.