Utiliser Data Science Agent

Ce guide explique comment utiliser l'agent data science dans Colab Enterprise pour vous aider à effectuer des tâches de data science dans vos notebooks.

Découvrez comment et quand Gemini pour Google Cloud utilise vos données.

Ce document est destiné aux analystes de données, aux data scientists et aux développeurs de données qui travaillent avec Colab Enterprise. Il suppose que vous savez écrire du code dans un environnement notebook.

Capacités de Data Science Agent

L'agent Data Science peut vous aider à effectuer des tâches allant de l'analyse exploratoire des données à la génération de prédictions et de prévisions de machine learning. Vous pouvez utiliser l'agent data science pour :

  • Générer des plans : générez et modifiez un plan pour effectuer une tâche spécifique.
  • Exploration des données : explorez un ensemble de données pour comprendre sa structure, identifier les problèmes potentiels tels que les valeurs manquantes et les valeurs aberrantes, et examiner la distribution des variables clés.
  • Nettoyage des données : nettoyez vos données. Par exemple, supprimez les points de données qui sont des valeurs aberrantes.
  • Nettoyage des données : convertissez les caractéristiques catégorielles en représentations numériques à l'aide de techniques telles que l'encodage one-hot ou l'encodage des libellés. Créez des fonctionnalités d'analyse.
  • Analyse des données : analysez les relations entre différentes variables. Calculez les corrélations entre les caractéristiques numériques et explorez les distributions des caractéristiques catégorielles. Recherchez des tendances et des modèles dans les données.
  • Visualisation des données : créez des visualisations telles que des histogrammes, des graphiques en boîte, des nuages de points et des graphiques à barres qui représentent les distributions de variables individuelles et les relations entre elles.
  • Ingénierie des caractéristiques : concevez de nouvelles caractéristiques à partir d'un ensemble de données nettoyé.
  • Fractionnement des données : fractionnez un ensemble de données conçu en ensembles de données d'entraînement, de validation et de test.
  • Entraînement du modèle : entraînez un modèle à l'aide des données d'entraînement.
  • Optimisation du modèle : optimisez un modèle à l'aide de l'ensemble de validation. Explorez d'autres modèles tels que DecisionTreeRegressor et RandomForestRegressor, et comparez leurs performances.
  • Évaluation du modèle : évaluez le modèle le plus performant sur l'ensemble de données de test.

Limites

  • L'agent Data Science est compatible avec les sources de données suivantes :
    • Fichiers CSV
    • les tables BigQuery
  • Le code produit par l'agent data science ne s'exécute que dans l'environnement d'exécution de votre notebook.
  • Votre notebook doit se trouver dans une région compatible avec l'agent Data Science. Consultez Zones géographiques.
  • L'agent Data Science n'est pas compatible avec les projets pour lesquels VPC Service Controls est activé.
  • La première fois que vous exécutez l'agent Data Science, vous pouvez rencontrer une latence d'environ cinq à dix minutes. Cela ne se produit qu'une seule fois par projet lors de la configuration initiale.
  • La recherche de tables BigQuery à l'aide de la fonction @mention est limitée à votre projet actuel. Utilisez le sélecteur de tables pour effectuer des recherches dans les projets.
  • La fonction @mention ne recherche que les tables BigQuery. Pour rechercher les fichiers de données que vous pouvez importer, utilisez le symbole +.

Avant de commencer

  1. Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.

  2. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Roles required to select or create a project

    • Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
    • Create a project: To create a project, you need the Project Creator (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

    Go to project selector

  3. Verify that billing is enabled for your Google Cloud project.

  4. Enable the Vertex AI, Dataform, and Compute Engine APIs.

    Roles required to enable APIs

    To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

    Enable the APIs

  5. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Roles required to select or create a project

    • Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
    • Create a project: To create a project, you need the Project Creator (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

    Go to project selector

  6. Verify that billing is enabled for your Google Cloud project.

  7. Enable the Vertex AI, Dataform, and Compute Engine APIs.

    Roles required to enable APIs

    To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

    Enable the APIs

    8.

    Rôles requis

    Pour obtenir les autorisations nécessaires pour utiliser l'agent Data Science dans Colab Enterprise, demandez à votre administrateur de vous accorder le rôle IAM Utilisateur Colab Enterprise (roles/aiplatform.colabEnterpriseUser) sur le projet. Pour en savoir plus sur l'attribution de rôles, consultez la page Gérer l'accès aux projets, aux dossiers et aux organisations.

    Vous pouvez également obtenir les autorisations requises avec des rôles personnalisés ou d'autres rôles prédéfinis.

    Faire référence à vos données

    Pour permettre à l'agent Data Science de Colab Enterprise d'accéder à vos données et de les traiter, vous pouvez importer un fichier CSV ou référencer une table BigQuery.

    Fichier CSV

    1. Dans la console Google Cloud , accédez à la page Mes notebooks de Colab Enterprise.

      Accéder à "Mes notebooks"

    2. Dans le menu Région, sélectionnez la région qui contient votre notebook.

    3. Cliquez sur le notebook que vous souhaitez ouvrir.

    4. Dans la barre d'outils, cliquez sur le bouton  Gemini pour ouvrir la boîte de dialogue de chat.

    5. Dans la boîte de dialogue du chat, cliquez sur Ajouter des fichiers > Importer.

    6. Si nécessaire, autorisez votre compte Google.

      Patientez quelques instants pendant que Colab Enterprise démarre un environnement d'exécution et active la navigation dans les fichiers.

    7. Accédez à l'emplacement du fichier, puis cliquez sur Ouvrir.

    8. Cliquez sur OK pour confirmer que les fichiers de cet environnement d'exécution seront supprimés lorsqu'il sera effacé.

      Le fichier est importé dans le volet Fichiers et s'affiche dans la fenêtre de chat.

    Table BigQuery

    1. Dans la console Google Cloud , accédez à la page Mes notebooks de Colab Enterprise.

      Accéder à "Mes notebooks"

    2. Dans le menu Région, sélectionnez la région qui contient votre notebook.

    3. Cliquez sur le notebook que vous souhaitez ouvrir.

    4. Dans la barre d'outils, cliquez sur le bouton  Gemini pour ouvrir la boîte de dialogue de chat.

    5. Pour faire référence à vos données, procédez de l'une des manières suivantes :

      • Choisissez une ou plusieurs tables à l'aide du sélecteur de tables :

        1. Cliquez sur Ajouter à Gemini > Tables BigQuery.
        2. Dans la fenêtre Tables BigQuery, sélectionnez une ou plusieurs tables de votre projet. Vous pouvez rechercher des tables dans tous les projets et les filtrer à l'aide de la barre de recherche.

      • Incluez directement le nom d'une table BigQuery dans votre requête. Par exemple : "Aide-moi à effectuer une analyse exploratoire des données et à obtenir des insights sur les données de ce tableau : PROJECT_ID:DATASET.TABLE."

        Remplacez les éléments suivants :

        • PROJECT_ID : ID de votre projet.
        • DATASET : nom de l'ensemble de données contenant la table que vous analysez.
        • TABLE : nom de la table que vous analysez.
      • Saisissez @ pour rechercher une table BigQuery dans votre projet actuel.

    Utiliser Data Science Agent

    Pour commencer à utiliser Data Science Agent de Colab Enterprise, procédez comme suit :

    1. Dans la boîte de dialogue du chat Gemini, saisissez un prompt, puis cliquez sur  Envoyer. Pour trouver des idées de requêtes, consultez les capacités de l'agent Data Science et les exemples de requêtes.

      Par exemple, vous pouvez saisir "Fournis une analyse des données que j'ai importées".

    2. Gemini répond à votre requête. La réponse peut inclure des extraits de code à exécuter, des conseils généraux pour votre projet, les prochaines étapes pour atteindre vos objectifs ou des informations sur des problèmes spécifiques dans vos données ou votre code.

      Après avoir évalué la réponse, vous pouvez effectuer les actions suivantes :

      • Si Gemini fournit du code dans sa réponse, vous pouvez cliquer sur :
        • Cliquez sur Accepter pour ajouter le code à votre notebook.
        • Cliquez sur Accepter et exécuter pour ajouter le code à votre notebook et l'exécuter.
        • Appuyez sur Annuler pour supprimer le code suggéré.
      • Posez des questions complémentaires et poursuivez la discussion si nécessaire.

    3. Pour fermer la boîte de dialogue Gemini, cliquez sur  Fermer.

    Désactiver Gemini dans Colab Enterprise

    Pour désactiver Gemini dans Colab Enterprise pour un projet Google Cloud , un administrateur doit désactiver l'API Gemini for Google Cloud. Consultez Désactiver des services.

    Pour désactiver Gemini dans Colab Enterprise pour un utilisateur spécifique, un administrateur doit lui retirer le rôle Utilisateur Gemini pour Google Cloud (roles/cloudaicompanion.user). Consultez Révoquer un rôle IAM unique.

    Exemples de requêtes

    Les exemples suivants illustrent les types de requêtes que vous pouvez utiliser avec l'agent Data Science.

    • Recherchez et renseignez les valeurs manquantes à l'aide de l'algorithme de machine learning des k plus proches voisins (KNN).
    • Créez un graphique des salaires par niveau d'expérience. Utilisez la colonne experience_level pour regrouper les salaires et créer un graphique en boîte pour chaque groupe, en affichant les valeurs de la colonne salary_in_usd.
    • Utilisez l'algorithme XGBoost pour créer un modèle permettant de déterminer la variable class d'un fruit spécifique. Divisez les données en ensembles de données d'entraînement et de test pour générer un modèle, puis évaluez sa précision. Créez une matrice de confusion pour afficher les prédictions pour chaque classe, y compris toutes les prédictions correctes et incorrectes.
    • Crée un DataFrame Pandas pour mes données. Analysez les données pour identifier les valeurs nulles, puis visualisez la distribution de chaque colonne à l'aide de graphiques en violon pour les valeurs mesurées et de graphiques à barres pour les catégories.
    • Lisez le fichier CSV de l'ensemble de données et créez un DataFrame. Exécutez une analyse sur le DataFrame pour déterminer ce qui doit être fait avec les valeurs (remplacer ou supprimer les valeurs manquantes, supprimer les lignes en double), et déterminez la répartition du montant investi en USD par ville. Visualisez les résultats dans un graphique à barres par ordre décroissant, en affichant l'emplacement par rapport au montant moyen investi (USD) et en ne montrant que les 20 premiers résultats.
    • Prévision de target_variable à partir du filename.csv pour les six prochains mois.
    • Créez et évaluez un modèle de classification sur filename.csv pour target_variable.

    Régions où le service est disponible

    Pour afficher les régions compatibles avec Data Science Agent de Colab Enterprise, consultez Emplacements.

    Facturation

    Pendant la version preview, vous n'êtes facturé que pour l'exécution du code dans l'environnement d'exécution du notebook. Pour en savoir plus, consultez la page Tarifs de Colab Enterprise.

    Étapes suivantes