Mesurer et maximiser la valeur des équipes de data science et IA

Investir dans l'intelligence artificielle (IA) peut apporter un avantage concurrentiel à votre organisation. Si vous avez la charge d'une équipe IA ou data science, vous avez sans doute envie de mesurer et maximiser la valeur que vous apportez. Voici quelques conseils tirés de nos années d'expérience dans ce domaine. Ils se focalisent sur deux aspects de tout projet : sa préparation et les métriques à mettre en place dès le démarrage…

Notre checklist à appliquer à tous vos projets 

Avant tout décollage, il faut vérifier la checklist. Un principe aussi vrai dans l’aviation que dans la data science. Autrement dit, avant de vous lancer dans un projet, assurez-vous d’avoir bien couvert tous les domaines ci-dessous :

• Avoir un client. Il est important d'avoir un client pour votre travail, et qu'il soit d'accord avec ce que vous essayez d'accomplir. Assurez-vous de connaître la valeur que vous espérez lui apporter.
  
  

• Réaliser une analyse de rentabilité.  Elle devra reposer sur des estimations et des hypothèses et ne prendra pas plus de quelques minutes de votre temps.  Vous pouvez la réviser, mais sachez toujours ce qui justifie les efforts de votre équipe et ce que vous (et votre client) attendez en retour.
  
  

• Identifier le processus que vous allez modifier ou créer. Le fruit de votre travail va passer en production. Il est donc essentiel de savoir clairement comment votre travail va impacter les opérations métier et qui doit être impliqué dans le processus pour concrétiser votre démarche.
  
  

• Mettre un plan de mesures en place. Pour montrer que votre travail a un impact sur un indicateur métier pertinent, mesurez et affichez la valeur ajoutée. L’objectif est de mettre en évidence le différentiel entre ce qui est désormais possible et ce qui ne l’était pas sans votre travail. N’oubliez pas de prendre en compte tous les facteurs qui peuvent affecter vos mesures, telles la saisonnalité ou d’autres évolutions des activités.

Utilisez cette checklist pour vous aider à obtenir le soutien de votre organisation, tant au niveau de l’équipe que du projet.

Quelles mesures utiliser ?

Dès le début du travail effectif, pensez à mettre en place des mesures et indicateurs démontrant que le travail de votre équipe est utile à votre organisation. Voici quelques exemples universels :

• Nombre de décisions prises. Un des points forts du ML est d'automatiser et d'optimiser la prise de décision : quel produit recommandé, quel itinéraire suivre, etc. Utilisez des journaux de logs pour savoir combien de décisions votre solution est capable de prendre.
  

• Impact sur les revenus et les coûts. De meilleures décisions prises plus rapidement entraînent souvent une augmentation des revenus ou des économies. Si possible, mesurez-les directement. Sinon, estimez-les en calculant, par exemple, le carburant économisé grâce à la réduction de la distance parcourue ou l’augmentation des ventes grâce aux offres personnalisées.
  À titre d’exemple, le département de la sécurité de l'emploi de l'Illinois utilise l'IA dans son centre de contact pour déployer rapidement des agents virtuels afin d'aider plus d'un million de citoyens à déposer leurs demandes de chômage. Pour mesurer le succès du projet, l’équipe a utilisé deux indicateurs : (1) le nombre de demandes de renseignements sur le Web et d'appels vocaux qu'elle a pu traiter, et (2) le coût global du centre d'appels après la mise en œuvre de l’IA.
  Après déploiement du projet, elle a ainsi pu constater qu’ils traitaient plus de 140 000 demandes de renseignements par téléphone et par Internet par jour et plus de 40 000 appels par nuit (en dehors des heures de bureau). Sur la base d'une première analyse des données relatives aux agents virtuels IDES (pour plus de détail, consultez notre étude de cas), ils anticipent une économie annuelle estimée à 100 millions de dollars.
  

• Coûts de mise en œuvre. Vous pouvez également aborder le sujet de l’augmentation des revenus ou des économies réalisées en replaçant les résultats obtenus face aux coûts de vos réalisations. Indiquez les coûts engendrés par votre équipe en les comparant à la valeur apportée et en précisant comment vous pourriez encore apporter davantage de valeur.
  

• Gains de temps.  Si votre équipe construit un système de routage, elle fait économiser du temps de déplacement.  Si elle construit un classificateur automatique d'e-mails, elle fait économiser du temps en lecture… Quantifier le nombre d’heures gagnées pour votre entreprise grâce à l’efficacité de la solution que vous avez construite.
  À titre d’exemple, la rapidité des diagnostics est particulièrement importante dans le domaine médical. La division BIOS (Brain Injury Outcomes) de l'université Johns Hopkins s'est concentrée sur l'étude des hémorragies cérébrales afin d'améliorer les résultats médicaux. L'équipe a identifié le temps de compréhension comme une mesure clé du succès du projet. Elle a expérimenté une série de solutions de cloud computing comme Dataflow, Cloud Healthcare API, Compute Engine et AI Platform pour un entraînement distribué accélérant les itérations. Grâce à leurs travaux récents portant sur les photos scanners d'environ 500 patients, ils ont réduit le temps nécessaire à l’élaboration d’un diagnostic à 90 minutes environ, contre 2 500 heures auparavant.
  

• Nombre d’applications produites par votre équipe. Certaines opérations réalisées au sein de l’entreprise, comme le rapprochement comptable, n’ont pas besoin de ML. Mais d’autres processus peuvent en bénéficier. Identifiez combien de services profitent des optimisations et des automatisations que votre équipe a mises en place.
  

• Expérience utilisateur. Vous pouvez peut-être mesurer l'expérience de vos clients : moins de plaintes, de meilleures évaluations, une latence réduite, plus d'interactions, etc. Ceci est valable aussi bien pour les utilisateurs internes qu’externes. Typiquement, chez Google, nous mesurons l'utilisation et demandons régulièrement un retour d'information sur tout système ou processus interne.
  Un de nos clients, la ville de Memphis, utilise VisionAI et le ML pour gérer un problème banal mais néanmoins complexe, à savoir l'identification et le traitement des nids-de-poule. L’équipe a retenu les indicateurs de performance suivants : le taux d’augmentation des nids-de-poule identifiés, la précision et les économies réalisées. La solution capture les séquences vidéo enregistrées par ses véhicules publics et exploite les capacités de Google Cloud comme Compute Engine, AI Platform et BigQuery pour automatiser l’analyse des vidéos. Le projet a augmenté la détection des nids-de-poule de 75 % avec une précision de plus de 90 %. En mesurant et en affichant ces résultats, l'équipe a prouvé la viabilité d'un modèle ML rentable basé dans le cloud. Elle envisage de nouvelles applications de l'IA et du ML pour améliorer encore les services de la ville et l'aider à construire un meilleur avenir pour ses 652 000 habitants.

Remerciements

Filipe et Payam tiennent à remercier leur collègue et co-auteur Mona Mona (Ingénieur client AI/ML, Soins de santé et sciences de la vie) qui a contribué à parts égales à la rédaction de cet article.