Point de vue de l'IA et du ML: optimisation des coûts

Last reviewed 2024-10-11 UTC

Ce document du framework d'architecture: perspective sur l'IA et le ML fournit un aperçu des principes et des recommandations pour optimiser les coûts de vos systèmes d'IA tout au long du cycle de vie du ML. En adoptant une approche proactive et éclairée de la gestion des coûts, votre organisation peut exploiter tout le potentiel des systèmes d'IA et de ML, tout en maintenant une discipline financière. Les recommandations de ce document s'alignent sur le pilier d'optimisation des coûts du framework d'architecture.

Les systèmes d'IA et de ML peuvent vous aider à dégager des insights et des capacités prédictives à partir de données. Par exemple, vous pouvez réduire les frictions dans les processus internes, améliorer l'expérience utilisateur et obtenir des insights plus précis sur les clients. Le cloud offre d'immenses quantités de ressources et un délai de retour sur investissement rapide, sans investissement initial important pour les charges de travail d'IA et de ML. Pour maximiser la valeur ajoutée et aligner les dépenses sur vos objectifs commerciaux, vous devez comprendre les moteurs de coûts, optimiser de manière proactive les coûts, configurer des contrôles des dépenses et adopter des pratiques de FinOps.

Définir et mesurer les coûts et les retours

Pour gérer efficacement vos coûts d'IA et de ML dans Google Cloud, vous devez définir et mesurer les dépenses liées aux ressources cloud et la valeur commerciale de vos initiatives d'IA et de ML. Google Cloud fournit des outils complets pour la facturation et la gestion des coûts afin de vous aider à suivre les dépenses de manière détaillée. Les métriques de valeur commerciale que vous pouvez mesurer incluent la satisfaction client, les revenus et les coûts opérationnels. En établissant des métriques concrètes pour les coûts et la valeur commerciale, vous pouvez prendre des décisions éclairées sur l'allocation et l'optimisation des ressources.

Tenez compte des recommandations suivantes:

  • Définissez des objectifs commerciaux et des indicateurs clés de performance (KPI) clairs pour vos projets d'IA et de ML.
  • Utilisez les informations de facturation fournies par Google Cloud pour mettre en œuvre des processus de surveillance et de création de rapports sur les coûts qui peuvent vous aider à attribuer les coûts à des activités d'IA et de ML spécifiques.
  • Établissez des tableaux de bord, des systèmes d'alerte et de création de rapports pour suivre les coûts et les retours par rapport aux KPI.

Optimiser l'allocation des ressources

Pour optimiser les coûts de vos charges de travail d'IA et de ML dans Google Cloud, vous devez optimiser l'allocation des ressources. En alignant soigneusement l'allocation des ressources sur les besoins de vos charges de travail, vous pouvez éviter les dépenses inutiles et vous assurer que vos systèmes d'IA et de ML disposent des ressources dont ils ont besoin pour fonctionner de manière optimale.

Tenez compte des recommandations suivantes:

  • Utilisez l'autoscaling pour ajuster de manière dynamique les ressources d'entraînement et d'inférence.
  • Commencez par de petits modèles et de petites données. Réalisez des économies en testant des hypothèses à plus petite échelle lorsque cela est possible.
  • Découvrez vos besoins en calcul grâce à des tests. Adaptez les ressources utilisées pour l'entraînement et le traitement en fonction de vos exigences en termes de ML.
  • Adoptez des pratiques MLOps pour réduire les doublons, les processus manuels et l'allocation inefficace des ressources.

Appliquer des pratiques de gestion et de gouvernance des données

Des pratiques de gestion et de gouvernance des données efficaces jouent un rôle essentiel dans l'optimisation des coûts. Les données bien organisées aident votre organisation à éviter les duplications inutiles, réduisent les efforts nécessaires pour obtenir des données de haute qualité et encouragent les équipes à réutiliser les ensembles de données. En gérant de manière proactive les données, vous pouvez réduire les coûts de stockage, améliorer la qualité des données et vous assurer que vos modèles de ML sont entraînés et fonctionnent sur les données les plus pertinentes et les plus intéressantes.

Tenez compte des recommandations suivantes:

  • Établir et adopter un cadre de gouvernance des données bien défini.
  • Appliquez des libellés et des métadonnées pertinentes aux ensembles de données au moment de l'ingestion des données.
  • Assurez-vous que les ensembles de données sont visibles et accessibles dans l'ensemble de l'organisation.
  • Dans la mesure du possible, rendez vos ensembles de données et vos fonctionnalités réutilisables tout au long du cycle de vie du ML.

Automatiser et simplifier avec le MLOps

L'un des principaux avantages de l'adoption de pratiques MLOps est la réduction des coûts, à la fois d'un point de vue technologique et en termes d'activités du personnel. L'automatisation vous aide à éviter la duplication des activités de ML et à améliorer la productivité des data scientists et des ingénieurs en ML.

Tenez compte des recommandations suivantes:

  • Augmentez le niveau d'automatisation et de standardisation de vos technologies de collecte et de traitement des données pour réduire les efforts et le temps de développement.
  • Développez des pipelines d'entraînement automatisés pour réduire le besoin d'interventions manuelles et augmenter la productivité des ingénieurs. Implémentez des mécanismes permettant aux pipelines de réutiliser des éléments existants tels que des ensembles de données préparés et des modèles entraînés.
  • Utilisez les services d'évaluation et de réglage du modèle dans Google Cloud pour améliorer les performances du modèle avec moins d'itérations. Vos équipes chargées de l'IA et du ML peuvent ainsi atteindre plus d'objectifs en moins de temps.

Utiliser des services gérés et des modèles pré-entraînés ou existants

Il existe de nombreuses approches pour atteindre vos objectifs commerciaux à l'aide de l'IA et du ML. Adoptez une approche incrémentielle pour la sélection et le développement de modèles. Cela vous permet d'éviter les coûts excessifs associés au fait de repartir à zéro à chaque fois. Pour contrôler les coûts, commencez par une approche simple: utilisez des frameworks de ML, des services gérés et des modèles pré-entraînés.

Tenez compte des recommandations suivantes:

  • Effectuez des tests de ML exploratoires et rapides à l'aide d'environnements de notebook.
  • Utilisez des modèles existants et pré-entraînés comme point de départ pour accélérer votre processus de sélection et de développement de modèles.
  • Utilisez des services gérés pour entraîner ou diffuser vos modèles. AutoML et les services d'entraînement de modèles personnalisés gérés peuvent tous deux contribuer à réduire les coûts d'entraînement des modèles. Les services gérés peuvent également vous aider à réduire le coût de votre infrastructure de déploiement de modèles.

Favoriser une culture de sensibilisation aux coûts et d'optimisation continue

Cultivez un environnement collaboratif qui encourage la communication et les examens réguliers. Cette approche aide les équipes à identifier et à mettre en œuvre des opportunités d'économies tout au long du cycle de vie du ML.

Tenez compte des recommandations suivantes:

  • Adoptez les principes FinOps tout au long du cycle de vie du ML.
  • Assurez-vous que tous les coûts et avantages commerciaux des projets d'IA et de ML sont attribués à des propriétaires clairement responsables.

Contributeurs

Auteurs :

Autres contributeurs :