12. Affiner l'architecture et évaluer les impacts des dernières tendances
Pourquoi est-ce important ?
La manière dont votre système d'IA est conçu, depuis la façon dont il est testé jusqu'à son déploiement, a un impact majeur et à long terme sur la consommation d'énergie et les émissions. Bien que ces décisions au niveau de l'architecture soient souvent prises par les ingénieurs et les équipes MLOps, nous, les chefs de produit, pouvons les influencer en définissant des attentes claires et en posant les bonnes questions. Ce chapitre vous fournit les connaissances nécessaires pour y parvenir. Une architecture axée sur la durabilité permet non seulement de réduire les coûts, mais aussi d'éviter les systèmes trop lourds, de limiter la dépendance vis-à-vis des fournisseurs et de garantir la rapidité, la légèreté et l'évolutivité de vos produits IA à long terme.
Que puis-je faire ?
-
Commencez par une architecture de bout en bout solide et optimisée qui vous permet d'éviter les dépendances technologiques et financières tout en offrant des performances constantes. Cela vaut pour les pipelines traditionnels de vision par ordinateur et de traitement du langage naturel (NLP) ou les workflows agents.
-
Les tests, les expérimentations et les benchmarks sont très gourmands en énergie en raison de leur nature répétitive et doivent être effectués localement, en particulier dans les premières phases. Les progrès considérables réalisés en matière de puissance de calcul vous permettent d'exécuter des modèles sur des ordinateurs portables ou des environnements légers. Assurez-vous qu'ils fournissent une image réaliste de ce qu'ils vous coûteront une fois en production.
-
Augmentez la puissance pour la formation, mais réduisez-la pour l'inférence et ne surdimensionnez pas vos environnements de production. La production doit être conçue pour être évolutive, mais limitée à une utilisation très spécifique afin de limiter les problèmes de performance (hallucinations, dérive des modèles, etc.).
-
Optimisez vos invites GenAI, car toutes les invites ne sont pas créées de la même manière. Les invites complexes (avec des étapes détaillées, des exemples et des restrictions) ne sont pas toujours meilleures. Les diviser en étapes plus simples et séquentielles ou utiliser l'compression rapidepeut souvent donner de meilleurs résultats, plus cohérents et plus efficaces. Testez et itérez pour trouver ce qui fonctionne le mieux.
-
Favorisez une situation gagnant-gagnant pour le produit et l'ingénierie/MLOps (Machine Learning Operations) grâce à l'optimisation des modèles. Des techniques telles que la quantification, l'élagage, la réduction de la taille des modèles, rendent les déploiements et la maintenance plus efficaces, plus écologiques et moins coûteux, et peuvent également fonctionner sur des appareils à faible consommation d'énergie.
-
Appliquez GreenOps à MLOPs en surveillant et en ajustant les régions cloud à faible intensité carbone pour le réentraînement et l'inférence.
-
Encouragez la recherche/l'utilisation du matériel le plus efficace (puces IA).
Éléments à prendre en considération
-
🧑💰Conception optimisée du système et allocation des ressources pour de meilleures performances et des coûts réduits
-
🧑💰Expérience utilisateur améliorée conduisant à une augmentation des taux de conversion et à une satisfaction globale accrue
À quoi ressemble le succès ?
Intégrez la durabilité dans la conception de votre système. Simplifiez au maximum les choses, réduisez les tests redondants et soyez transparent quant aux performances et à la consommation énergétique de votre système. Cette transparence peut également ouvrir la voie à des partenariats qui partagent vos objectifs de durabilité, comme les fournisseurs de cloud, les plateformes MLOps et les fournisseurs de matériel.