12. Perfeccionar la arquitectura y evaluar el impacto de las últimas tendencias.
¿Por qué es importante?
La forma en que se diseña tu sistema de IA, desde cómo se prueba hasta dónde se implementa, tiene un impacto importante y a largo plazo en el consumo de energía y las emisiones. Aunque estas decisiones a nivel de arquitectura suelen tomarlas los ingenieros y los equipos de MLOps, los gestores de producto podemos influir en ellas estableciendo expectativas claras y haciendo las preguntas adecuadas. Este capítulo te proporciona los conocimientos necesarios para hacerlo. Una arquitectura que prioriza la sostenibilidad no solo reduce los costes, sino que también ayuda a evitar sistemas sobrecargados, limita la dependencia de un único proveedor y mantiene sus productos de IA rápidos, ágiles y escalables a largo plazo.
¿Qué puedo hacer?
-
Comience con una arquitectura integral sólida y optimizada que le permita evitar dependencias tecnológicas y financieras, al tiempo que le proporcione un rendimiento constante. Esto es válido tanto para los procesos tradicionales de visión artificial y procesamiento del lenguaje natural como para los flujos de trabajo agenticos.
-
Las pruebas, los experimentos y las evaluaciones comparativas consumen mucha energía debido a su naturaleza repetitiva y deben realizarse de forma local, especialmente en las primeras etapas. Los grandes avances en potencia de cálculo le permiten ejecutar modelos en ordenadores portátiles o entornos ligeros. Asegúrese de que ofrecen una imagen realista de lo que le costarán una vez en producción.
-
Amplíe la escala para el entrenamiento, pero reduzca la escala para la inferencia y no sobreprovisione sus entornos de producción. La producción debe diseñarse para escalar, pero limitarse a un uso muy específico para limitar los problemas de rendimiento (es decir, alucinaciones, desviaciones del modelo, etc.).
-
Optimice sus indicaciones de GenAI, ya que no todas las indicaciones son iguales. Las indicaciones complejas (con pasos detallados, ejemplos y restricciones) no siempre son mejores. Dividirlas en pasos secuenciales más sencillos o utilizar uncompresión inmediataa a menudo puede dar mejores resultados, más consistentes y eficientes. Pruebe y repita hasta encontrar lo que funciona mejor.
-
Fomente una situación beneficiosa para todos, tanto para el producto como para la ingeniería/MLOps (operaciones de aprendizaje automático), con la optimización de modelos. Técnicas como la cuantificación, la poda, la reducción del tamaño del modelo, hacen que las implementaciones y el mantenimiento sean más eficientes, ecológicos y económicos, y también pueden ejecutarse en dispositivos de menor potencia.
-
Aplique GreenOps a MLOPs mediante la supervisión y el ajuste de las regiones de la nube con menor intensidad de carbono tanto para el reentrenamiento como para la inferencia.
-
Fomente la investigación y el uso del hardware más eficiente (chips de IA).
Aspectos a tener en cuenta
-
🧑💰Diseño optimizado del sistema y asignación de recursos para un mejor rendimiento y menores costes
-
🧑💰Experiencia de usuario mejorada que conduce a mejores tasas de conversión y satisfacción general
¿Cómo se ve el éxito?
Incorpore la sostenibilidad en el diseño de su sistema. Mantenga las cosas lo más simples posible, reduzca las pruebas redundantes y sea transparente sobre el rendimiento y el consumo energético de su sistema. Esa transparencia también puede abrir la puerta a colaboraciones con socios que compartan sus objetivos de sostenibilidad, como proveedores de servicios en la nube, plataformas MLOps y proveedores de hardware.