12. Perfezionare l'architettura e valutare l'impatto delle ultime tendenze
Perché è importante?
Il modo in cui è progettato il vostro sistema di IA, dal modo in cui viene testato al luogo in cui viene implementato, ha un impatto significativo e a lungo termine sul consumo energetico e sulle emissioni. Sebbene queste decisioni a livello di architettura siano spesso prese da ingegneri e team MLOps, noi PM possiamo influenzarle stabilendo aspettative chiare e ponendo le domande giuste. Questo capitolo vi fornirà le conoscenze necessarie per farlo. Un'architettura che mette al primo posto la sostenibilità non solo riduce i costi, ma anche aiuta a evitare sistemi gonfiati, limita il vendor lock-in e mantiene i vostri prodotti di IA veloci, snelli e scalabili nel lungo periodo.
Cosa posso fare?
-
Iniziate con un'architettura end-to-end solida e ottimizzata che vi consenta di evitare dipendenze tecnologiche e finanziarie, garantendo al contempo prestazioni costanti. Questo vale sia per le tradizionali pipeline di visione artificiale e di NLP sia per i flussi di lavoro agentici.
-
I test, la sperimentazione e il benchmarking richiedono molta energia per via della loro natura ripetitiva e dovrebbero essere eseguiti localmente, soprattutto nelle fasi iniziali. I grandi progressi nella potenza di calcolo consentono di eseguire modelli su laptop o in ambienti leggeri. Assicuratevi che forniscano un quadro realistico di quanto vi costerà una volta in produzione.
-
Scalate per la formazione, ma ridimensionate per l'inferenza e non sovradimensionate i vostri ambienti di produzione. La produzione dovrebbe essere progettata per essere scalabile, ma limitata a un uso molto specifico per evitare problemi di prestazioni (ad esempio allucinazioni, deriva del modello, ecc.).
-
Ottimizza i prompt GenAI perché non tutti i prompt sono uguali. I prompt complessi (con passaggi dettagliati, esempi e restrizioni) non sono sempre migliori. Suddividerli in passaggi sequenziali più semplici o utilizzare l'compressione immediata può spesso produrre risultati migliori, più coerenti ed efficienti. Testa e ripeti finché non trovi ciò che funziona meglio.
-
Promuovi una situazione vantaggiosa per tutti, per il prodotto e per l'ingegneria/MLOps (Machine Learning Operations), attraverso l'ottimizzazione del modello. Tecniche come la quantizzazione, il pruning, la riduzione delle dimensioni del modello rendono le implementazioni e la manutenzione più efficienti, ecologiche ed economiche, oltre a poter essere eseguite su dispositivi a basso consumo energetico.
-
Applicare GreenOps a MLOPs, monitorando e regolando le regioni cloud con una minore intensità di carbonio sia per il riaddestramento che per l'inferenza.
-
Incoraggiare la ricerca e l'uso di hardware più efficiente (chip AI).
Cose da considerare
-
🧑💰Progettazione ottimizzata del sistema e allocazione delle risorse per migliorare le prestazioni e ridurre i costi
-
🧑💰Esperienza utente migliorata che porta a tassi di conversione più elevati e maggiore soddisfazione complessiva
Che aspetto ha il successo?
Integra la sostenibilità nella progettazione del tuo sistema. Mantieni le cose il più semplici possibile, riduci i test ridondanti e sii trasparente riguardo alle prestazioni e al consumo energetico del tuo sistema. Questa trasparenza può anche aprire le porte a partnership che condividono i tuoi obiettivi di sostenibilità, come fornitori di servizi cloud, piattaforme MLOps e fornitori di hardware.