Insights
Evaluating an AI System in Production
Passer de la démo à une décision d’exploitation : mesurer le résultat métier, la dérive et le coût du risque — pas seulement le score du jour.
Un PoC se juge à l’œil. La production se juge sur une décision : on laisse tourner, on corrige, ou on coupe.
La plupart des équipes s’arrêtent au score du jour de la démo. Un taux de bonnes réponses sur un jeu propre ne dit rien de ce qui se passe mardi, avec des documents incomplets, un utilisateur pressé et un outil qui timeout. Évaluer, c’est mesurer le système, pas le modèle.
Trois questions suffisent
Le système fait-il le travail ?
On part du processus, pas du benchmark public. Pour un tri de tickets, la mesure est le taux de dossiers clos sans reprise humaine, pas un score MMLU. On fixe le seuil avant de lancer, et on écrit ce qui se passe en dessous : file d’attente humaine, refus, ou escalade.
Le système se dégrade-t-il ?
Les sources changent, les prompts dérivent, un modèle est mis à jour chez le fournisseur. Une évaluation unique est une photo. Il en faut une de routine, sur un jeu figé que personne ne retouche pour « faire passer » la release, plus un échantillon de cas réels relu chaque semaine.
Le système est-il sûr quand il a tort ?
On mesure les refus, les hallucinations citées, les actions d’outil hors périmètre, le coût par tâche réussie. Un système qui répond juste et vide le budget n’est pas en production. Il est en sursis.
Logs ≠ évaluation
Le piège est de confondre évaluation et tableau de bord. Les logs disent ce qui s’est passé. L’évaluation dit si c’était acceptable. Les deux se rejoignent : chaque échec réel qui n’est pas dans le jeu de test est un trou. On l’y ajoute. Le jeu grossit avec les incidents, pas avec l’imagination.
On n’a pas besoin d’un juge automatique pour commencer. Cent cas annotés par les gens du métier, un seuil écrit, une revue hebdomadaire. Le juge automatique vient après, quand on sait ce qu’on lui demande de noter. Sinon il note ce qui est facile, et on industrialise l’erreur.
Position YOWE
L’évaluation est la pièce qui manque entre « la démo marche » et « on peut le laisser tourner ». On la pose avant l’autonomie, avec le métier, sur le résultat, pas sur le modèle.