Aller au contenu
runward
runward
Produit
Pour qui
Confiance
Documentation
Nouveautés
Essayer sur un exemple Échanger avec nous

Docs · La doctrine · Section 12

Évaluation et tests des agents

Un système déterministe se teste ; un système agentique se teste et s'évalue. Le code qui l'entoure se vérifie comme n'importe quel logiciel, mais le comportement du modèle, non déterministe, demande une mesure de qualité dédiée. Cette section est le runbook des deux : la pyramide de tests adaptée aux agents, et la boucle d'évaluation comportementale.

Distinction fondatrice : un test répond par vrai ou faux sur du code déterministe. Une évaluation note une qualité sur un comportement non déterministe. Les deux sont nécessaires, ils ne se remplacent pas.

La pyramide de tests adaptée aux agents

EVALS INTÉGRATION CONTRAT UNITAIRE qualité comportementale end-to-end use cases via conteneur d'injection schémas valides / invalides domaine pur, adaptateur mock

1 Unitaire, le domaine sans réseau

Le domaine étant pur et le fournisseur de modèle isolé derrière un port, on teste les cas d'usage sans appel réseau, en injectant un adaptateur de modèle mock qui retourne des fixtures déterministes. Les tests sont rapides, reproductibles, et ne dépendent d'aucun fournisseur. La pureté du domaine, posée en Section 02, paie ici directement.

2 Contrat, le schéma comme garde-fou

Chaque entrée et sortie traversant une frontière est validée par un schéma typé. Les tests de contrat vérifient qu'un schéma accepte les charges valides et rejette les invalides : une charge correcte ne lève pas, une charge malformée lève. Leur vraie valeur est de détecter le décalage silencieux entre le schéma et les données réellement produites, le drift le plus coûteux d'un système typé. Poussé un cran plus loin, le contrat est dirigé par le consommateur : chaque consommateur exprime ses attentes sous forme de contrat exécutable, et un changement du producteur qui les briserait échoue à l'intégration, avant d'atteindre la production. C'est le pendant exécutable de la gouvernance de contrat posée en section 02.

  charge valide      → schema.parse(charge)   ne leve pas   ok, contrat respecte
  champ manquant     → schema.parse(charge)   leve          ok, rejet attendu
  mauvais type       → schema.parse(charge)   leve          ok, rejet attendu
  

3 Intégration, l'orchestration avec mocks injectés

Au niveau intégration, on assemble les cas d'usage via le conteneur d'injection en y plaçant des adaptateurs mock (persistance, modèle, exécution). On vérifie l'orchestration et les frontières sans toucher d'infrastructure réelle. Le conteneur d'injection, posé en Section 05, rend ces tests possibles par simple substitution.

4 Évaluations, la qualité comportementale

Au sommet, les évaluations mesurent ce que les tests ne peuvent pas : la qualité du comportement de l'agent sur des scénarios réalistes. Un banc d'évaluation de la mémoire, inspiré des protocoles publics de mémoire longue, couvre six capacités, sur des conversations multi-tours, avec une réponse attendue et une rubrique de notation.

Capacité évaluéeCe qu'elle vérifie
Rappel directRetrouver un fait donné plusieurs tours plus tôt.
Rappel multi-contraintesCombiner plusieurs informations dispersées pour répondre.
Mise à jour de connaissanceRestituer la valeur la plus récente après une correction.
Raisonnement temporelRestituer ce qui était vrai à une date donnée, et distinguer quand un fait a été appris de quand il était valide. C'est le banc d'essai du modèle bi-temporel de la section 06.
AbstentionRefuser d'inventer quand l'information n'a jamais été donnée.
Longue sessionSe souvenir après de nombreux tours, ce qui déclenche le résumé.

La notation suit une rubrique explicite : une réponse complète qui reformule tous les éléments clés vaut le maximum, une réponse partielle qui en manque un vaut moins, une réponse vague mais non fausse vaut la moitié. Chaque scénario porte une liste de termes attendus et une liste de termes interdits, ce qui rend la mesure de l'abstention aussi importante que celle du rappel : ne pas halluciner est un critère noté.

De la pyramide à la boucle d'exécution

Placée en fin de cycle, l'évaluation passerait pour un simple portillon de préproduction. Pour un système non déterministe soumis à la dérive des modèles, elle doit devenir une boucle d'exécution continue. Le flux de traces émis par le middleware (section 05) est échantillonné en arrière-plan, hors du chemin chaud : aucune latence ajoutée au tour. Sur cet échantillon, un scoring hybride combine des vérifications déterministes et un modèle-juge à rubrique pour les critères comportementaux, l'abstention en tête. Le score alimente un profil de qualité par agent, qui étend la notion de confiance du seul credential au comportement observé. Un piège à éviter : le modèle-juge est lui-même un modèle, qui sera mis à jour. Le jour où il change, la série de qualité dans le temps devient incomparable, en silence. On l'ancre donc, comme on promeut le modèle servant : version figée, ou jeu d'ancrage rejoué à chaque changement de juge pour recalibrer la mesure.

La boucle reste ouverte à la frontière de l'action. Elle produit des signaux et des recommandations ; agir sur eux passe soit par un réglage borné dans une enveloppe pré-approuvée et auditée, soit par une validation humaine, jamais par une réécriture autonome. Une boucle fermée naïve qui optimiserait directement le score du juge dériverait vers ce qui le flatte sans améliorer la qualité réelle ; ce qui fait tenir l'auto-réglage, c'est un garde non manipulable, un hold-out vérifiable que l'optimiseur ne voit pas et qui déclenche un retour arrière. Ce garde fort suppose une vérité-terrain vérifiable ; pour les comportements purement subjectifs, où elle manque, le filet redevient l'échantillon humain, et l'enveloppe d'auto-réglage reste étroite. Le principe « l'humain décide » s'applique jusqu'ici.

Pourquoi pas un chœur de vérificateurs ? La tentation est grande de remplacer les garde-fous déterministes par des agents probabilistes qui se relisent les uns les autres, et de laisser l'auto-correction émerger. C'est séduisant, mais plus faible là où une garantie est requise, pour trois raisons. D'abord, on ne fabrique pas une propriété dure, une autorisation, une idempotence, la conformité d'un schéma, à partir de jugements mous : empiler des vérificateurs faillibles empile des incertitudes, il ne les annule pas. Ensuite, l'argument suppose des erreurs indépendantes, or des modèles qui partagent données et biais partagent leurs angles morts : leurs erreurs se corrèlent, au point qu'un vote majoritaire peut amplifier l'erreur commune au lieu de la corriger, et une entrée adverse qui trompe l'un trompe le chœur. Enfin, chaque vérification est une inférence de plus, coûteuse et lente, là où un contrôle déterministe est gratuit et sûr. C'est l'erreur de catégorie que la frontière du modèle évite : déterministe pour ce qui admet une garantie, modèle-juge pour la seule qualité comportementale irréductible, et toujours sous le hold-out non manipulable décrit plus haut. À mesure que les modèles gagnent en fiabilité, la part confiée au juge peut croître ; mais le plancher, sûreté, sécurité, autorisation, audit, ne quitte jamais le déterministe. Et il faut le dire sans détour : le juge que ce cadre retient n'échappe pas à ces limites, faillible et non déterministe lui aussi. Il ne vaut que sous le hold-out non manipulable et derrière le plancher déterministe, jamais comme garantie autonome. La couche d'assurance comportementale est utile, elle n'est pas aussi dure que le socle.

Valider un changement de modèle avant de lui faire confiance

Substituer le modèle est un droit que l'architecture garantit ; lui faire confiance se mérite. Un modèle nouveau ou mis à jour peut altérer le comportement de façons qu'aucun banc d'évaluation hors ligne ne capture, et cela ne se voit que sur du trafic réel : on ne bascule donc jamais d'un seul geste. Le candidat tourne d'abord en déploiement fantôme, derrière le même port, sur le trafic réel mais en silence : ses sorties ne sont pas servies, on mesure leur divergence comportementale avec le modèle en service, par la même évaluation que celle qui surveille la dérive. Si la divergence reste sous un seuil défini à l'avance, on bascule une part croissante du trafic, sous la même surveillance, avec retour arrière immédiat à la moindre régression. C'est la discipline de migration du port modèle, sœur de l'étendre-puis-contracter des contrats (section 02) : on valide en parallèle, puis on bascule par paliers. Une réserve, toutefois : ce gate automatique ne vaut que pour les critères à vérité-terrain vérifiable. Pour les dimensions purement subjectives, où le signal automatique manque, la promotion ne s'auto-déclenche pas, elle reste sous validation humaine.

TRAFIC RÉEL Modèle en servicesert les réponses Candidat, en fantômesorties non servies Mesure de divergence comportementale · la même évaluation Sous le seuil : canary par paliers, puis bascule Au-dessus : retour arrière

Runbook d'évaluation

  • Ajouter un scénario : décrire la conversation multi-tours, la question finale, les termes attendus et interdits, et la catégorie de capacité visée.
  • Exécuter : rejouer les tours dans l'ordre contre le système courant, poser la question finale, comparer la réponse aux termes attendus et interdits.
  • Noter : appliquer la rubrique, suivre le score par capacité dans le temps pour détecter les régressions comportementales.
  • Déclencher les évaluations : relancer le banc d'évaluation sur tout changement qui touche la mémoire, le prompt ou le routage, là où une régression comportementale est possible, et suivre le score par capacité dans le temps.

Échanger avec nous

Dites-nous qui vous êtes : nous revenons vers vous.

Vos coordonnées sont enregistrées par Another Framework, éditeur de runward, pour vous recontacter. Elles ne sont ni vendues ni partagées, et sont effacées trois ans après notre dernier échange. Pour les consulter ou les effacer : contact@runward.dev.