Comment évaluer un agent IA avant de lui confier vos dossiers clients

Vous ne recruteriez jamais un collaborateur qui oublie chaque client d'un rendez-vous à l'autre. C'est pourtant ce qu'on installe dans beaucoup d'entreprises sous le nom d'agent IA : un cerveau brillant, sans mémoire et sans mains. Un manuel technique passé en accès libre cet été donne une grille simple pour faire le tri. Il s'adresse aux développeurs, mais sa formule tient en une ligne et vaut pour tout dirigeant : un agent, c'est un cerveau, une mémoire, des mains. Voici comment l'utiliser pour mener l'entretien d'embauche de votre prochain agent.

Un cerveau, une mémoire, des mains : d'où vient la formule

Le manuel s'appelle « AI Agents in Depth », écrit par le chercheur en informatique Li Bojie. Dix chapitres, 92 expériences de code réelles, une traduction en huit langues dont l'anglais, le tout publié en accès libre sur GitHub sous licence ouverte. Vous n'avez pas besoin de le lire en entier. Sa première page suffit, car tout le livre déroule une seule équation : un agent IA complet combine un modèle de langage (le cerveau qui comprend et rédige), un contexte (la mémoire qui retient qui vous êtes et où en est chaque dossier) et des outils (les mains qui ouvrent un fichier, envoient un courriel, remplissent un tableau).

Retirez un des trois et il ne reste pas un agent. Il reste un chatbot : un candidat brillant à l'oral, incapable de tenir le poste.

Cette grille change la façon de recevoir les démonstrations commerciales. Face à un outil qui vous impressionne, la question n'est plus « est-il intelligent ? ». Elle devient : a-t-il une mémoire, a-t-il des mains, et comment le vérifier.

Le test de la mémoire : se souvient-il du client d'hier ?

La plupart des outils qu'on vous présente repartent de zéro à chaque conversation. Pour rédiger un courriel isolé, cela suffit. Pour travailler dans un cabinet comptable ou d'avocats, non : la valeur est dans l'historique. L'exercice précédent, le régime de TVA particulier, l'associé qui ne répond jamais avant la deuxième relance. Un collaborateur qui redécouvre tout cela chaque matin ne tiendrait pas une semaine.

Le manuel consacre un chapitre entier à cette mémoire : comment un agent retient les informations propres à chaque client d'une session à l'autre, et comment il consulte une base documentaire sans tout mélanger. Vous n'avez pas à maîtriser la technique. Vous avez à poser quatre questions au prestataire :

• Que retient l'agent d'une conversation à l'autre, concrètement ?
• Où cette mémoire est-elle stockée, et en France ou en Europe ?
• Peut-il consulter vos dossiers existants, ou faut-il tout lui recopier ?
• Quand une information change (adresse, associé, régime fiscal), qui met la mémoire à jour ?

Un fournisseur sérieux répond en cinq minutes. Un fournisseur qui vend un cerveau en bocal change de sujet.

Le test des mains : peut-il ouvrir un dossier sans le perdre ?

Les mains, ce sont les connexions entre l'agent et vos logiciels : la messagerie, la gestion électronique de documents, l'outil de production du cabinet. Sans elles, l'agent rédige des textes que quelqu'un doit copier-coller à la main, et le temps gagné fond.

Mais des mains posent une question de sécurité que le cerveau ne posait pas. Un agent connecté à votre messagerie et à vos dossiers, c'est un collaborateur avec les clés de toutes les armoires. Avant de les lui confier, exigez trois garanties :

• des droits limités au strict nécessaire : lire la boîte de réception dédiée, oui ; supprimer des pièces, non ;
• un journal des actions : qui a déplacé quoi, quand, où ; une pièce comptable qui disparaît sans trace coûte plus cher que l'heure qu'elle a fait gagner ;
• une validation humaine avant tout envoi vers un client, au moins pendant les premiers mois.

Le piège classique n'est pas l'agent qui refuse de travailler. C'est l'agent trop bien outillé, à qui personne n'a fixé de limites.

La période d'essai : mesurer avant de confier un dossier

Un recrutement sérieux comporte une période d'essai. Un agent IA aussi. Le manuel de Li Bojie y consacre son sixième chapitre, et la méthode se transpose sans une ligne de code :

1. Choisissez une tâche bornée et répétitive, pas « gérer le cabinet ».
2. Constituez un échantillon de 20 à 30 cas réels dont vous connaissez déjà le bon résultat.
3. Faites travailler l'agent sur ces cas, sans lui montrer les réponses.
4. Comparez : combien de résultats justes, combien d'erreurs, et surtout quel type d'erreurs.
5. Gardez une validation humaine tant que le taux d'erreur n'est pas stable sur plusieurs semaines.

Ce protocole tient sur une page et il élimine à lui seul la majorité des offres. Un outil qui ne peut pas être testé sur vos propres dossiers avant engagement ne mérite pas vos dossiers.

Un exemple chiffré : la relance des pièces manquantes

Prenons un cabinet comptable de 120 dossiers clients. Chaque mois, un collaborateur identifie les pièces absentes, rédige des relances personnalisées et suit les réponses. À 10 minutes par dossier, cela représente 20 heures par mois.

Un agent complet sur cette tâche mobilise les trois éléments de la formule. La mémoire : l'historique des pièces déjà reçues et les habitudes de chaque client. Les mains : lire la boîte de réception dédiée, classer les pièces reçues dans la gestion documentaire, préparer les relances. Le cerveau : rédiger un message adapté au ton de chaque client.

La période d'essai : un mois sur 30 dossiers. Si l'agent prépare correctement 9 relances sur 10 et que le collaborateur valide chaque envoi en 2 minutes au lieu d'en rédiger un en 10, la charge passe d'environ 20 heures à 5 heures par mois, validation comprise. Ce chiffre n'est pas une promesse : c'est un ordre de grandeur à vérifier chez vous, sur vos dossiers. C'est précisément à cela que sert l'essai.

À la rentrée, faites passer l'entretien

L'été s'y prête : l'activité ralentit, c'est le bon moment pour trier posément ce qui mérite un essai en septembre. Les offres d'agents IA reprendront à la rentrée, plus nombreuses qu'avant. Vous avez maintenant la grille : une mémoire qui retient vos clients, des mains encadrées par des droits et un journal, une période d'essai mesurée sur vos propres dossiers. Le cerveau, lui, tout le monde en a un à vendre.

Un candidat brillant sans mémoire ni mains ne passe jamais la période d'essai. Faites-la passer avant de signer.

Si vous voulez passer en revue les tâches de votre entreprise qui mériteraient un agent complet, et celles qu'il vaut mieux garder en main, on peut en parler : réservez un créneau.