Choisir un modèle IA pour un agent en production : la méthode, pas les modes

Mettre un modèle d'intelligence artificielle au cœur d'un agent — un assistant qui ne se contente pas de répondre, mais qui agit : cherche, rédige, déclenche des actions — est une décision d'ingénierie, pas un choix de mode. J'ai passé une campagne de mesures à départager des modèles pour ce rôle. Ce que j'en retire n'est pas un gagnant universel, mais une méthode : quatre critères, mesurés sur vos propres données, et surtout pris dans le bon ordre.

011. La sélection d'outils — le critère qui prime

Un agent utile choisit le bon outil dans un catalogue, souvent parmi des dizaines qui se ressemblent. S'il se trompe d'outil, ou s'il n'appelle rien alors qu'il fallait agir, tout le reste est inutile. C'est le premier filtre, et il est éliminatoire : un modèle rapide qui aiguille mal est écarté d'office. On le mesure sur son catalogue réel, pas sur un banc générique — j'y reviens plus bas.

022. La lecture de documents — si votre métier lit des pièces

Factures, tableaux de prix, bons de commande, scans de travers : beaucoup d'usages reposent sur la capacité du modèle à lire un document sans inventer un montant ni une date. C'est le second filtre, et il est sans pitié : une erreur sur un chiffre est plus grave qu'une lenteur. C'est aussi là que se logent de fausses économies — voir « Comprimer un modèle IA en 4 bits ne le rend pas bête », où la compression s'est révélée transparente pour la lecture, à condition de le vérifier.

033. La fiabilité — l'absence de panne silencieuse

Un agent qui rend une réponse vide, ou qui « réfléchit » jusqu'à ne plus rien produire, est un agent en panne — et la panne est invisible tant qu'on ne la traque pas. Pour un système qui exécute des actions, une abstention coûte aussi cher qu'une erreur. Ce critère décide souvent de réglages plus que de modèles : c'est le sens de « Désactiver le raisonnement d'un modèle IA le rend plus rapide — et pas moins juste ».

044. La vitesse et la concurrence — pour départager, pas pour trancher

Vient en dernier ce qu'on regarde souvent en premier : la vitesse de réponse à faible charge (le régime réel d'un assistant) et le nombre de conversations tenues en parallèle. C'est un critère de départage entre deux modèles également fiables et justes — jamais un critère qui rachète un mauvais aiguillage. Un modèle spectaculaire en vitesse mais qui rate un outil sur cinq ne sert à rien.

05Le principe qui tient le tout : mesurer sur VOS données

Ces quatre critères n'ont de valeur que mesurés sur votre terrain — vos outils, vos documents, votre langue, votre budget de latence — et non sur un classement public. Un palmarès teste la tâche de quelqu'un d'autre ; l'écart qu'il annonce s'inverse ou disparaît souvent sur vos données, comme je l'ai montré dans « Les classements publics de modèles IA ne prédisent pas votre cas d'usage ». Une trentaine de cas bien choisis, tirés de votre production, en disent plus long que n'importe quel leaderboard.

06Ce que ça change

La grille se lit dans l'ordre : d'abord écarter ce qui aiguille mal ou tombe en panne, ensuite vérifier la lecture, enfin départager sur la vitesse. À la fin, on ne répond pas à « quel est le meilleur modèle ? » — question sans réponse — mais à « lequel est le meilleur pour ce que vous en ferez ? ». C'est une décision qui se mesure, et qui se prend avant la mise en production, pas après. C'est précisément ce travail que je mène pour les organisations qui confient une partie de leurs opérations à un agent.

---

Sources

• Berkeley Function-Calling Leaderboard (BFCL) — évaluation publique de l'appel d'outils
• DocVQA — Document Visual Question Answering (benchmark de lecture de documents)