Comprimer un modèle IA en 4 bits ne le rend pas bête — voici ce que j'ai mesuré

Faire tourner un modèle d'intelligence artificielle coûte cher en mémoire et en vitesse. La quantification — réduire la précision des poids du modèle, par exemple de 16 bits à 4 bits — divise la mémoire par quatre et accélère nettement l'inférence. La crainte, répandue, est qu'en comprimant autant on rende le modèle « bête ». Je l'ai testée sur mes propres tâches. La crainte ne s'est pas vérifiée.

01La lecture de documents : identique au caractère près

C'était le test qui devait trancher. Sur 60 questions posées à partir de documents volontairement difficiles — factures denses, tableaux serrés, scans de travers, petits caractères peu contrastés —, le modèle 4 bits a rendu des réponses identiques, caractère pour caractère, à celles du modèle pleine précision : 60 sur 60. Y compris les cinq erreurs de lecture, reproduites à l'identique. Autrement dit, quand le 4 bits se trompe, c'est parce que le modèle d'origine se trompait déjà — pas à cause de la compression. Pour lire un document, la quantification est transparente.

02La sélection d'outils : aucune dégradation

Deuxième critère, décisif pour un agent qui déclenche des actions : choisit-il toujours le bon outil ? Sur 160 appels comparés un à un, le modèle 4 bits n'a raté aucune tâche que le modèle pleine précision réussissait. Mieux : il s'abstenait moins souvent d'agir. La compression n'a pas abîmé le jugement du modèle sur ce qui compte pour piloter un vrai processus.

03Et la vitesse, elle, est bien là

C'est le gain qu'on cherchait, et il est net : à faible charge — le régime réel d'un assistant —, le modèle 4 bits répond nettement plus vite que le même modèle non compressé, et il libère assez de mémoire pour tenir davantage de conversations en parallèle. On paie donc… rien, en qualité, pour un modèle sensiblement plus rapide et plus léger. C'est exactement l'inverse de l'intuition.

04Pourquoi le soupçon existait — et pourquoi il se trompait ici

Le soupçon n'était pas absurde : un test public répandu laissait attendre une petite perte en 4 bits. Mais ce proxy mesure une tâche générale, pas la mienne. Sur mes documents et mon catalogue d'outils, l'écart annoncé ne s'est pas matérialisé. La leçon rejoint une règle simple : un risque théorique se vérifie sur ses propres données avant de renoncer à un gain bien réel.

05La nuance qui évite l'excès inverse

« Gratuit » ne veut pas dire « comprimez à l'infini ». Certaines parties du modèle doivent rester en pleine précision — les compresser dégraderait justement la calibration qui protège la sélection d'outils. Et ce résultat vaut pour de la lecture de documents bureautiques et une sélection d'outils : d'autres usages (écriture manuscrite, photos au téléphone, raisonnement long) restent à mesurer au cas par cas. La bonne question n'est jamais « faut-il quantifier ? » dans l'abstrait, mais « jusqu'où, sans rien perdre sur ce que je fais réellement ? » — et cela se mesure.

---

Sources

• GPTQ: Accurate Post-Training Quantization for Generative Pre-trained Transformers (arXiv 2210.17323)
• AWQ: Activation-aware Weight Quantization for LLM Compression and Acceleration (arXiv 2306.00978)