Comment évaluer et comparer les modèles de fondation entre 2024 et 2026
Entre 2024 et 2026, l'évaluation des modèles de fondation a profondément changé. Les repères historiques comme MMLUMMLU57 matières · ~6,5% d'erreurs de labels (MMLU-Redux)consulter → ou HumanEvalHumanEvalCodex paper · pass@kconsulter → saturent : la comparaison moderne combine exactitude, calibration, robustesse, contamination, préférence humaine, coût, latence et reproductibilité.
↑ survolez (ou tabulez sur) un chiffre pour le détail et la source.
L'évaluation des modèles de fondation a nettement changé de nature en deux ans. Les benchmarks historiques (MMLU, HumanEval, BIG-bench…) restent la langue commune, mais ils sont saturés, contaminés, parfois entachés d'erreurs de labels — et surtout ils ne disent plus grand-chose des modèles de pointe.
Une nouvelle génération les a complétés ou remplacés : MMLU-Pro et BBEH durcissent les anciens, MMLU-CF et LiveBench protègent contre la contamination, SuperGPQA élargit les disciplines, BFCL et SWE-bench mesurent l'usage réel d'outils et la résolution d'issues GitHub, BrowseComp et τ-bench évaluent les agents web.
Le message méthodologique est clair : un seul score ne suffit plus. Une comparaison crédible combine exactitude, calibration, robustesse, préférence humaine, coût, latence et reproductibilité — et, pour les agents, réussite de tâche et respect de contraintes.
▽ Ce qu'il faut retenir — 7 points
Les benchmarks historiques (GLUE, SuperGLUE, MMLU, HumanEval, TruthfulQA, BIG-bench) restent la langue commune des papiers et des system cards, mais sont largement saturés pour les modèles de pointe.
Les nouveaux benchmarks visent explicitement à corriger les défauts des anciens : saturation (MMLU-Pro, BBEH), erreurs de labels (MMLU-Redux), contamination (MMLU-CF, LiveBench), biais disciplinaire (SuperGPQA).
Les leaderboards se sont professionnalisés : Open LLM Leaderboard v2, HELM, lm-evaluation-harness, OpenCompass, BFCL, LiveCodeBench, SWE-bench, et les arènes de préférences humaines (Chatbot Arena / LMArena).
Des hubs indépendants agrègent qualité, prix et vitesse à travers les fournisseurs (Artificial Analysis, Vellum, Epoch AI), tandis qu'OpenRouter Rankings expose la préférence révélée — quels modèles sont réellement consommés en production.
Les évaluations privées anti-contamination (SEAL de Scale AI) et les arènes spécialisées (WebDev Arena, Copilot Arena, Aider Polyglot, Search Arena) prennent de l'importance face à la saturation des benchmarks publics.
Pour l'image, la vidéo et les agents, il n'existe pas d'équivalent unique de MMLU : on compare des familles de tâches (perception, OCR, raisonnement visuel, génération vidéo, agents web).
Une comparaison crédible doit combiner exactitude, calibration, robustesse, préférence humaine, coût, latence, reproductibilité et — pour les agents — réussite de tâche et respect de contraintes.
Dans les conversations sur « les benchmarks », quatre objets distincts sont régulièrement confondus. Les distinguer évite la plupart des malentendus. Un benchmark est un jeu de tâches ; une suite est un outillage logiciel qui exécute ces tâches ; un leaderboard publie des comparaisons ; les model-card evals sont des batteries internes au fournisseur.
Ensemble de tâches et de réponses de référence, comme MMLU, HumanEval, EgoSchema ou VQAv2. C'est l'unité de base : un jeu fixe de questions/cas et une métrique associée.
Logiciel qui exécute et normalise des benchmarks, comme HELM (Stanford), lm-evaluation-harness (EleutherAI) ou OpenCompass. Ce n'est pas un benchmark mais un outillage.
Publication continue de résultats comparables : Open LLM Leaderboard v2, BFCL v4, LiveCodeBench, SWE-bench, Chatbot Arena. Souvent dynamique, parfois rafraîchi.
Batteries d'évaluations publiées par un fournisseur (system cards GPT-4o, GPT-4.1, o3/o4-mini d'OpenAI). Utiles pour comparer dans une même série.
Trois strates se superposent : la langue commune héritée, la génération qui corrige ses défauts, et les suites spécialisées où se joue la vraie différenciation.
Ces benchmarks ne suffisent plus seuls à départager les meilleurs modèles, mais ils restent indispensables comme repères : ils forment la langue commune des papiers, des leaderboards et des system cards. Les ignorer, c'est se priver de toute comparaison historique avec les générations précédentes.
▽ Benchmarks LLM historiques
06 entréesToujours cités, mais largement insuffisants seuls pour départager les meilleurs modèles en 2026.
Chacun de ces benchmarks vise explicitement à corriger un défaut des précédents. MMLU-Pro contre la saturation, MMLU-Redux contre les erreurs de labels, MMLU-CF contre la contamination, SuperGPQA contre le biais STEM, LiveBench contre le statisme. C'est désormais ce socle qui sert à classer les modèles de pointe.
▽ Benchmarks LLM devenus centraux en 2024-2026
06 entréesIls corrigent explicitement un défaut des anciens : saturation, contamination, erreurs de labels, biais disciplinaire ou statisme.
Au-delà des grands QCM académiques, ce sont les benchmarks spécialisés qui apportent le plus de signal pratique : qualité de code (LiveCodeBench, SWE-bench), usage d'outils (BFCL), longs contextes (LongBench v2, RULER), et préférence conversationnelle (Arena, AlpacaEval). C'est ici qu'un modèle gagne ou perd un déploiement produit.
▽ Code, contexte long, tool use et préférence
06 entréesC'est ici que se joue la vraie différenciation entre modèles de pointe.
L'outillage qui rend les évaluations comparables et reproductibles
Les frameworks (HELM, lm-evaluation-harness, OpenCompass) standardisent l'exécution des benchmarks ; les leaderboards les publient en continu. Sans cet outillage, deux scores du même benchmark peuvent ne pas être comparables — c'est la condition de reproductibilité de toute évaluation sérieuse.
▽ Frameworks d'évaluation — 3 entrées
Living benchmark multi-dimension : accuracy, calibration, robustesse, biais, toxicité, efficacité.
Standard de réplication pour un très grand catalogue de tâches.
100+ datasets, modèles open et API. Très actif en 2025-2026.
▽ Leaderboards LLM — 3 entrées
Bundle IFEval, BBH, MATH, GPQA, MuSR, MMLU-Pro. Référence open models depuis juin 2024.
Préférences humaines à grande échelle, Elo.
Benchmark dynamique anti-contamination.
À côté des frameworks académiques (HELM, lm-eval-harness, OpenCompass) et des leaderboards officiels par benchmark, un écosystème de hubs de comparaison indépendants s'est imposé entre 2024 et 2026. Ils agrègent des dizaines de modèles à travers les fournisseurs et exposent, en un coup d'œil, qualité, prix, latence, voire popularité réelle.
Point important : OpenRouter Rankings mesure une chose qu'aucun benchmark ne capture — quels modèles les développeurs *paient effectivement* pour utiliser en production. C'est un signal de préférence révélée orthogonal aux scores.
▽ Hubs de comparaison qualité / prix / vitesse — 3 entrées
100+ modèles comparés sur qualité, prix, tokens/s, TTFT. Intelligence Index composite (MMLU-Pro, GPQA Diamond, HLE, LiveCodeBench, SciCode, MATH-500, AIME, IFBench). Couvre aussi image, vidéo, speech.
Comparaison côte-à-côte orientée praticiens : raisonnement, code, math, multimodal, agentique, fenêtre de contexte, coût par 1M tokens, date de sortie.
Suivi frontier models : FrontierMath, GPQA Diamond, MATH niveau 5, OTIS Mock AIME. Perspective tendances/scaling et base Notable AI Models (compute, paramètres, coût d'entraînement).
▽ Usage réel et préférence révélée — 3 entrées
Classement par volume de tokens consommés via la passerelle. Catégories : Programming, Roleplay, Marketing, Technology, Science, Translation, Academia, Finance, Health… Signal de préférence révélée — ce que les développeurs paient vraiment pour utiliser.
Préférences humaines pairwise (Elo). Sous-arènes : WebDev Arena, Copilot Arena (in-IDE via VS Code), Search Arena, Vision Arena, RepoChat Arena, Text-to-Image / Video Arena.
Coding agent : C++, Go, Java, JavaScript, Python, Rust (exercices Exercism). Mesure aussi la fiabilité du format d'édition (diffs applicables), critique pour l'intégration agent.
▽ Évaluations privées / anti-contamination — 3 entrées
Évaluations expertes à prompts non publics : Humanity's Last Exam, MultiChallenge, VISTA (vision), Tool Use, Agentic Tool Use, Adversarial Robustness, Coding, Instruction Following. Meilleure défense actuelle contre la contamination.
Hub bilingue (chinois/anglais) couvrant agents et tests de domaine (droit, médecine, finance). Meilleure couverture des modèles chinois (Qwen, DeepSeek, GLM, Doubao, Kimi, MiniMax) sous-représentés ailleurs.
Étroit mais largement cité : taux d'hallucination sur tâches de résumé. Utile en complément factualité quand SimpleQA / TruthfulQA ne suffisent pas.
Hors texte, on compare des familles de tâches — jamais un score unique. Et l'on sépare strictement compréhension et génération.
Pour l'image, on ne compare jamais un modèle sur un seul benchmark. Les évaluations sérieuses combinent trois familles : la perception classique (ImageNet, COCO, LVIS), le raisonnement visuo-linguistique (VQA, MMMU, MathVista, MMStar) et la lecture documentaire (DocVQA, OCRBench).
Deux pièges fréquents : ImageBind n'est pas un benchmark mais un modèle d'embedding ; et un score MME agrégé masque souvent de fortes asymétries entre sous-capacités.
▽ Benchmarks image et vision-langage
09 entréesPour l'image, pas d'équivalent unique de MMLU : on combine perception classique, lecture documentaire et raisonnement visuo-linguistique.
Le monde vidéo est encore plus fragmenté que l'image. Une comparaison crédible distingue au minimum classification d'actions (Kinetics, Something-Something), localisation spatio-temporelle (AVA, ActivityNet), vidéo-QA (NExT-QA, EgoSchema, Video-MME) et génération vidéo (VBench, VBench-2.0).
Mélanger un score Video-MME avec un score VBench dans une moyenne globale n'a strictement aucun sens : on n'évalue pas la même chose.
▽ Benchmarks vidéo : compréhension et génération
08 entréesLe monde vidéo est fragmenté : ne jamais fusionner compréhension et génération dans une moyenne globale.
Les benchmarks d'agents ont muté plus rapidement que tous les autres. Trois mondes coexistent désormais : agents web/assistants (BrowseComp, AssistantBench), agents logiciels (SWE-bench), agents incarnés et robotique (Meta-World, ManiSkill-HAB).
Leur particularité : la performance dépend autant du modèle que du scaffold — outils, mémoire, navigateur, budget de pas. À lire avec encore plus de prudence qu'un leaderboard LLM classique.
▽ Benchmarks d'agents
09 entréesTrois mondes coexistent : agents web/assistants, agents logiciels, agents incarnés/robotique. Le scaffold compte autant que le modèle.
Une comparaison moderne ne se résume pas à un score. Elle ajoute au minimum six couches au-dessus du chiffre principal : calibration, robustesse, préférence humaine, coût, latence, reproductibilité. Et elle évite quelques pièges récurrents — au premier rang desquels confondre score de benchmark et performance produit.
Multi-benchmark
Au moins un benchmark fermé/stable + un benchmark difficile/récent + un test réaliste pour la capacité visée.
Calibration
Distinguer 'réponse correcte', 'réponse fausse' et 'refus justifié' ; rapporter la calibration probabiliste quand disponible.
Robustesse au prompt
Vérifier que les scores ne dépendent pas trop du wording (MMLU-Pro est conçu pour cela).
Préférence humaine
Compléter les benchmarks fermés par Arena ou un panel humain — surtout pour la qualité conversationnelle.
Coût et latence
Tracer une courbe qualité/coût et qualité/latence, pas seulement un classement par score brut.
Reproductibilité
Documenter modèle, version, prompt, température, juge, harness, seed, tokenization.
Variance
Pour agents, tool use et juges LLM, faire plusieurs runs et reporter intervalles de confiance.
Sous-scores
Publier par capacité et par slice, pas seulement la moyenne agrégée.
Confondre score et performance produit
Un excellent MMLU ne dit rien sur le tool use, la navigation web ou la lecture de documents.
Agréger abusivement
Une moyenne sur 6 benchmarks dépend des poids implicites — les scores agrégés cachent les vraies forces et faiblesses.
Protocoles hétérogènes
0-shot vs few-shot, sans outil vs avec outil, direct vs CoT, juge humain vs juge LLM, 1 run vs 5 runs : pas comparable.
Mélanger benchmark, framework et leaderboard
OpenCompass et lm-eval-harness sont des outillages ; ImageBind est un modèle ; BFCL et BrowseComp sont des benchmarks.
Ignorer la contamination
Vérifier la date, la fermeture du benchmark, et l'existence de versions Redux/CF/Verified/Pro.
Benchmark gaming
Les benchmarks auto-jugés sont manipulables (cf. 'Cheating Automatic LLM Benchmarks'). Croiser avec un échantillon humain.
À chaque type de modèle, sa combinaison de benchmarks. Voici la recommandation minimale pour comparer honnêtement deux modèles dans chacune des grandes familles : LLM généraliste, VLM image-document, modèle vidéo et agent.
▽ Protocole recommandé par modalité
Combiner un benchmark de connaissance/raisonnement moins saturé (MMLU-Pro ou SuperGPQA), un benchmark de factualité (SimpleQA ou TruthfulQA), un benchmark de préférence conversationnelle (Arena ou AlpacaEval), un benchmark de code ou tool use si pertinent (LiveCodeBench, BFCL), et un benchmark de long contexte (LongBench v2 ou RULER) si le modèle est vendu comme '128k+' ou '1M tokens'.
Séparer perception, lecture et raisonnement : ImageNet / COCO / LVIS pour la perception de base, VQAv2 / MMStar / MMMU / MathVista pour le raisonnement visuo-linguistique, DocVQA / OCRBench pour la lecture documentaire. Pour un usage entreprise, les benchmarks documentaires sont souvent plus prédictifs.
Annoncer clairement compréhension vs génération. En compréhension : Kinetics, AVA, NExT-QA, Ego4D, EgoSchema, Video-MME (v2). En génération : VBench puis VBench-2.0 / VBench++. Ne jamais fusionner les deux dans une moyenne.
Triangle : un benchmark web réaliste (BrowseComp ou AssistantBench), un benchmark de tool-use/règles (τ-bench ou BFCL), et un benchmark logiciel si le produit code (SWE-bench ou CoreCodeBench). Reporting du scaffold, du nombre d'étapes et de la variance non négociable.
▽ Conclusion : du score unique à la batterie diagnostique
Si l'on devait résumer la période 2024-2026 en une phrase : les benchmarks utiles sont devenus moins des « examens finaux » que des batteries diagnostiques. Les meilleurs rapports d'évaluation ne montrent plus seulement « qui gagne », mais sur quoi le modèle gagne, à quel coût, dans quelles conditions, avec quelle robustesse, et avec quel risque de tromperie méthodologique.
C'est précisément la direction prise par HELM, LiveBench, BFCL, les suites de long contexte, les benchmarks agents récents et les analyses de contamination/leaderboards. Les system cards des fournisseurs reflètent ce changement : la page GPT-4.1 d'OpenAI cite explicitement OpenAI-MRCR, Graphwalks, MMMU, MathVista, CharXiv, ComplexFuncBench et τ-bench, avec des chiffres précis par sous-capacité plutôt qu'un score unique.
Un benchmark qui servait encore de référence en 2023-2024 peut être en 2026 soit saturé (BBH), soit corrigé (MMLU-Redux), soit décontaminé (MMLU-CF), soit déclassé par un successeur plus difficile (BBEH, SWE-bench Pro). Construire une comparaison crédible, c'est désormais combiner plusieurs angles — et accepter qu'aucun score unique ne raconte toute l'histoire.
Le principe pratique à retenir : choisir d'abord l'usage visé (connaissance, code, doc, image, vidéo, agent), puis combiner un benchmark stable, un benchmark récent et difficile, et un test réaliste — en documentant scrupuleusement le protocole. C'est la seule manière d'éviter à la fois la saturation, la contamination et le benchmark gaming.
84 références : papers, leaderboards, system cards et analyses méthodologiques.