Une longue fenêtre indique d’abord qu’une requête peut tenir. Le besoin réel est souvent de retrouver une information, résoudre des contradictions et relier des preuves éloignées. Accepter davantage de tokens ne garantit pas ces opérations.
Cet article propose une évaluation à partir de sources vérifiées le 2026-11-14. Folkbench n’a interrogé aucun modèle ni mesuré la longueur effective d’un service. Plans expérimentaux, seuils et exemples sont des propositions éditoriales.
Capacité, recherche et compréhension
La capacité correspond au budget d’entrée et de sortie autorisé. La recherche retrouve un fait ; l’intégration compare, suit des relations, agrège ou conclut à partir de plusieurs faits. Ces capacités sont liées sans être interchangeables.
Retrouver un numéro de commande explicitement écrit prouve une recherche réussie. Déterminer le montant final à partir de la commande, de ses modifications et des remboursements exige aussi chronologie, règles et liens. Tous les fichiers peuvent tenir, mais seulement certains contribuer à la réponse.
Il faut distinguer une réponse absente des documents et une réponse non retrouvée. Reconnaître l’insuffisance des preuves évite de compléter des faits manquants avec des connaissances générales plausibles.
Trois perspectives complémentaires
Lost in the Middle étudie la position des informations dans les questions multi-documents et la recherche clé-valeur. Des preuves placées seulement au début ou à la fin peuvent mal représenter l’ensemble de l’entrée. Ce constat historique sur des modèles précis ne prouve pas que tous les nouveaux systèmes échouent autant.
RULER ajoute le suivi à plusieurs étapes et l’agrégation, avec longueur et complexité contrôlables. Il aide au diagnostic, sans couvrir par ses tâches synthétiques tous les usages documentaires.
LongBench v2 comprend 503 questions à choix multiple dans six catégories : document unique, documents multiples, apprentissage en contexte long, historique de conversation, dépôts de code et données structurées. La plage annoncée va de 8k à 2M mots, pas tokens. Le choix multiple facilite la notation, sans équivaloir à produire un rapport complet et utilisable.
Ces travaux suggèrent des plans complémentaires. Ils ne justifient pas d’assembler des scores d’années et de protocoles différents en un nouveau classement.
Croiser longueur, position et tâche
Choisissez le travail à soutenir avant les tranches de longueur. Chaque tranche doit inclure des preuves au début, au milieu, à la fin et réparties entre positions. Déplacer les preuves doit préserver sens et références, sans rendre la chronologie ambiguë.
| Tâche | Observation | Variables contrôlées |
|---|---|---|
| Retrouver un fait | Choisir le bon | Position, distracteurs proches |
| Retrouver plusieurs faits | Tous les trouver | Nombre, doublons |
| Suivi à plusieurs étapes | Relier correctement | Étapes, distance |
| Agrégation | Statistique complète | Échelle, comptage, dédoublonnage |
| Jugement multi-documents | Bonnes preuves et versions | Conflits, dates, priorité des sources |
| Preuve absente | Reconnaître l’impossibilité de conclure | Difficulté comparable aux questions répondables |
Pour allonger l’entrée, conservez d’abord la tâche centrale et ajoutez des documents contrôlés. Cela mesure l’effet des distractions. Les textes naturels peuvent aussi contenir davantage de faits liés ; ajoutez un jeu réaliste distinct, sans assimiler remplissage et compréhension globale.
Même document plutôt que même étiquette de tokens
Les tokeniseurs découpent différemment le même texte. Privilégiez des documents identiques et indiquez mots ou caractères ainsi que les tokens propres à chaque modèle. Un autre test peut contrôler leur nombre pour explorer une limite spécifique, en précisant que les entrées ne sont plus identiques.
Réservez de l’espace pour les consignes et la sortie. Documentez formats, traitement des images et tableaux, troncatures et positions. Une entrée dépassant la capacité doit être marquée non prise en charge ou traitée selon le protocole. Supprimer discrètement du texte n’évalue pas le document complet.
Si vous ne retenez que les tâches acceptées par tous, publiez le nombre et le type des exclusions. Retirer des questions difficiles peut avantager artificiellement une fenêtre plus courte.
Séparer contexte natif et récupération augmentée
Un système avec récupération sélectionne des passages avant le modèle ; le contexte natif fournit directement des documents plus complets. Les deux sont utiles, mais différents. Découpage, indexation, classement et nombre de passages influencent les résultats.
Publiez réussite de bout en bout et couverture des preuves à la récupération. Si les bons faits n’arrivent jamais au modèle, le raisonnement ne porte pas toute la responsabilité. S’ils sont présents, examinez intégration et génération.
Une condition diagnostique peut fournir des passages pertinents vérifiés humainement afin de localiser le problème de récupération. Ce n’est pas le score du système de production normal ; ne le mélangez pas aux résultats complets des concurrents. Elle explique les écarts, sans embellir le score principal.
La longueur effective dépend de la tâche et du seuil
Ce n’est pas une propriété physique universelle. Un modèle peut retrouver un fait dans une entrée immense et échouer sur des clauses contradictoires plus courtes. Les exigences d’exactitude diffèrent aussi selon l’usage.
Déclarez un seuil acceptable avant le test et montrez performances et incertitude par tranche. Si vous publiez une limite, précisez tâches, budget et seuil, et vérifiez les tranches plus courtes. La plus longue tranche testée satisfaisante ne prouve pas que toute entrée supérieure échoue.
Les questions issues d’un document partagent une structure. Traitez leur dépendance au niveau du document ou du groupe. D’après l’analyse des barres d’erreur, écarts appariés et intervalles à 95% renseignent mieux qu’une moyenne. Signalez les faibles effectifs plutôt que de lisser une courbe donnant une fausse certitude.
Inclure les échecs et les coûts
Les échecs observables comprennent entrée incomplète, preuve oubliée, confusion de faits proches, version périmée, mauvaise relation entre passages et réponse inventée faute de preuve. Noter seulement faux perd l’information diagnostique. Ces catégories décrivent le comportement, pas un mécanisme interne démontré.
L’approche à plusieurs métriques de HELM s’applique aussi ici. Mesurez exactitude, temps de traitement et de réponse complète, coût total, tentatives et cache. Distinguez cache froid et chaud. Une grande fenêtre qui renchérit fortement chaque tâche ne convient pas nécessairement partout.
Le résultat doit cartographier les limites : tâches stables, longueurs, positions fragiles, coûts et gestion des preuves insuffisantes. Il aide à organiser les entrées et les réglages au lieu de comparer seulement le plus grand chiffre commercial. Voir [la fiabilité des classements](/fr/blog/llm-benchmark-rankings-contamination/).
