Lorsqu'un pélican à vélo cesse d'être une capture d'écran éphémère pour devenir une base de référence standardisée, interrogeable et mise à jour quotidiennement couvrant 507 modèles, un test viral devient une véritable infrastructure d'ingénierie pour vérifier l'authenticité des LLM.

Nous publions aujourd'hui en open source Folkbench/pelican-database — l'une des bases de données SVG et PNG « pelican riding a bicycle » les plus vastes et complètes au monde.

Depuis octobre 2024 et le célèbre prompt de Simon Willison "Generate an SVG of a pelican riding a bicycle", des centaines de modèles propriétaires et open-weight ont été testés. Mais ces résultats restaient éparpillés entre billets de blog, fils X, Gists GitHub et galeries, avec des noms hétérogènes et souvent uniquement des captures compressées.

Folkbench/pelican-database unifie ces sources en un jeu de données aligné sur models.dev et synchronisé chaque jour via GitHub Actions pour alimenter la détection d'authenticité des modèles sur Folkbench.

1. En chiffres : pourquoi c'est l'une des bases de pélicans les plus complètes

Au premier instantané public (2026-11-22), Folkbench/pelican-database réunit :

DimensionChiffre vérifiéDétails
Spécimens candidats agrégés3 875Fusion d'UncleK/pelicanmap + les 161 articles, grilles HTML statiques et SVG directs de Simon Willison
Modèles canoniques uniques507Dédupliqués depuis 799 alias bruts vers des clés provider/model_id
Fournisseurs couverts68Laboratoires de pointe et familles open-weight du monde entier
Couverture en .svg original454 (89,5 %)Code source SVG validé et exploitable plutôt que de simples captures
Rendus .png standardisés507 (100 %)Rendu uniforme 1024px sur fond blanc via navigateur headless (0 manquant)
Correspondance exacte models.dev378 (74,6 %)Dont 190 fournisseurs natifs ; les 129 modèles historiques suivent le même schéma
Modèles testés par Simon Willison177Marqués tested_by_simon et enrichis en .svg original dès que disponible
Période couverte2024-10-25 au 2026-11-21Plus de deux ans d'évolution du raisonnement spatial et de la génération SVG
Évolution réelle des SVG entre les modèles 2024 et les modèles frontière 2026 dans Folkbench Pelican Database pour OpenAI, Anthropic et Google.

Figure 1 : Six fichiers .svg originaux rendus directement depuis Folkbench/pelican-database. En haut (octobre 2024) : openai/gpt-4o, anthropic/claude-3-5-sonnet-20241022 et google/gemini-1.5-pro-001. En bas (novembre 2026) : openai/gpt-6.2-astra, anthropic/claude-fable-5-2 et google/gemini-4-neon.

2. Cinq choix d'ingénierie clés

Figure 2 : Architecture d'ingestion multi-sources, d'alignement models.dev, de rendu incrémental SHA-256 et de synchronisation quotidienne de Folkbench Pelican Database.
  1. Récupération multi-sources des SVG originaux : croisement d'UncleK/pelicanmap[^unclek-pelicanmap] et des 161 billets de Simon Willison[^simon-pelican-tag], décodage de 180 SVG base64 intégrés aux grilles HTML static.simonwillison.net et sélection déterministe (.svg réel > test de Simon > prompt classic > effort standard/élevé).
  2. Alignement models.dev et attribution au laboratoire natif : normalisation des 799 alias via models.dev/api.json[^models-dev] sur 68 fournisseurs (OpenAI 72, Google 64, Alibaba/Qwen 63, Anthropic 30, Meta 21, Mistral 21, DeepSeek 19, Z.AI/GLM 19, xAI 16...) avec conservation complète dans model_aliases.
  3. Rendu unifié par navigateur headless : pipeline multiplateforme Chromium/Edge CDP rendant chaque SVG dans un sandbox <img> isolé à 1024px sur fond blanc, avec contrôle d'intégrité sur les 507 PNG.
  4. Livraison immédiate JSON + SQLite : arborescence models/<provider>/<model_id>.{svg,png}, index catalog.json et base SQLite pelicans.sqlite (4 tables, 2 vues).
  5. Synchronisation incrémentale quotidienne : scripts/sync.py et .github/workflows/auto-sync.yml s'exécutent chaque jour à 09:00 UTC avec empreintes SHA-256 pour ne re-rendre que les ajouts ou mises à jour.

3. Alimenter la détection d'authenticité des modèles sur Folkbench

Comme détaillé dans [Comment noter un pélican à vélo ?](/fr/blog/how-to-score-a-cycling-pelican/) et [Lancement de la détection de dégradation Folkbench](/fr/blog/how-folkbench-detects-model-degradation/), la substitution discrète de modèles ou la réduction du budget de raisonnement échappent aux simples contrôles HTTP 200. Folkbench/pelican-database offre une ligne de base visuelle ouverte et vérifiable en complément des sondes dynamiques et références officielles de Folkbench Integrity Monitor[^folkbench-arena].

4. Démarrage rapide

git clone --depth 1 https://github.com/Folkbench/pelican-database.git
cd pelican-database
SELECT model_id, models_dev_id, svg_path, png_path, date
FROM models
WHERE tested_by_simon = 1 AND has_svg = 1
ORDER BY provider, model_id;

5. Licence et remerciements (Credits & Acknowledgements)

Nos sincères remerciements à Simon Willison[^simon-pelican-tag][^simon-pelican-repo], UncleK / Pelican Map[^unclek-pelicanmap], models.dev[^models-dev], ainsi qu'à Tihu, Pelican Zoo, Museum of Models, Pelicans.wtf, Pelican Benchmark et l'ensemble des contributeurs. Les scripts, le schéma et la documentation sont sous MIT License ; les sorties SVG/PNG archivées conservent les droits de leurs auteurs d'origine (voir NOTICE.md). Dépôt : github.com/Folkbench/pelican-database[^folkbench-pelican-db].