Когда рисунок пеликана на велосипеде перестаёт быть случайным скриншотом из соцсетей и превращается в стандартизированную, ежедневно обновляемую базу эталонов из 507 моделей, вирусный тест становится реальной инженерной инфраструктурой для проверки подлинности LLM.
Сегодня мы публикуем в открытом доступе Folkbench/pelican-database — одну из крупнейших и наиболее полных структурированных SVG/PNG-баз эталонов «пеликана на велосипеде» (Pelican Riding a Bicycle) в мире.
С октября 2024 года, когда Саймон Уиллисон запустил тест "Generate an SVG of a pelican riding a bicycle", сообщество проверило сотни закрытых и открытых моделей. Однако результаты были разбросаны по блогам, веткам X, GitHub Gists и галереям с несогласованными именами и зачастую без исходного SVG-кода.
Folkbench/pelican-database объединяет эти источники в чистый датасет, привязанный к каноническим идентификаторам models.dev и ежедневно обновляемый через GitHub Actions для поддержки системы проверки подлинности моделей Folkbench.
1. В цифрах: почему это одна из самых полных баз пеликанов
На момент первого публичного снимка (2026-11-22) в Folkbench/pelican-database входят:
| Параметр | Проверенное значение | Подробности |
|---|---|---|
| Объединено кандидатов | 3 875 | Слияние UncleK/pelicanmap + всех 161 публикаций, HTML-таблиц и прямых SVG Саймона Уиллисона |
| Уникальных канонических моделей | 507 | Дедупликация 799 исходных названий в формат provider/model_id |
| Провайдеров | 68 | Ведущие мировые лаборатории и семейства моделей с открытыми весами |
Оригинальные .svg | 454 (89,5%) | Валидированный исходный код SVG вместо сжатых скриншотов |
Стандартизированные .png | 507 (100%) | Единый рендер 1024px на белом фоне в headless-браузере (0 ошибок) |
Точное совпадение с models.dev | 378 (74,6%) | Включая 190 прямых провайдеров; 129 архивных моделей приведены к той же схеме |
| Протестировано Саймоном Уиллисоном | 177 | Отмечены tested_by_simon с приоритетным восстановлением исходного .svg |
| Временной охват | 2024-10-25 — 2026-11-21 | Более двух лет эволюции пространственного мышления и генерации SVG |

Рис. 1: Шесть оригинальных .svg напрямую из Folkbench/pelican-database. Верхний ряд (октябрь 2024): openai/gpt-4o, anthropic/claude-3-5-sonnet-20241022, google/gemini-1.5-pro-001. Нижний ряд (ноябрь 2026): openai/gpt-6.2-astra, anthropic/claude-fable-5-2, google/gemini-4-neon.
2. Пять инженерных решений
- Восстановление исходных SVG из нескольких источников: объединяем UncleK/pelicanmap[^unclek-pelicanmap] и 161 запись Саймона Уиллисона[^simon-pelican-tag], декодируем 180 встроенных base64-SVG из таблиц
static.simonwillison.netи применяем детерминированный отбор (реальный.svg> тест Саймона > классический промпт > стандартный/высокий effort). - Выравнивание по
models.devи атрибуция исходному разработчику: нормализация всех 799 псевдонимов поmodels.dev/api.json[^models-dev] по 68 провайдерам (OpenAI 72, Google 64, Alibaba/Qwen 63, Anthropic 30, Meta 21, Mistral 21, DeepSeek 19, Z.AI/GLM 19, xAI 16 и др.) с сохранением таблицыmodel_aliases. - Единый headless-рендеринг: кроссплатформенный рендерер Chromium/Edge CDP формирует 1024px PNG в изолированной песочнице
<img>с проверкой заголовков и размеров всех 507 файлов. - Удобные форматы поставки: структура
models/<provider>/<model_id>.{svg,png},catalog.jsonи реляционная базаpelicans.sqlite(4 таблицы и 2 представления). - Ежедневная инкрементальная синхронизация:
scripts/sync.pyи.github/workflows/auto-sync.ymlзапускаются каждый день в09:00 UTCи по SHA-256 перерисовывают только новые или обновлённые модели.
3. Основа проверки подлинности моделей в Folkbench
Как показано в статьях [Как оценивать пеликана на велосипеде?](/ru/blog/how-to-score-a-cycling-pelican/) и [Запуск детекции деградации Folkbench](/ru/blog/how-folkbench-detects-model-degradation/), скрытая подмена моделей или урезание бюджета рассуждений на API-релеях не видны по простому HTTP 200. Folkbench/pelican-database служит открытым проверяемым визуальным эталоном, дополняющим динамические зонды и официальные базовые ключи Folkbench Integrity Monitor[^folkbench-arena].
4. Быстрый старт
git clone --depth 1 https://github.com/Folkbench/pelican-database.git
cd pelican-databaseSELECT model_id, models_dev_id, svg_path, png_path, date
FROM models
WHERE tested_by_simon = 1 AND has_svg = 1
ORDER BY provider, model_id;5. Лицензия и благодарности (Credits & Acknowledgements)
Искренне благодарим Simon Willison[^simon-pelican-tag][^simon-pelican-repo], UncleK / Pelican Map[^unclek-pelicanmap], models.dev[^models-dev], а также Tihu, Pelican Zoo, Museum of Models, Pelicans.wtf, Pelican Benchmark и всех участников сообщества. Скрипты, схема и документация распространяются под MIT License; права на архивированные SVG/PNG и исходные метаданные сохраняются за их авторами (см. NOTICE.md). Репозиторий: github.com/Folkbench/pelican-database[^folkbench-pelican-db].



