Когда рисунок пеликана на велосипеде перестаёт быть случайным скриншотом из соцсетей и превращается в стандартизированную, ежедневно обновляемую базу эталонов из 507 моделей, вирусный тест становится реальной инженерной инфраструктурой для проверки подлинности LLM.

Сегодня мы публикуем в открытом доступе Folkbench/pelican-database — одну из крупнейших и наиболее полных структурированных SVG/PNG-баз эталонов «пеликана на велосипеде» (Pelican Riding a Bicycle) в мире.

С октября 2024 года, когда Саймон Уиллисон запустил тест "Generate an SVG of a pelican riding a bicycle", сообщество проверило сотни закрытых и открытых моделей. Однако результаты были разбросаны по блогам, веткам X, GitHub Gists и галереям с несогласованными именами и зачастую без исходного SVG-кода.

Folkbench/pelican-database объединяет эти источники в чистый датасет, привязанный к каноническим идентификаторам models.dev и ежедневно обновляемый через GitHub Actions для поддержки системы проверки подлинности моделей Folkbench.

1. В цифрах: почему это одна из самых полных баз пеликанов

На момент первого публичного снимка (2026-11-22) в Folkbench/pelican-database входят:

ПараметрПроверенное значениеПодробности
Объединено кандидатов3 875Слияние UncleK/pelicanmap + всех 161 публикаций, HTML-таблиц и прямых SVG Саймона Уиллисона
Уникальных канонических моделей507Дедупликация 799 исходных названий в формат provider/model_id
Провайдеров68Ведущие мировые лаборатории и семейства моделей с открытыми весами
Оригинальные .svg454 (89,5%)Валидированный исходный код SVG вместо сжатых скриншотов
Стандартизированные .png507 (100%)Единый рендер 1024px на белом фоне в headless-браузере (0 ошибок)
Точное совпадение с models.dev378 (74,6%)Включая 190 прямых провайдеров; 129 архивных моделей приведены к той же схеме
Протестировано Саймоном Уиллисоном177Отмечены tested_by_simon с приоритетным восстановлением исходного .svg
Временной охват2024-10-25 — 2026-11-21Более двух лет эволюции пространственного мышления и генерации SVG
Эволюция оригинальных SVG от моделей 2024 года к флагманам 2026 года в Folkbench Pelican Database для OpenAI, Anthropic и Google.

Рис. 1: Шесть оригинальных .svg напрямую из Folkbench/pelican-database. Верхний ряд (октябрь 2024): openai/gpt-4o, anthropic/claude-3-5-sonnet-20241022, google/gemini-1.5-pro-001. Нижний ряд (ноябрь 2026): openai/gpt-6.2-astra, anthropic/claude-fable-5-2, google/gemini-4-neon.

2. Пять инженерных решений

Рис. 2: Архитектура многоисточникового сбора, выравнивания по models.dev, инкрементального SHA-256 рендеринга и ежедневной синхронизации Folkbench Pelican Database.
  1. Восстановление исходных SVG из нескольких источников: объединяем UncleK/pelicanmap[^unclek-pelicanmap] и 161 запись Саймона Уиллисона[^simon-pelican-tag], декодируем 180 встроенных base64-SVG из таблиц static.simonwillison.net и применяем детерминированный отбор (реальный .svg > тест Саймона > классический промпт > стандартный/высокий effort).
  2. Выравнивание по models.dev и атрибуция исходному разработчику: нормализация всех 799 псевдонимов по models.dev/api.json[^models-dev] по 68 провайдерам (OpenAI 72, Google 64, Alibaba/Qwen 63, Anthropic 30, Meta 21, Mistral 21, DeepSeek 19, Z.AI/GLM 19, xAI 16 и др.) с сохранением таблицы model_aliases.
  3. Единый headless-рендеринг: кроссплатформенный рендерер Chromium/Edge CDP формирует 1024px PNG в изолированной песочнице <img> с проверкой заголовков и размеров всех 507 файлов.
  4. Удобные форматы поставки: структура models/<provider>/<model_id>.{svg,png}, catalog.json и реляционная база pelicans.sqlite (4 таблицы и 2 представления).
  5. Ежедневная инкрементальная синхронизация: scripts/sync.py и .github/workflows/auto-sync.yml запускаются каждый день в 09:00 UTC и по SHA-256 перерисовывают только новые или обновлённые модели.

3. Основа проверки подлинности моделей в Folkbench

Как показано в статьях [Как оценивать пеликана на велосипеде?](/ru/blog/how-to-score-a-cycling-pelican/) и [Запуск детекции деградации Folkbench](/ru/blog/how-folkbench-detects-model-degradation/), скрытая подмена моделей или урезание бюджета рассуждений на API-релеях не видны по простому HTTP 200. Folkbench/pelican-database служит открытым проверяемым визуальным эталоном, дополняющим динамические зонды и официальные базовые ключи Folkbench Integrity Monitor[^folkbench-arena].

4. Быстрый старт

git clone --depth 1 https://github.com/Folkbench/pelican-database.git
cd pelican-database
SELECT model_id, models_dev_id, svg_path, png_path, date
FROM models
WHERE tested_by_simon = 1 AND has_svg = 1
ORDER BY provider, model_id;

5. Лицензия и благодарности (Credits & Acknowledgements)

Искренне благодарим Simon Willison[^simon-pelican-tag][^simon-pelican-repo], UncleK / Pelican Map[^unclek-pelicanmap], models.dev[^models-dev], а также Tihu, Pelican Zoo, Museum of Models, Pelicans.wtf, Pelican Benchmark и всех участников сообщества. Скрипты, схема и документация распространяются под MIT License; права на архивированные SVG/PNG и исходные метаданные сохраняются за их авторами (см. NOTICE.md). Репозиторий: github.com/Folkbench/pelican-database[^folkbench-pelican-db].