Quando um pelicano andando de bicicleta deixa de ser um print solto nas redes sociais e se torna uma base de referência padronizada, pesquisável e atualizada diariamente com 507 modelos, um teste viral vira infraestrutura real de engenharia para verificar a autenticidade de LLMs.

Hoje abrimos o código do Folkbench/pelican-database — um dos maiores e mais completos bancos de dados estruturados de SVG e PNG do benchmark "pelican riding a bicycle" do mundo.

Desde outubro de 2024, quando Simon Willison popularizou o prompt "Generate an SVG of a pelican riding a bicycle", centenas de modelos proprietários e open-weight foram testados, mas os resultados ficaram fragmentados em blogs, threads no X, Gists e galerias sem padronização de nomes nem código SVG original.

O Folkbench/pelican-database reúne, limpa e padroniza todo esse acervo com os identificadores oficiais do models.dev e sincronização diária automática via GitHub Actions, alimentando a detecção de autenticidade de modelos no Folkbench.

1. Em números: por que é uma das maiores bases de pelicanos do mundo

No snapshot público inicial (2026-11-22), o Folkbench/pelican-database inclui:

DimensãoNúmero verificadoDetalhes
Amostras candidatas agregadas3.875Fusão de UncleK/pelicanmap + os 161 posts, grades HTML estáticas e SVGs diretos de Simon Willison
Modelos canônicos únicos507Deduplicados a partir de 799 nomes brutos para provider/model_id
Provedores cobertos68Laboratórios de fronteira e famílias open-weight globais
Cobertura de .svg original454 (89,5%)Código-fonte SVG validado e analisável, não apenas capturas de tela
Renders .png padronizados507 (100%)Renderização uniforme em 1024px com fundo branco via navegador headless (0 ausentes)
Correspondência exata models.dev378 (74,6%)Incluindo 190 provedores nativos; os 129 modelos históricos seguem o mesmo padrão
Testados por Simon Willison177Sinalizados via tested_by_simon com upgrade automático para .svg original
Período coberto2024-10-25 a 2026-11-21Mais de dois anos de evolução em raciocínio espacial e geração SVG
Evolução real de SVG entre modelos base de 2024 e fronteira de 2026 no Folkbench Pelican Database para OpenAI, Anthropic e Google.

Figura 1: Seis arquivos .svg originais renderizados diretamente do Folkbench/pelican-database. Linha superior (outubro de 2024): openai/gpt-4o, anthropic/claude-3-5-sonnet-20241022 e google/gemini-1.5-pro-001. Linha inferior (novembro de 2026): openai/gpt-6.2-astra, anthropic/claude-fable-5-2 e google/gemini-4-neon.

2. Cinco pilares de engenharia

Figura 2: Arquitetura de coleta multifonte, alinhamento ao models.dev, renderização incremental SHA-256 e sincronização diária do Folkbench Pelican Database.
  1. Recuperação multifonte de SVGs reais: combinamos UncleK/pelicanmap[^unclek-pelicanmap] com os 161 artigos de Simon Willison[^simon-pelican-tag], decodificando 180 SVGs base64 embutidos em tabelas HTML de static.simonwillison.net e aplicando seleção determinística (.svg real > teste do Simon > prompt classic > esforço padrão/alto).
  2. Alinhamento ao models.dev e atribuição ao laboratório nativo: padronização de 799 apelidos com models.dev/api.json[^models-dev] em 68 provedores (OpenAI 72, Google 64, Alibaba/Qwen 63, Anthropic 30, Meta 21, Mistral 21, DeepSeek 19, Z.AI/GLM 19, xAI 16...) e tabela completa model_aliases.
  3. Renderização headless padronizada: pipeline multiplataforma Chromium/Edge CDP renderizando cada SVG em sandbox <img> isolado a 1024px com verificação de cabeçalho e resolução nos 507 PNGs.
  4. Entrega pronta em arquivos, JSON e SQLite: models/<provider>/<model_id>.{svg,png}, catalog.json e pelicans.sqlite (4 tabelas e 2 views).
  5. Sincronização diária incremental no GitHub Actions: scripts/sync.py e .github/workflows/auto-sync.yml rodam às 09:00 UTC usando hashes SHA-256 para re-renderizar apenas novidades ou atualizações.

3. Impulsionando a detecção de autenticidade no Folkbench

Como discutido em [Como dar nota a um pelicano de bicicleta?](/pt/blog/how-to-score-a-cycling-pelican/) e [Lançamento da detecção de degradação do Folkbench](/pt/blog/how-folkbench-detects-model-degradation/), trocas silenciosas por modelos menores ou redução do esforço de raciocínio passam despercebidas por checagens HTTP 200. O Folkbench/pelican-database oferece uma linha de base visual aberta e auditável integrada às sondas dinâmicas e linhas de base oficiais do Folkbench Integrity Monitor[^folkbench-arena].

4. Início rápido

git clone --depth 1 https://github.com/Folkbench/pelican-database.git
cd pelican-database
SELECT model_id, models_dev_id, svg_path, png_path, date
FROM models
WHERE tested_by_simon = 1 AND has_svg = 1
ORDER BY provider, model_id;

5. Licença e agradecimentos (Credits & Acknowledgements)

Nosso agradecimento a Simon Willison[^simon-pelican-tag][^simon-pelican-repo], UncleK / Pelican Map[^unclek-pelicanmap], models.dev[^models-dev], além de Tihu, Pelican Zoo, Museum of Models, Pelicans.wtf, Pelican Benchmark e toda a comunidade. Scripts, esquema e documentação usam MIT License; os arquivos SVG/PNG de terceiros mantêm os direitos dos autores originais (veja NOTICE.md). Repositório: github.com/Folkbench/pelican-database[^folkbench-pelican-db].