Quando um pelicano andando de bicicleta deixa de ser um print solto nas redes sociais e se torna uma base de referência padronizada, pesquisável e atualizada diariamente com 507 modelos, um teste viral vira infraestrutura real de engenharia para verificar a autenticidade de LLMs.
Hoje abrimos o código do Folkbench/pelican-database — um dos maiores e mais completos bancos de dados estruturados de SVG e PNG do benchmark "pelican riding a bicycle" do mundo.
Desde outubro de 2024, quando Simon Willison popularizou o prompt "Generate an SVG of a pelican riding a bicycle", centenas de modelos proprietários e open-weight foram testados, mas os resultados ficaram fragmentados em blogs, threads no X, Gists e galerias sem padronização de nomes nem código SVG original.
O Folkbench/pelican-database reúne, limpa e padroniza todo esse acervo com os identificadores oficiais do models.dev e sincronização diária automática via GitHub Actions, alimentando a detecção de autenticidade de modelos no Folkbench.
1. Em números: por que é uma das maiores bases de pelicanos do mundo
No snapshot público inicial (2026-11-22), o Folkbench/pelican-database inclui:
| Dimensão | Número verificado | Detalhes |
|---|---|---|
| Amostras candidatas agregadas | 3.875 | Fusão de UncleK/pelicanmap + os 161 posts, grades HTML estáticas e SVGs diretos de Simon Willison |
| Modelos canônicos únicos | 507 | Deduplicados a partir de 799 nomes brutos para provider/model_id |
| Provedores cobertos | 68 | Laboratórios de fronteira e famílias open-weight globais |
Cobertura de .svg original | 454 (89,5%) | Código-fonte SVG validado e analisável, não apenas capturas de tela |
Renders .png padronizados | 507 (100%) | Renderização uniforme em 1024px com fundo branco via navegador headless (0 ausentes) |
Correspondência exata models.dev | 378 (74,6%) | Incluindo 190 provedores nativos; os 129 modelos históricos seguem o mesmo padrão |
| Testados por Simon Willison | 177 | Sinalizados via tested_by_simon com upgrade automático para .svg original |
| Período coberto | 2024-10-25 a 2026-11-21 | Mais de dois anos de evolução em raciocínio espacial e geração SVG |

Figura 1: Seis arquivos .svg originais renderizados diretamente do Folkbench/pelican-database. Linha superior (outubro de 2024): openai/gpt-4o, anthropic/claude-3-5-sonnet-20241022 e google/gemini-1.5-pro-001. Linha inferior (novembro de 2026): openai/gpt-6.2-astra, anthropic/claude-fable-5-2 e google/gemini-4-neon.
2. Cinco pilares de engenharia
- Recuperação multifonte de SVGs reais: combinamos UncleK/pelicanmap[^unclek-pelicanmap] com os 161 artigos de Simon Willison[^simon-pelican-tag], decodificando 180 SVGs base64 embutidos em tabelas HTML de
static.simonwillison.nete aplicando seleção determinística (.svgreal > teste do Simon > prompt classic > esforço padrão/alto). - Alinhamento ao
models.deve atribuição ao laboratório nativo: padronização de 799 apelidos commodels.dev/api.json[^models-dev] em 68 provedores (OpenAI 72, Google 64, Alibaba/Qwen 63, Anthropic 30, Meta 21, Mistral 21, DeepSeek 19, Z.AI/GLM 19, xAI 16...) e tabela completamodel_aliases. - Renderização headless padronizada: pipeline multiplataforma Chromium/Edge CDP renderizando cada SVG em sandbox
<img>isolado a 1024px com verificação de cabeçalho e resolução nos 507 PNGs. - Entrega pronta em arquivos, JSON e SQLite:
models/<provider>/<model_id>.{svg,png},catalog.jsonepelicans.sqlite(4 tabelas e 2 views). - Sincronização diária incremental no GitHub Actions:
scripts/sync.pye.github/workflows/auto-sync.ymlrodam às09:00 UTCusando hashes SHA-256 para re-renderizar apenas novidades ou atualizações.
3. Impulsionando a detecção de autenticidade no Folkbench
Como discutido em [Como dar nota a um pelicano de bicicleta?](/pt/blog/how-to-score-a-cycling-pelican/) e [Lançamento da detecção de degradação do Folkbench](/pt/blog/how-folkbench-detects-model-degradation/), trocas silenciosas por modelos menores ou redução do esforço de raciocínio passam despercebidas por checagens HTTP 200. O Folkbench/pelican-database oferece uma linha de base visual aberta e auditável integrada às sondas dinâmicas e linhas de base oficiais do Folkbench Integrity Monitor[^folkbench-arena].
4. Início rápido
git clone --depth 1 https://github.com/Folkbench/pelican-database.git
cd pelican-databaseSELECT model_id, models_dev_id, svg_path, png_path, date
FROM models
WHERE tested_by_simon = 1 AND has_svg = 1
ORDER BY provider, model_id;5. Licença e agradecimentos (Credits & Acknowledgements)
Nosso agradecimento a Simon Willison[^simon-pelican-tag][^simon-pelican-repo], UncleK / Pelican Map[^unclek-pelicanmap], models.dev[^models-dev], além de Tihu, Pelican Zoo, Museum of Models, Pelicans.wtf, Pelican Benchmark e toda a comunidade. Scripts, esquema e documentação usam MIT License; os arquivos SVG/PNG de terceiros mantêm os direitos dos autores originais (veja NOTICE.md). Repositório: github.com/Folkbench/pelican-database[^folkbench-pelican-db].



