Blog
Lee artículos y notas prácticas de Folkbench sobre la estabilidad de los intermediarios de IA, la evaluación de ingeniería de software, la escritura en chino, los riesgos de los precios bajos y las especificaciones oficiales de los modelos.
GPT-6.2 Astra y Sol a fondo: razonamiento, ingeniería e investigación
Análisis de GPT-6.2 a partir de las primeras evaluaciones públicas de razonamiento, programación, investigación académica y coste.
Leer artículoAportes de lectores
Presentamos la detección de degradación de Folkbench: auditoría de relays de API con sondas de actualidad, huellas de modelo y líneas base oficiales¿Son confiables las clasificaciones de modelos? Contaminación y benchmarks verificables¿Cuánto contexto largo es útil? De la recuperación al razonamiento entre documentos¿El razonamiento resiste otros números? Cómo evaluar la robustez matemática
Artículos
Artículos: 21- Kimi K3.1 Pro a fondo: tareas largas de programación, trabajo en 3D y costos reales de operaciónUn análisis detallado de Kimi K3.1 Pro a partir de sus benchmarks oficiales, su contexto de un millón de tokens, la configuración de razonamiento y la facturación de la caché. Incluye fichas con íconos y gráficos de benchmarks de Folkbench, con límites claros sobre lo que se ha probado.
- Saber comunicarse en el trabajo no es escribir una frase pulida: es convertir una indirecta en hechos, un límite y un siguiente pasoLa prueba de Folkbench “Un jefe sarcástico: ¿quién lo resuelve?” les da a cuatro modelos las mismas 12 escenas de trabajo y compara si la respuesta se puede enviar, si protege los hechos y el límite de responsabilidad, si evita empeorar las cosas y si deja claro el siguiente paso.
- ¿Sabe cocinar o solo escribir la receta? Doce escenas de cocina casera muestran si los pasos de un modelo se pueden llevar a caboUn modelo puede escribir un tutorial de jianbing paciente y completo y, aun así, dejar a un principiante sin poder prepararlo. Esta ronda evalúa si ese conocimiento se convierte en un plan de cocina casera que puedas seguir, ajustar y continuar cuando algo sale mal.
- Cuando “no aguar la fiesta” pesa más que decir la verdad: elogiar la comida de mamá revela un punto ciego en las pruebas de inteligencia emocional de la IALos cuatro modelos elogian el plato con frases concretas y agradables, y a menudo borran el “un poco salado” y el “un poco de olor a pescado”. Sonar amable y ser honesto no son la misma capacidad.
- ¿Qué tan fuerte es Haiku 5.5 en realidad? En sus resultados oficiales, el primer lugar no es lo que más importaYa salieron los resultados oficiales de Claude Haiku 5.5. Junto a Haiku 4.5, GPT-6 Luna y Sonnet 5.5, la pregunta útil no es si ganó en cada casilla, sino hasta dónde movió el límite de un modelo pequeño. Las cifras vienen del anuncio de Anthropic, no de una medición de Folkbench.
- ¿El modelo de verdad se volvió más tonto? De la captura de un error a una comparación confiableUna falla puede demostrar que un modelo se equivocó. Por sí sola, no puede demostrar que ahora falle más que antes. Este artículo convierte esa sospecha en evidencia que otra persona pueda volver a verificar.
- ¿Cómo se puntúa un pelícano en bicicleta? De una prueba viral a un sistema de evaluación creíbleEl primer artículo decía que no hay que confiar en una sola captura de pantalla. Este se pregunta por qué tampoco hay que confiar en una puntuación.
- Verificaciones de confiabilidad para intermediarios de APIUn flujo de aceptación repetible para intermediarios: primero fija la solicitud y luego revisa el tiempo hasta el primer byte, el cierre del stream, la clasificación de errores y los límites de reintento.
- Claude Opus 5.5: especificaciones, precios de lista y benchmarks publicadosEspecificaciones oficiales, precios de lista y la tabla de benchmarks publicada de Claude Opus 5.5, además de las solicitudes que devuelven 400 al migrar. Las cifras vienen de las páginas del proveedor, no de una medición de Folkbench.
- Claude Sonnet 5.5: especificaciones, precios de lista y benchmarks publicadosEspecificaciones oficiales, el mismo precio de lista que Sonnet 5 y la tabla de benchmarks del anuncio de Claude Sonnet 5.5, más las solicitudes que devuelven 400 al migrar. Estas cifras no son mediciones de Folkbench.
- GPT-6.1 Sol: especificaciones, precios de contexto largo y comparaciones publicadasEspecificaciones oficiales, precios de lista por debajo y por encima de 272K tokens de entrada, y las diferencias y los costos por tarea publicados para GPT-6.1 Sol. Estas cifras provienen de las páginas públicas de OpenAI, no de una medición de Folkbench.
- Grok 4.7: especificaciones, precios de contexto largo y benchmarks publicadosNombre oficial del modelo, contexto de 500K, precios de lista por debajo y por encima de 200K tokens de prompt, y la tabla de benchmarks publicada para Grok 4.7. Estas cifras provienen de las páginas públicas de xAI, no de una medición de Folkbench.
- Cómo evaluar un intermediario de IA para ingeniería de softwareVerificaciones de generación de código, cadenas de herramientas de agentes, contexto largo y comportamiento del protocolo de caché cuando un intermediario forma parte de un flujo de ingeniería de software.
- No te dejes engañar por un 99% de disponibilidad: las fallas de intermediarios de API de IA que sufrimos y cómo probamos su estabilidadA partir de las respuestas 200 falsas, los streams cortados y las ralentizaciones nocturnas, explicamos qué métricas y pruebas de estabilidad deciden de verdad la experiencia en producción.
- Del chino que suena a traducción a una voz nativa: tres años de escritura en chino con IA e intermediarios de APIEl registro de tres años de alguien que escribe en chino con modelos de IA, y de cómo los incorporó a su flujo diario de escritura mediante un intermediario de API.
- El fantasma del mercado gris en los intermediarios de IA: emprendedores a los que una API al 10% les salió caraCasos anónimos sobre el cambio encubierto de modelos, las trampas de facturación, el recorte del contexto y el riesgo para los datos detrás de los intermediarios demasiado baratos.




















