Блог
Статьи и практические заметки Folkbench о стабильности API-прокси, тестировании в разработке ПО, текстах на китайском языке, рисках низких цен и официальных характеристиках моделей.
Kimi K3.1 Pro в деталях: длинные задачи по программированию, работа с 3D и реальная стоимость эксплуатации
Подробный разбор Kimi K3.1 Pro по официальным бенчмаркам, контексту в 1 млн токенов, настройкам рассуждений и тарификации кэша. С карточками Folkbench и графиками бенчмарков, а также с чёткими границами того, что было проверено.
Читать статью
Материалы читателей
Умение ИИ общаться на работе проверяется не красивыми фразами, а тем, сумеет ли он перевести язвительный намёк в факты, границы и следующий шагГотовит или только пишет рецепт? Двенадцать сценариев на домашней кухне показывают, выполнимы ли шаги моделиКогда «не портить настроение» важнее правды: похвала маминой стряпне выявила слепое пятно в тестах ИИ на эмоциональный интеллектНасколько сильна Haiku 5.5 на самом деле? В официальных результатах главное — не первые места
Статьи
Материалов: 16- Модель правда отупела? От одного неудачного скриншота к надёжному сравнениюОдна неудача доказывает, что модель ошиблась. Сама по себе она не доказывает, что модель стала ошибаться чаще, чем раньше. Эта статья о том, как превратить такое подозрение в доказательства, которые сможет перепроверить кто-то другой.
- Как оценить пеликана на велосипеде? От вирусного теста к системе оценки, которой можно доверятьВ первой статье речь шла о том, что не стоит верить одному скриншоту. Здесь мы спрашиваем дальше: почему нельзя слепо верить даже баллу?
- Проверка надёжности API-проксиВоспроизводимая процедура приёмки прокси: сначала зафиксировать запрос, затем проверить время до первого байта, завершение потока, классы ошибок и границы повторных попыток.
- Характеристики, официальные цены и опубликованные бенчмарки Claude Opus 5.5Официальные характеристики, цены и опубликованная таблица бенчмарков Claude Opus 5.5, а также запросы, которые при миграции возвращают 400. Эти цифры взяты со страниц разработчика, а не из измерений Folkbench.
- Claude Sonnet 5.5: характеристики, официальные цены и опубликованные бенчмаркиОфициальные характеристики Claude Sonnet 5.5, цены на уровне Sonnet 5 и таблица бенчмарков со страницы анонса, а также запросы, которые при миграции возвращают 400. Эти цифры — не измерения Folkbench.
- GPT-6.1 Sol: характеристики, цены для длинного контекста и опубликованные сравненияОфициальные характеристики GPT-6.1 Sol, цены для ввода до 272 тыс. токенов и свыше, а также разницы в результатах и стоимость одной задачи из анонса. Эти цифры взяты с публичных страниц OpenAI и не являются измерениями Folkbench.
- Grok 4.7: характеристики, цены для длинного контекста и опубликованные бенчмаркиОфициальное имя модели, контекст 500 тыс. токенов, цены для промптов до 200 тыс. токенов и свыше, а также таблица бенчмарков из анонса Grok 4.7. Эти цифры взяты с публичных страниц xAI и не являются измерениями Folkbench.
- Как тестировать ИИ-прокси для разработки ПОПроверки генерации кода, цепочек инструментов агентов, длинного контекста и протокола кэширования для случаев, когда прокси встроен в процесс разработки ПО.
- Не верьте обещанным 99% доступности: на каких сбоях API-прокси мы обожглись и как теперь тестируем стабильностьОтталкиваясь от ложных ответов 200, обрывов потока и ночных зависаний, объясняем, какие метрики стабильности и тесты на самом деле определяют работу в продакшене.
- От «переводного языка» к родному по духу: три года письма на китайском с ИИ и API-проксиЗаписи автора, пишущего на китайском, о трёх годах работы с моделями и о том, как эти модели встроились в ежедневную работу над текстами через API-прокси.
- «Серый призрак» API-прокси: основатели стартапов, которых погубил API за 10% от ценыАнонимные истории о подмене моделей, ловушках тарификации, обрезке контекста и рисках для данных за слишком дешёвыми прокси.
