Материал прислал читатель @rain落在鱼儿下. Здесь изложено личное мнение автора.
В нынешней волне стартапов на больших моделях почти каждая команда, которая пытается растянуть каждую копейку, слышала про «API-прокси». В Telegram-чатах целыми днями висят объявления: «10% от официальной цены», «пополните на 1000 — получите ещё 1000», «любая параллельность, никакого антифрода».
Но бесплатный сыр бывает только в мышеловке. В серой цепочке, скрытой под экосистемой больших моделей, команды думают, что нашли короткий путь, а попадают в заранее вырытую яму.
1. Солнечный день и тихая подмена
В одном из мейкерспейсов шэньчжэньского района Наньшань день выдался солнечным. Чжан Чи (имя изменено) держал в руке стакан айс-американо и строил планы. Победа на конкурсе мейкеров Южного Китая означала денежную субсидию в 500 тысяч и три года налоговых льгот в технопарке. Этого, думал он, хватило бы команде из пяти человек, чтобы пережить стадию прототипа.
Чтобы демо работало быстрее и дешевле, он подключил прокси, о котором тогда говорили все в тусовке. Продукт — рабочая среда для исследования данных с ИИ, рассчитанная на корпоративных аналитиков, — строился вокруг мультимодального понимания и адаптивных рассуждений над сложной бизнес-логикой. На конкурсе он должен был блеснуть.
«Поначалу всё было отлично — пока перед самым конкурсом мы не попробовали автоматически генерировать дашборды для разных отделов и отчёты по атрибуции». Система без всякого предупреждения выдала фатальную ошибку разбора формата. Три полных дня двое ключевых бэкенд-разработчиков перебирали промпты, искали утечки памяти и переписывали структуры данных. Одни только трудозатраты обошлись больше чем в десять тысяч юаней.
На третью ночь Чжан Чи обошёл консоль прокси, подключил сниффер и побайтово сравнил заголовки HTTP-ответов.
В офисе повисла тишина, которую нарушал лишь гул вентиляторов. Скорость генерации токенов и характер дрожания потока указывали на другую, более дешёвую открытую модель. Маршрутизатор прокси был устроен просто и нагло: как только промпт становился чуть длиннее, запрос молча перенаправлялся на дешёвую модель. Вычислительные мощности, на которые команда экономила буквально на еде, ушли на оплату урока — в «ловушку даунгрейда» перекупщика аккаунтов.
2. Финансовые фокусы в счёте
Если подмена модели — стрела из засады, то коэффициент списания — обсчёт средь бела дня.
Опытный архитектор, которого все в индустрии зовут Чжоу-гэ, лишь качает головой, когда речь заходит об этой схеме. Сегодняшние перекупщики — уже не те люди, что когда-то просто продавали аккаунты. Они перенесли сюда всю арифметику финансовых деривативов.
В городе второго эшелона недалеко от Шэньчжэня на эту стену налетел независимый разработчик Линь Фэн (имя изменено). Он ведёт сквозную ИИ-платформу для создания маркетингового контента. Ежемесячные расходы на API составляли несколько сотен долларов, и это было больно. Один прокси рекламировал акцию «пополните на 1000 — получите ещё 1000». Он тут же перевёл 2000 юаней.
Через пять дней баланс обнулился. Он пересчитал журналы вызовов за 120 часов:
- Скрытый коэффициент. Коэффициент списания для старших моделей вроде
Claude 5 Fableвтихую подняли до 2,8×. - Раздутые токены. Токенизатор изменили так, что китайский текст на 100 токенов тарифицировался как 150 фрагментов.
На ценнике значилась скидка 50%. А один вызов обходился почти на 30% дороже, чем через официальный API. Как говорит Чжоу-гэ, вы думаете, что урвали выгодную сделку, а пара нажатий клавиш на той стороне — и баланс пуст.
3. Потерянная память и понедельник, 9:01
В продакшене ущерб от такой «низкой цены» нарастает как снежный ком.
Через полгода, в финале шэньчжэньского конкурса стартапов, другая команда показывала многоагентную среду для автоматизации разработки. Первые три раунда декомпозиции требований прошли чисто. На шестом раунде, в ответ на глубокий вопрос об архитектуре, агент механически ответил, что в загруженном документе, похоже, нет таких данных.
По залу прошёл ропот. Члены жюри нахмурились. Ночь анализа сетевого трафика выявила две причины:
- Принудительная обрезка контекста. Чтобы сэкономить пропускную способность шлюза, прокси использовал скользящее окно. Сверх 16 тыс. токенов он отрезал самый ранний контекст, и агент терял память.
- Присвоенная экономия на кэше. Прокси включал кэширование промптов и забирал себе официальную скидку за кэш — здесь её оценивают в 50–90%, — но продолжал списывать с разработчика полную сумму.
Почти в тот же час корпоративный ИИ-движок автоматизации продаж из того же города второго эшелона пережил «катастрофу 429» в понедельник в 9:01 утра.
У прокси не было официальных ключей. Пул состоял из учётных данных веб-сессий, добытых обратной разработкой. В то утро OpenAI развернула новое поколение антибот-защиты, и пул умер в одно мгновение. Система продаж лежала два полных часа. Десятки менеджеров по продажам смотрели на страницу с ошибкой. Коммерческие потери невозможно было оценить.
4. Когда данные попадают на форум в даркнете
Финал игры в «экономию» часто оказывается мрачной шуткой.
Когда официальная защита стала жёстче, несколько прокси лишились источника аккаунтов и начали работать в убыток. Один из владельцев оставил в Telegram-чате фразу «антифрод слишком жёсткий, всем пока», выдернул вилку из розетки и удалил базу данных. Неизрасходованные балансы исчезли.
Через две недели на форуме в даркнете выставили архив базы данных объёмом 50 ГБ. Многие панели прокси с открытым исходным кодом были развёрнуты на дешёвых VPS без какой-либо настоящей защиты. После бегства владельцев эти серверы просканировали, а базы данных выкачали. Внутренний код, коммерческие промпты, конфигурации многоагентных процессов и бизнес-данные, которые так и не прошли глубокого обезличивания, оказались в открытом доступе.
На одном техническом митапе Чжоу-гэ вывел формулу:
Реальная стоимость API модели = заявленная плата за токены + стоимость повторов после даунгрейда + время на тушение пожаров + риск утечки данных.
Бесплатных обедов по-прежнему не бывает. Цена намного ниже рыночного минимума превращает видимый счёт в эксплуатационный кошмар и бомбу замедленного действия для безопасности, масштаб которых команда не может оценить заранее. Для тех, кто хочет строить компанию надолго, держаться подальше от серых прокси — это не про экономию пары монет. Это про то, чтобы не отдать собственноручно свои козыри в чужие руки.
