독자 @rain落在鱼儿下 님의 투고입니다. 글에 담긴 견해는 투고자 본인의 것입니다.
지금 불고 있는 LLM 창업 열풍 속에서, 동전 한 닢도 쪼개 쓰려는 창업 팀이라면 거의 누구나 “API 중계 서비스”라는 이름을 슬쩍 들어 봤을 것입니다. Telegram 단체방에는 “공식가의 10%”, “1,000 충전 시 1,000 추가 증정”, “고동시성, 계정 차단 제로” 같은 글이 매일 올라와 사람 마음을 간질입니다.
하지만 세상에 하늘에서 떨어지는 떡이 어디 있겠습니까? LLM 생태계 밑바닥을 흐르는 회색 사슬 속에서, 적지 않은 팀이 단숨에 앞서 나갈 지렛대를 찾았다고 믿습니다. 그러나 발을 들여놓고 보면 곳곳이 공들여 파 놓은 깊은 함정입니다.
1. 화창한 오후, 그리고 몰래 바꿔치기하는 “도둑”
선전 난산의 한 메이커 스페이스 창가, 그날 오후는 햇살이 눈부셨습니다. 장츠(가명)는 아이스 아메리카노를 손에 든 채 화면을 바라보며 앞으로의 큰 그림을 그리고 있었습니다. 다가오는 화난 지역 메이커 대회에서 우승하면 현금 지원금 50만 위안에 더해 단지 내 면세 혜택을 꼬박 3년 동안 받을 수 있었습니다. 다섯 명짜리 작은 팀이 가장 힘든 프로토타입 단계를 버티기에 충분한 돈이었습니다.
제품 시연 때 응답은 더 빠르게, 비용은 더 낮게 하려고 장츠는 업계에서 입소문이 자자하던 중계 서비스를 붙이기로 했습니다. 그들이 개발하던 제품은 기업 데이터 분석가를 위한 AI 데이터 탐색 협업 워크벤치(AI Data Workbench)였습니다. 멀티모달 데이터 이해와 복잡한 비즈니스 로직에 대한 적응형 Reasoning을 내세운, 로직이 꽤 탄탄한 제품으로 대회에서 화려하게 데뷔할 날만 기다리고 있었습니다.
“처음엔 정말 쓸 만했어요. 대회 직전에 워크벤치에서 부서 간 비즈니스 대시보드와 원인 분석 보고서를 완전 자동으로 만들어 보려고 하기 전까지는요.” 장츠는 쓴웃음을 지었습니다. 시스템이 아무런 징후 없이 치명적인 형식 파싱 오류를 뱉어 냈습니다. 그 뒤 꼬박 사흘 동안 팀의 핵심 백엔드 개발자 두 명이 눈이 시뻘게지도록 밤을 새우며 Prompt를 점검하고, 메모리 누수를 확인하고, 데이터 구조를 몇 번이고 다시 짰습니다. 인건비로 날린 돈만 1만 위안이 넘었습니다.
사흘째 깊은 밤, 더는 참을 수 없었던 장츠는 중계 서비스 콘솔을 건너뛰고 패킷 캡처 도구를 붙여 HTTP 응답 헤더를 바이트 단위로 비교했습니다.
데이터를 풀어 본 순간, 사무실에는 컴퓨터 팬 소리만 웅웅 울렸습니다. 반환되는 Token의 생성 속도도, 스트리밍 전송의 지터 특성도 하나같이 다른 저비용 오픈 모델을 가리키고 있었습니다. “기가 막히네!” 장츠가 책상을 내리쳤습니다. 중계 서비스 백엔드에는 교활한 라우팅이 걸려 있었습니다. 입력 Prompt가 조금만 길어지면 아무 티도 내지 않고 값싼 모델로 돌려 바꿔치기하는 방식이었습니다. 밥값을 아껴 가며 모은 연산 비용은 고스란히 계정 브로커가 파 놓은 “다운그레이드 함정”에 수업료로 바친 셈이 되었습니다.
2. 청구서 위의 금융 마술
모델 바꿔치기가 등 뒤에서 날아오는 화살이라면, 과금 배율은 대놓고 튕기는 주판알 사기입니다.
베테랑 아키텍트 저우 형(업계에서는 다들 그를 이렇게 부릅니다)은 이 수법 이야기만 나오면 고개를 절레절레 젓습니다. “요즘 계정 브로커는 예전처럼 계정만 팔던 사람들이 아니에요. 다들 영리해서 금융 파생상품 계리 기법을 통째로 가져왔어요.”
선전에서 멀지 않은 남부의 한 2선 도시에서는 독립 개발자 린펑(가명)이 제대로 크게 당했습니다. 그는 풀 파이프라인 AI 마케팅 콘텐츠 제작 워크벤치를 운영하는데, 매달 API 비용이 수백 달러씩 나가 속이 쓰릴 정도였습니다. 한 중계 서비스가 “1,000 충전 시 1,000 추가 증정” 이벤트를 하는 것을 보고는 순간 혹해서 그 자리에서 2,000위안을 이체했습니다.
그런데 겨우 닷새 만에 백엔드에서 경고가 울렸습니다. 잔액이 바닥난 것입니다. 어리둥절해진 린펑은 지난 120시간의 호출 로그를 꺼내 한 줄씩 다시 계산했고, 그제야 속임수를 발견했습니다.
- 몰래 바꾼 배율:
Claude 5 Fable같은 상위 모델의 차감 배율이 몰래 2.8배로 바뀌어 있었습니다. - 부풀린 Token: 토크나이저(Tokenizer)를 수정해, 원래 100 Token인 중국어 단락을 150조각으로 쪼개 과금했습니다.
겉으로는 50% 할인이었지만, 실제 호출 1회당 비용은 공식 API를 직접 쓸 때보다 30% 가까이 더 비쌌습니다. “싸게 샀다고 생각하겠지만, 저쪽에서 백엔드 키보드 몇 번 두드리면 돈이 소리 없이 빠져나가요.” 저우 형의 평가입니다.
3. 끊어진 기억, 그리고 월요일 오전 9시 1분의 참사
실제 프로덕션 환경에 들어가면 이런 “저가”가 가져오는 파괴력은 기하급수적으로 커집니다.
반년 뒤 선전 창업 대회 결선 현장, 무대 한가운데에 조명이 쏟아졌습니다. 또 다른 스타트업 팀이 멀티 에이전트 연구 개발 자동화 워크벤치(Multi-Agent Workspace)를 시연하고 있었습니다. 앞선 세 라운드의 복잡한 요구 사항 분해는 완벽에 가까웠습니다. 그런데 여섯 번째 라운드에서 아키텍처 설계를 깊이 파고드는 질문이 나오자, Agent가 지극히 기계적인 답을 내놓았습니다. “죄송합니다. 업로드하신 문서에는 해당 데이터가 포함되어 있지 않은 것 같습니다.”
객석이 술렁였고 심사위원들은 눈살을 찌푸렸습니다. 밤새 패킷을 캡처한 끝에 팀은 원인을 알아냈습니다.
- 컨텍스트 강제 절단: 중계 서비스는 게이트웨이 대역폭을 아끼려고 “슬라이딩 윈도”를 강제로 걸어 두었습니다. 컨텍스트가 16k Token을 넘기만 하면 가장 앞부분을 사정없이 잘라 냈고, Agent는 그대로 “기억상실증 환자”가 되었습니다.
- 캐시 할인 가로채기: 중계 서비스는 백엔드에서 Prompt Caching을 켜 공식 캐시 할인(최대 50%~90%)을 챙기면서도, 개발자에게는 여전히 전액을 과금해 양쪽에서 돈을 벌었습니다.
거의 같은 시각, 앞서 말한 남부 2선 도시의 또 다른 기업용 AI 영업 Copilot 프로세스 자동화 엔진도 월요일 아침 출근 시간인 9시 1분에 “429 대참사”를 맞았습니다.
그 중계 서비스에는 정식 Key가 아예 없었습니다. 전부 역공학으로 웹 버전을 뚫어 쓰는, 도용 카드로 만든 계정 풀이었습니다. 그날 아침 OpenAI가 차세대 크롤링 방지 리스크 관리를 배포하자 계정 풀은 순식간에 전멸했습니다. 그 기업의 영업 프로세스 시스템은 꼬박 두 시간 동안 마비되었고, 영업 사원 수십 명이 오류 페이지만 멍하니 바라봤습니다. 잠재적인 사업 손실은 가늠조차 할 수 없었습니다.
4. 데이터가 다크웹으로 흘러갈 때
“비용 절감”을 둘러싼 이 위험한 게임의 결말은 흔히 블랙 코미디 같은 비극의 색채를 띱니다.
공식 리스크 관리가 점점 조여 오자 여러 중계 서비스가 계정 공급이 끊겨 적자를 보기 시작했습니다. 한 운영자는 Telegram 단체방에 “리스크 관리가 너무 빡세네요. 다들 안녕히” 한마디를 가볍게 남기고는 전원을 뽑고 DB를 지운 뒤 잠적, 이른바 먹튀를 했습니다. 사람들 계정에 남아 있던 잔액은 한순간에 증발했습니다.
하지만 이것이 가장 절망적인 일은 아니었습니다.
2주 뒤, 다크웹 포럼에 50GB에 달하는 데이터베이스 압축 파일이 조용히 올라왔습니다. 많은 오픈소스 중계 패널이 보안 장치 하나 없는 값싼 VPS에 그대로 배포되어 있었고, 운영자가 잠적하자마자 해커에게 취약점을 스캔당해 DB를 통째로 털린 것입니다. 비용을 아끼려고 전송했던 기업 내부 코드, 비즈니스 로직 Prompt, 멀티 에이전트 플로 설정, 심지어 제대로 비식별 처리되지 않은 업무 데이터까지 그렇게 다크웹 한구석에 고스란히 드러났습니다.
저우 형은 한 기술 세미나에서 공식 하나로 정리한 적이 있습니다.
LLM API의 실제 비용 = 장부상 Token 비용 + 다운그레이드로 인한 재시도 비용 + 운영 장애 대응 시간 + 데이터 유출 위험.
세상에 정말 공짜 점심은 없습니다. 시장 최저선보다 한참 낮은 “저가”는 본질적으로 눈에 보이는 청구서를 개발 팀이 미리 가늠할 수 없는 운영 악몽과 보안 시한폭탄으로 바꿔 놓을 뿐입니다. 정말로 오래가는 창업을 하려는 사람에게 그레이 마켓 중계 서비스를 멀리하는 일은 몇 푼 아끼려는 것이 결코 아닙니다. 미래로 가는 길에서 자기 손으로 패를 남에게 넘겨주지 않기 위해서입니다.
