성능 저하 모니터링 v0.1

프로브 문항은 “지식 컷오프가 언제인가”, “알고 있는 최신 iPhone은 무엇인가” 같은 질문입니다. 모델마다 답이 다르고, 같은 모델은 일관되게 답합니다. 일치율이 다른 중계 서비스보다 크게 낮거나, 입력 토큰 수가 다른 곳과 맞지 않거나, 모델 핑거프린트가 해당 모델과 다르다면 자세히 살펴볼 필요가 있습니다. 개별 수치는 변동이 있으며, 응답 수가 많을수록 신뢰도가 높아집니다.

같은 입력을 같은 모델에 보내면 토큰 수는 항상 정확히 같아야 합니다. 토큰 수가 다른 중계 서비스와 다르다면 대개 다른 모델로 바뀌었거나 요청에 추가 내용이 덧붙었다는 뜻입니다.

성능 저하 모니터링은 아직 연동 중이며, 첫 측정 결과가 나오면 이곳에 표시됩니다. 표의 가용성, 첫 토큰 지연 시간, 세션 비용은 라이브 실측 데이터입니다.

종합 순위는 가용성, 속도, 가격을 봅니다. 성능 저하 모니터링은 각 중계 서비스가 실제로 해당 모델을 제공하는지를 보여 줍니다. 현재는 순위에 영향을 주지 않습니다.