벤치마크 1등 모델이 청구서도 1등일까요 | AI 도입 비용
새로 나온 모델이 입력 100만 토큰당 2달러, 출력 6달러예요. 표시 단가만 보면 저렴한데 실제 청구서는 다르게 찍혀요. 추론 토큰과 에이전트 루프가 비용을 어디서 부풀리는지, 자체 SaaS 4종을 운영해온 개발사 관점으로 정리했어요.
📰 2026년 8월 8일 기준 최신 소식 | 이 글은 특정 시점의 뉴스를 다루고 있어요.
새 모델이 나올 때마다 벤치마크 순위표가 먼저 돌아요. 그런데 그 순위를 보고 도입을 결정한 회사들이 두세 달 뒤에 비슷한 이야기를 해요. “성능은 괜찮은데 생각보다 많이 나와요.”
최근 공개된 대형 모델 하나가 이 간극을 잘 보여줘요. 입력 100만 토큰당 2달러, 출력 100만 토큰당 6달러. 표시 단가만 보면 부담이 적은 편이에요. 그런데 이 모델을 실제 업무에 붙여본 쪽에서는 예상보다 크레딧이 빨리 줄었다는 이야기가 나와요.
숫자가 틀린 게 아니에요. 우리가 보는 숫자와 청구서를 만드는 숫자가 다른 거예요.
1. 벤치마크 1등이 왜 청구서 1등이 아닐까요
벤치마크는 “이 문제를 맞혔는가”를 재요. 청구서는 “그 답을 내는 데 몇 글자를 썼는가”를 재고요. 두 질문은 서로 다른 걸 묻고 있어요.
같은 문제를 풀어도 어떤 모델은 짧게 답하고 어떤 모델은 길게 답해요. 정답률이 같아도 뒤쪽이 비용은 더 나와요. 그래서 순위표에서 한 칸 위에 있다는 사실만으로는 그 모델이 우리에게 싸다고 말할 수 없어요.
한 해외 매체는 이 지점을 두고 원시 벤치마크 점수가 청구서를 예측하지 못한다고 짚었어요. 모델을 고르는 기준이 점수에서 “작업 하나를 끝내는 데 드는 값”으로 옮겨가고 있다는 이야기예요.
2. 표시 단가는 어디까지만 말해주나요
표시 단가는 글자 한 묶음당 얼마인지만 알려줘요. 우리가 정말 알아야 하는 건 그 묶음을 몇 번 쓰게 되는지고요.
앞서 말한 모델의 경우 입력이 100만 토큰당 2달러, 출력이 6달러예요. 한 번 물어본 걸 다시 물어볼 때 쓰는 캐시 입력은 0.25달러로 훨씬 싸고요. 여기까지는 명확해요.
문제는 이 표에 안 적힌 항목이에요.
- 모델이 답을 내기 전에 혼자 생각하며 쓰는 글자
- 도구 호출이 실패해서 다시 시도할 때 드는 값
- 대화가 길어지면 앞부분을 통째로 다시 보내는 구조
이 세 가지는 요금표에 항목으로 안 나와요. 그런데 청구서에는 나와요.
용어 정리 — 토큰 AI가 글을 처리하는 최소 단위예요. 한글은 대략 한 글자가 한 토큰 안팎이라고 보면 얼추 맞아요. 요금은 대부분 “받은 글자 수 + 내보낸 글자 수”로 계산돼요. 실무에선 “토큰 많이 먹는다”는 말을 “비용 많이 나온다”와 같은 뜻으로 써요.
3. 진짜 비용은 ‘추론 토큰’에서 갈려요
요즘 모델은 답하기 전에 혼자 생각하는 구간을 둬요. 문제를 쪼개보고, 틀린 길을 지웠다가, 다시 잡는 과정이에요. 답 품질은 이 구간 덕에 좋아져요.
그런데 이 생각도 글자예요. 그리고 대부분 출력으로 과금돼요. 출력은 입력보다 서너 배 비싸고요.
앞서 언급한 모델은 이 생각 강도가 기본값부터 높게 잡혀 있다고 알려졌어요. 쓰는 사람이 따로 설정을 만지지 않으면 계속 길게 생각한다는 뜻이에요. 짧게 답해도 되는 단순 분류 작업에도 같은 방식이 돌아가면 비용이 조용히 쌓여요.
우리가 자체 서비스를 운영하면서 확인한 것도 비슷했어요. 요금을 줄인 건 더 싼 모델로 갈아탄 게 아니라, 어떤 요청에 얼마나 생각하게 할지를 나눈 것이었어요.
4. 에이전트로 돌리면 비용이 왜 몇 배로 뛸까요
사람이 한 번 물어보고 답을 받는 구조라면 계산이 단순해요. 질문 한 번, 답 한 번이니까요.
에이전트는 달라요. 하나의 일을 맡기면 스스로 여러 번 돌아요. 자료를 찾고, 결과를 보고, 부족하면 다시 찾고, 정리해서 내놓는 식이에요. 그 사이 오간 글자가 전부 과금 대상이 돼요.
비용을 부풀리는 지점은 대개 이래요.
| 지점 | 무슨 일이 벌어지나요 |
|---|---|
| 반복 횟수 | 한 작업에 열 번을 돌면 열 번치가 청구돼요 |
| 숨은 생각 | 매 회차마다 추론 글자가 새로 쌓여요 |
| 이력 재전송 | 도구에 따라 지난 대화를 통째로 다시 보내요 |
| 실패한 호출 | 잘못 부른 것도 시도한 만큼은 계산돼요 |
| 상위 모델 폴백 | 어려운 건이 비싼 모델로 넘어가요 |
그래서 에이전트 도입을 검토할 때는 모델 단가보다 “이 일이 평균 몇 번 도는가”를 먼저 재는 게 맞아요. 같은 모델이라도 이 숫자가 세 배면 비용도 세 배예요.
5. 프리뷰 할인은 예산이 아니에요
새 모델은 초반에 낮은 가격으로 열려요. 써보라는 뜻이에요.
여기서 자주 벌어지는 일이 있어요. 프리뷰 기간에 측정한 비용으로 연간 예산을 짜는 거예요. 그리고 몇 달 뒤 정가로 돌아오면 계획이 어긋나요.
프리뷰 가격은 도입 판단에는 쓸 수 있지만 예산 근거로는 약해요. 정가 기준으로 한 번 더 계산해두고, 그 숫자로도 감당되는지를 확인해두면 나중에 흔들릴 일이 줄어요.
운영사 Tip 저희는 새 모델을 검토할 때 두 개의 숫자를 나란히 적어둬요. 하나는 지금 내는 값, 다른 하나는 할인이 끝났을 때 낼 값이에요. 이 두 숫자 차이가 크면 그 모델에 서비스 전체를 얹지 않아요. 한쪽 기능부터 붙여보고 판단해요.
6. 그래서 무엇으로 비교해야 할까요
비교 단위를 바꾸면 답이 보여요. 토큰당 단가가 아니라 일 하나를 끝냈을 때의 값으로 봐요.
- 문의 1건을 분류하고 답변 초안까지 만들었을 때 얼마
- 문서 1건을 요약하고 검수 통과까지 갔을 때 얼마
- 코드 수정 1건을 반영하고 테스트를 지났을 때 얼마
이렇게 재면 순위가 뒤집히는 경우가 흔해요. 단가가 절반이어도 두 배로 도는 모델은 결국 같거나 더 비싸요. 반대로 단가가 조금 비싸도 한 번에 끝내면 총액은 내려가고요.
한 가지 덧붙이면, 같은 모델이라도 긴 문맥을 넣었을 때 단가가 올라가는 방식인지 확인해두면 좋아요. 문맥 길이와 무관하게 단가가 일정한 쪽은 예산 짜기가 훨씬 수월해요.
7. PoC 예산을 운영비로 환산하려면
PoC(개념 검증)에서 쓴 금액에 사용자 수를 곱하는 계산은 대체로 빗나가요. PoC는 사람이 직접 넣어보는 구조라 실패와 재시도가 거의 없거든요.
운영으로 넘어가면 세 가지가 새로 붙어요. 사용자가 애매하게 물어봐서 되묻는 왕복, 외부 시스템 호출이 실패해서 다시 도는 구간, 그리고 결과가 미덥지 않을 때 상위 모델로 한 번 더 돌리는 경우예요.
그래서 저희는 PoC 마지막 주에 항목을 하나 넣어요. 실제 사용자가 쓰는 방식으로 100건을 흘려보고, 그때의 호출 수와 비용을 따로 재는 거예요. 이 숫자가 있으면 운영 예산이 훨씬 덜 흔들려요.
8. 자주 묻는 질문 (FAQ)
벤치마크는 이제 안 봐도 되나요
봐도 돼요. 다만 후보를 좁히는 용도로만 쓰는 게 맞아요. 상위권 서너 개를 추리는 데까지가 벤치마크의 역할이고, 그중 무엇을 고를지는 우리 업무 데이터로 직접 재봐야 알 수 있어요.
싼 모델과 비싼 모델을 섞어 쓰는 게 나을까요
작업 난이도가 고르지 않다면 대체로 유리해요. 단순한 분류나 추출은 가벼운 모델로 처리하고, 판단이 필요한 구간만 상위 모델로 넘기는 방식이에요. 나누는 기준을 잡는 데 최상위 모델만 쓰면 손해인 이유를 참고하실 만해요.
우리 회사 데이터를 넣고 비교해봐도 되나요
권해요. 대신 실제 사용자가 쓰는 문장으로 재야 의미가 있어요. 잘 정돈된 예시 문장으로만 시험하면 대부분의 모델이 잘해서 차이가 안 보여요. 애매하게 쓴 문의, 오탈자가 섞인 요청까지 넣어봐야 실제 비용이 드러나요.
9. 마무리 — 모델을 고르는 일보다 호출 구조를 정하는 일이 커요
정리하면 이래요. 표시 단가는 출발점일 뿐이고, 청구서는 몇 번 도는가에서 결정돼요. 그래서 비교할 때는 토큰 단가가 아니라 작업 1건을 끝낸 값으로 보고, 프리뷰 할인은 예산에서 빼두고, PoC 숫자에는 운영에서 붙을 재시도를 더해두는 게 안전해요.
저희는 10년 넘게 50개 이상의 프로젝트를 진행하고 자체 SaaS 4종을 직접 운영해온 개발사예요. 모델을 바꿔서 비용을 줄인 적보다, 어디에 얼마나 물어볼지를 다시 짜서 줄인 적이 훨씬 많았어요. 지금 검토 중인 AI 기능의 호출량이 어느 정도 나올지 감이 안 잡히신다면 무엇부터 재봐야 할지 같이 짚어드릴게요 →
관련 글