AI 순위표를 직접 만드는 도구가 나왔어요 | 모델 고르기 5단계
아티피셜 애널리시스가 8월 14일 옵티마를 내놨어요. 우리 업무 데이터로 시험지를 만들어 여러 모델을 같은 조건에 돌리고, 품질 옆에 건당 비용과 건당 시간을 같이 봐요. 발주 전에 평가 세트를 어떻게 만들지 5단계로 정리했어요.
핵심 요약 — 8월 14일 아티피셜 애널리시스가 옵티마(Optima)를 공개했어요. 우리 회사 데이터로 시험지를 만들어 최신 모델들을 같은 조건에 한 번에 돌려보고, 정답률 옆에 건당 비용과 건당 시간을 나란히 놓고 비교하는 도구예요. AI 기능을 붙일 계획이 있다면 여기서 가져갈 건 도구 이름이 아니라 순서예요. 모델을 먼저 고르고 시험하는 게 아니라, 시험지를 먼저 만들고 모델을 고르는 쪽이에요. 자체 SaaS 4종을 직접 운영해온 개발사 기준으로 정리했어요.
📰 2026년 8월 18일 기준 최신 소식 | 이 글은 특정 시점의 뉴스를 다루고 있어요.
“어떤 AI 모델을 쓰는 게 좋을까요?”
AI 기능 이야기가 나오면 거의 첫 질문으로 나와요. 그런데 이 질문에 정직하게 답하려면 되물어야 해요. 무슨 일을 시키실 건가요. 그 일을 잘했는지는 누가 어떻게 판정하나요. 이 둘이 안 정해진 상태에서 모델 이름부터 정하면, 나중에 결과가 마음에 안 들 때 무엇을 바꿔야 할지 알 수가 없어요.
1. 순위표 1등이 왜 우리 일에서는 1등이 아닐까요
공개된 AI 벤치마크는 대체로 같은 시험지를 모든 모델에게 나눠주고 점수를 매겨요. 수학 문제, 코딩 문제, 일반 상식 문제가 주를 이뤄요. 이 방식은 모델의 기초 체력을 재기엔 좋아요.
문제는 회사에서 시키려는 일이 그렇게 생기지 않았다는 점이에요. 들어온 문의 메일에서 주문번호를 뽑는 일, 계약서에서 검수 조항만 찾아 세 줄로 줄이는 일, 상담 녹취를 항목별로 나누는 일. 이런 건 문제 자체가 회사마다 다르게 생겼어요.
그래서 순위표는 후보를 좁히는 데까지만 쓸모가 있어요. 상위권 서너 개를 추려주는 역할이요. 그다음부터는 우리 일로 다시 재야 해요. 그동안은 그 재는 일을 각자 알아서 해왔고, 대부분은 감으로 넘어갔어요.
2. 옵티마가 실제로 바꾸는 건 뭔가요
AI 모델 평가 전문 기업 아티피셜 애널리시스가 8월 14일(현지시간) 옵티마(Optima)를 내놨어요. 자기 데이터와 업무로 평가 기준을 만들고, 최신 모델들을 같은 조건에서 한 번에 돌려 비교하는 플랫폼이에요.
바뀐 건 기술이 아니라 문턱이에요. 원래도 자체 평가는 할 수 있었어요. 다만 시험지를 설계하고 채점 기준을 잡고 여러 모델을 붙여 돌리는 일이 전부 손일이라, 사람이 붙지 않으면 시작을 못 했어요. 그 과정을 플랫폼으로 옮긴 거예요.
시험지를 만드는 길도 여러 갈래로 열어놨어요.
- 이미 가진 평가 데이터셋을 파일이나 허깅페이스에서 올리기
- 에이전트 실행 기록을 Arize·Braintrust·Langfuse 같은 곳에서 가져오기
- 하는 일을 설명하고 입력·출력 예시 몇 개만 주면 플랫폼이 시험지를 만들어주기
마지막 방식이 눈에 띄어요. 평가 데이터가 정리돼 있지 않은 회사가 훨씬 많거든요.
3. 채점은 누가 하나요
자체 평가에서 늘 막히는 지점이 채점이에요. 정답이 하나로 딱 떨어지는 일은 오히려 드물어요. 요약을 잘했는지, 답변 톤이 맞는지 같은 건 O·X로 안 나뉘거든요.
옵티마는 두 가지 방식을 써요.
| 채점 방식 | 어떻게 하나요 | 어울리는 일 |
|---|---|---|
| 기준표 채점 | ”주문번호가 들어 있나”, “3문장을 넘지 않나” 같은 항목을 만들어 맞췄는지 본다 | 정답 조건을 문장으로 적을 수 있는 일 |
| 짝 비교 채점 | 두 답변을 나란히 놓고 어느 쪽이 나은지 고르게 해서, 그 결과로 순위를 매긴다 | 좋고 나쁨은 알겠는데 규칙으로 못 적는 일 |
짝 비교는 이 회사가 GDPval-AA, AA-Briefcase 같은 자체 벤치마크에서 쓰던 방식을 그대로 가져왔어요.
실무에서는 둘을 섞는 편이 나아요. 빠지면 안 되는 항목은 기준표로 잡고, 읽었을 때의 완성도는 짝 비교로 재는 식이요. 저희도 사내 도구를 만들 때 이렇게 나눠서 봐요. 규칙으로 적을 수 있는 건 규칙이 훨씬 싸고 빠르거든요.
4. 품질 옆에 반드시 같이 봐야 하는 두 값
이 도구에서 발주자가 가장 눈여겨볼 부분이에요. 점수만 주는 게 아니라 건당 비용(Cost per Task)과 건당 시간(Time per Task)을 같이 보여줘요.
토큰 단가와 건당 비용은 다른 값이에요. 단가가 싼 모델이 답을 길게 쓰거나 여러 번 되짚으면 실제 청구서는 더 나와요. 반대로 단가가 비싸도 한 번에 끝내면 총액이 줄고요. 이 이야기는 벤치마크 1등 모델이 청구서도 1등일까요에서 따로 정리해뒀어요.
사전에 써본 사람들이 찾던 것도 여기예요. 품질을 크게 잃지 않으면서 비용이 10배 낮은 대안이 있는지를 봤다고 해요. 실제로 그런 대안이 나오면 예산 계획이 통째로 달라져요.
건당 시간도 그냥 참고 수치가 아니에요. 고객이 화면 앞에서 기다리는 기능이면 3초와 20초는 완전히 다른 서비스예요. 반대로 밤에 돌려놓고 아침에 결과만 받는 일이면 느린 대신 싼 쪽이 맞고요.
5. 우리 평가 세트, 어떻게 만들까요 — 5단계
도구를 쓰든 안 쓰든 순서는 같아요. 저희가 사내 기능에 모델을 붙일 때 밟는 순서예요.
- 일 하나를 좁혀요. “AI로 업무를 자동화한다”가 아니라 “문의 메일에서 주문번호와 요청 유형을 뽑는다”까지 좁혀요. 넓으면 채점이 안 돼요.
- 실제 사례 30～50건을 모아요. 평범한 것만 담지 말고 사람이 헷갈렸던 건, 예외 처리했던 건을 절반쯤 섞어요. 쉬운 것만 넣으면 전부 만점이 나와서 비교가 안 돼요.
- 합격 조건을 문장으로 적어요. “주문번호가 있으면 반드시 뽑는다”, “없으면 없다고 답한다”. 이 문장이 곧 채점표예요.
- 후보 3～4개를 같은 조건에 돌려요. 프롬프트, 온도, 입력 형식을 똑같이 맞춰야 해요. 하나라도 다르면 모델 차이인지 설정 차이인지 구분이 안 돼요.
- 점수·건당 비용·건당 시간을 한 표에 놓고 정해요. 1등을 고르는 게 아니라 우리 조건에서 쓸 만한 가장 싼 걸 고르는 자리예요.
세 번째 단계가 가장 오래 걸려요. 그런데 이 문장을 못 쓰면 사실 그 업무는 아직 AI에게 넘길 준비가 안 된 상태예요. 사람에게도 설명 못 하는 기준이니까요.
6. 발주할 때 견적서에 무엇을 적어야 할까요
AI 기능을 외주로 맡길 때 요구사항이 “AI로 자동 분류” 한 줄이면, 받는 견적이 서로 비교가 안 돼요. 아래 네 줄을 넣으면 값이 붙기 시작해요.
- 평가 세트 구축 — 몇 건짜리 시험지를 누가 만드나요. 우리가 데이터를 주고 개발사가 정리하는 게 보통이에요.
- 합격 기준 — 정답률 몇 %를 검수 통과선으로 볼지 숫자로 적어요. 이게 없으면 검수 단계에서 말이 갈려요.
- 모델 교체 가능 구조 — 모델을 나중에 바꿀 수 있게 만들 건지. 값싼 모델이 계속 나오는 시기라 이 한 줄이 나중에 큰 차이를 내요.
- 호출 비용 부담 주체 — 개발 기간 중 API 사용료를 누가 내는지. 평가를 여러 번 돌리면 이 금액이 생각보다 나와요.
특히 두 번째를 놓치면 뒤가 힘들어져요. 일반 개발은 “동작하면 검수 통과”인데 AI 기능은 늘 몇 %가 틀려요. 그래서 몇 %면 합격인지를 계약 전에 숫자로 합의해두지 않으면 검수 자리에서 서로 얼굴을 붉히게 돼요. 관련해서는 개발 외주 검수, 어떻게 해야 분쟁이 줄어들까요도 같이 보시면 좋아요.
7. 직접 운영해보니 — 시험지는 자산으로 남아요
저희가 자체 SaaS를 운영하며 배운 게 하나 있어요. 모델은 계속 바뀌는데 평가 세트는 안 바뀐다는 거예요.
지금은 값이 특히 빠르게 움직여요. 오픈AI와 앤트로픽이 값싼 모델을 잇달아 내놓으며 가격 경쟁 중이고, 국내에서도 업스테이지 솔라가 다음 포털의 AI 요약에 전면 적용되면서 선택지가 늘고 있어요. 몇 달에 한 번씩 “지금 게 최선인가”를 다시 물어야 하는 상황이에요.
이때 평가 세트가 있으면 반나절이면 답이 나와요. 같은 시험지를 새 모델에 돌려보고 표를 비교하면 되니까요. 없으면 매번 처음부터 감으로 정하고, 바꾼 뒤에 나빠져도 뭐가 나빠진 건지 못 짚어요.
그래서 저희는 AI 기능을 만들 때 코드보다 시험지를 먼저 챙겨요. 코드는 다시 짜면 되는데, 판단 기준은 다시 만들기가 훨씬 어렵거든요.
AI 기능을 어디에 붙일지부터 아직 흐릿하시다면, 업무별 AI 적용, 어디부터 시작하면 좋을까요를 먼저 보셔도 좋아요.
8. 자주 묻는 질문 (FAQ)
AI 모델 선택은 벤치마크 순위표만 보고 정하면 안 되나요?
출발점으로는 괜찮은데 도착점으로는 부족해요. 공개 순위표는 누구에게나 같은 문제로 매긴 점수예요. 그런데 실제 업무는 회사마다 다르게 생겼어요. 순위표로 후보를 서너 개로 좁히고, 마지막 선택은 우리 데이터로 하는 게 순서예요.
평가 세트를 만들려면 데이터가 몇 건이나 필요한가요?
30～50건이면 차이가 보이기 시작해요. 대신 평범한 사례 절반, 사람이 헷갈렸던 사례 절반으로 섞어야 해요. 쉬운 것만 넣으면 전부 만점이 나와서 순위가 안 갈려요.
모델을 한 번 정하면 계속 그대로 써도 되나요?
지금은 그러기 어려운 시기예요. 가격과 성능이 몇 달 단위로 뒤집히고 있어요. 모델을 고정 자산이 아니라 교체 가능한 부품으로 다루고, 코드에서 모델 이름을 한 곳에서만 바꿀 수 있게 빼두시길 권해요.
9. 마무리 — 고르는 일보다 재는 일을 먼저
이번 소식에서 가져갈 건 새 도구가 하나 생겼다는 사실이 아니에요. 모델을 고르는 문제가 재는 문제로 옮겨가고 있다는 신호예요. 남이 만든 시험지로 매긴 순위는 참고선이고, 우리 답은 우리 데이터에 있어요.
AI 기능을 넣고 싶은데 어느 업무부터 손대야 할지, 그 업무를 어떻게 채점할지가 아직 안 잡히셨다면 그 지점부터 같이 정리해드릴게요 →. 저희는 10년 넘게 50개 이상의 프로젝트를 진행하고 자체 SaaS 4종을 직접 운영해온 개발사예요. 롯데·캐논 같은 곳과도 함께해 왔고요. 만드는 쪽과 운영하는 쪽을 다 겪어봐서, 어디를 재야 나중에 덜 고생하는지는 조금 아는 편이에요.
관련 글