AI 도입, 믿고 쓰려면 '평가'가 먼저예요 | MS 합성 데이터 실험

📰 2026년 10월 31일 기준 최신 소식 | 이 글은 특정 시점의 뉴스를 다루고 있어요.

마이크로소프트 리서치가 Copilot을 기업 규모에서 어떻게 평가하는지 그 뒷이야기를 공개했어요. 요지는 조금 뜻밖이에요. 진짜 고객 데이터를 한 번도 쓰지 않고, 사람과 회의와 이메일이 통째로 들어 있는 ‘가짜 회사’를 지어내 거기서 AI를 시험했다는 거예요. 겉으론 기술 자랑처럼 보이지만, AI 도입을 고민하는 기업 입장에서 읽으면 질문이 하나 또렷해져요. “우리는 이 AI를 무엇으로 믿을 수 있을까”예요. 오늘은 그 실험이 보여준 것과, 도입을 앞둔 회사가 챙겨야 할 지점을 같이 짚어볼게요.

1. AI를 믿고 쓴다는 건 결국 ‘검증’의 문제예요

새 AI 도구를 켜면 처음 드는 생각은 “이거 믿어도 되나”예요. 데모에선 똑똑해 보이는데, 우리 회사 문서와 업무에 붙였을 때도 같은 품질이 나올지는 별개의 이야기거든요. 그래서 도입의 진짜 관문은 모델 성능 자랑이 아니라 “우리 환경에서 얼마나 정확한가”를 확인하는 평가 단계예요.

문제는 이 평가가 생각보다 까다롭다는 점이에요. 제대로 시험하려면 실제 업무와 비슷한 데이터가 필요한데, 그 데이터엔 고객 정보와 사내 기밀이 섞여 있어요. 함부로 평가용으로 꺼내 쓸 수가 없어요. 마이크로소프트가 풀려던 숙제가 바로 이 지점이었어요.

2. 마이크로소프트가 택한 방법 — 진짜 대신 ‘합성 데이터’

마이크로소프트는 ‘Industry Evaluation Data Generation Platform’이라는 평가용 데이터 생성 체계를 만들었어요. 핵심은 세 가지예요. 먼저 가상의 회사(테넌트)를 통째로 지어내요. 직원, 회의록, 이메일, 문서, 조직도까지 실제처럼 채워 넣어요. 그다음 일반적인 업무 과제를 산업별 질문으로 바꿔주는 자동 생성기를 돌리고, 마지막으로 이 가짜 데이터가 시험에 쓸 만한지 판정하는 품질 기준을 적용해요.

눈여겨볼 점은 이 가상 회사가 공개 자료에 뿌리를 두고 있다는 거예요. 직무 정보(O*NET), 채용 공고, 공개된 기업 공시 같은 자료를 바탕으로 만들었고, 법무·정책 조직의 검토까지 거쳤어요. 지금은 제약, 자본시장, IT·소프트웨어 세 분야의 가상 환경을 갖췄다고 해요.

3. 가짜인데 왜 쓸모 있나요 — 평가의 네 가지 잣대

여기서 당연한 의문이 들어요. 지어낸 데이터로 시험한 결과를 믿어도 되나요? 마이크로소프트도 같은 고민을 해서, 합성 데이터의 품질을 네 가지 잣대로 따져봐요. 구조가 실제 조직처럼 짜였는지, 맥락이 자연스러운지, 사람이 실제로 할 법한 행동이 담겼는지, 안전하지 않은 내용은 없는지예요.

또 하나 흥미로운 건 시간 흐름까지 넣었다는 점이에요. “지난주 목요일에 팀이 뭘 결정했지?” 같은, 시점이 중요한 질문도 시험할 수 있게 회의와 문서가 시간순으로 쌓이도록 설계했어요. 실제 업무에서 AI에게 던지는 질문이 대부분 이런 모양이라는 걸 생각하면, 꽤 현실적인 접근이에요.

4. 숫자로 본 효과 — 며칠 걸리던 일이 자동으로

마이크로소프트가 밝힌 효과는 이래요. 사람이 며칠씩 매달리던 평가 데이터셋 제작이 자동 실행으로 바뀌었고, 데이터셋 하나당 약 10만 달러, 프로젝트 전체로는 약 30만 달러를 아낀 것으로 추정했어요. 같은 설정을 다시 돌리면 똑같은 데이터가 재현된다는 점도 강점으로 들었고, 품질 점수는 초기 방식보다 39% 올라 일부 환경은 1.0 만점에 0.9를 넘겼다고 해요.

다만 숫자는 그대로 받아들이기보다 결을 봐야 해요. 비용 절감은 추정값이고, 품질 점수는 내부 기준이라 외부에서 검증된 건 아니에요. “합성 데이터에서 잘 나온 결과가 진짜 기업 데이터에서도 같을까”에 대한 외부 검증은 글에서 따로 다루지 않았고, 대상도 아직 세 산업뿐이에요. 자랑할 만한 성과지만 “아직 초기 기준선”이라는 점은 분명히 해두는 게 맞아요.

5. 기업에 주는 교훈 — ‘AI 도입’보다 ‘AI 검증’이 먼저

이 실험이 우리 회사에 주는 메시지는 간단해요. AI 에이전트 도입을 성공시키는 건 ‘어떤 모델을 쓰느냐’보다 ‘우리 업무에서 얼마나 믿을 수 있는지를 어떻게 확인하느냐’라는 거예요. 세계적인 기업조차 믿고 쓰기 위해 가상 회사까지 지어내 평가 체계를 세운다는 건, 그만큼 검증 설계가 도입의 핵심이라는 뜻이에요.

실제로 많은 회사가 AI 상담을 도입하면 비용이 얼마나 절감되는지부터 궁금해해요. 그런데 그 답은 모델을 켜봐야 나오는 게 아니라, 우리 실제 데이터로 시험해봐야 나와요. 반복이 많고 규칙이 또렷한 업무일수록 효과가 크고, 판단이 필요한 일은 사람이 쥐는 게 맞다는 선도 이 시험에서 그어지거든요.

6. 그래서 PoC에서 무엇을 확인해야 할까요

AI 플랫폼 도입 전에 PoC(개념 검증)에서 뭘 확인해야 하냐고 물으면, 저희는 세 가지를 봐요. 첫째, 우리 실제 데이터로도 쓸 만한 결과가 나오는지. 둘째, 틀린 답을 얼마나 내고 그걸 사람이 걸러낼 수 있는지. 셋째, 지금 쓰는 시스템과 무리 없이 이어지는지예요. 마이크로소프트가 품질을 네 잣대로 쪼갠 것처럼, 우리도 “좋다/나쁘다”가 아니라 “어디까지 믿고 맡길 수 있나”의 선을 그어보는 자리로 PoC를 써야 해요.

여기에 하나 더, 민감한 데이터를 평가에 어떻게 쓸지도 미리 정해둬야 해요. 마이크로소프트가 실제 고객 데이터를 아예 쓰지 않은 것처럼, 우리도 시험 단계에서 다룰 데이터 범위와 안전장치를 먼저 합의하는 게 안전해요. 비용 구조까지 묶어서 보고 싶다면 AI PoC에서 운영까지 비용이 어떻게 달라지는지와 AI PoC 비용 가이드에 정리해뒀어요.

7. 운영해본 개발사는 이 흐름을 어떻게 볼까요

저희는 새 기술이 나올 때 “데모에서 멋있나”보다 “운영에서 버티나”를 먼저 봐요. 자체 SaaS 4종을 직접 운영하다 보니, 멋진 기능이 실제 사용자와 데이터 앞에서 어떻게 흔들리는지를 겪어봤거든요. 그래서 이번 마이크로소프트의 접근이 반가웠어요. “평가 데이터를 제대로 만드는 게 품질의 바닥을 정한다”는 건 서비스를 굴려본 사람이라면 몸으로 아는 이야기예요.

저희는 10년 이상 50개 넘는 프로젝트를 진행하고 자체 SaaS 4종을 직접 운영해온 개발사예요. 롯데·캐논 같은 곳과도 함께해 왔고요. 기업 AI 도입을 어디서부터 시작할지 막막하다면 우리 업무에 맞는 검증부터 함께 설계해드릴게요 →. 기업용 AI 에이전트 도입을 단계별로 어떻게 접근할지는 기업 AI 에이전트 도입 가이드에 더 담아뒀어요.

자주 묻는 질문

AI 상담을 도입하면 비용이 얼마나 절감되나요?

업무 성격에 따라 달라서 숫자를 미리 못 박긴 어려워요. 반복 문의가 많고 답이 정형화된 상담일수록 효과가 크고, 판단이 필요한 상담은 사람이 맡는 게 맞아요. 그래서 “전부 자동화”보다 “반복은 AI, 판단은 사람”으로 나누는 설계가 비용 대비 효과가 좋아요. 정확한 절감폭은 PoC에서 우리 데이터로 재보는 걸 권해요.

합성 데이터로 시험한 AI를 우리 회사에 바로 적용해도 되나요?

마이크로소프트의 평가는 Copilot이 ‘일반적으로’ 얼마나 잘 작동하는지를 보기 위한 거예요. 우리 회사에 맞추려면 우리 문서와 업무로 다시 한번 PoC를 거치는 게 안전해요. 합성 데이터 시험은 출발 품질을 보장할 뿐, 우리 환경에서의 정확도는 우리 데이터로 확인해야 해요.

AI 도입을 검토 중인데, 평가 체계를 우리가 직접 만들 수 있나요?

작은 규모라면 충분히 가능해요. 핵심은 “무엇을 맞히면 합격인지”를 먼저 정하는 거예요. 자주 받는 질문 50～100개와 정답 예시를 모으는 것만으로도 꽤 쓸 만한 평가셋이 돼요. 규모가 커지거나 민감한 데이터가 얽히면, 안전장치까지 함께 설계해줄 파트너가 있으면 시행착오가 줄어요.