사내 문서 검색 AI 구축 비용 | 구축·연동·운영비 나눠 보기

먼저 짧게 답부터 드릴게요. 사내 문서를 AI가 찾아 답하게 하는 구축은 공개 시장 자료 기준 1,500만～5,000만 원대가 흔해요. 그런데 이 돈의 대부분은 AI 모델 값이 아니에요. 공개 단가로 계산하면 문서 1만 쪽을 검색용 숫자로 바꾸는 값은 1달러도 안 돼요. 견적을 키우는 건 ① 지저분한 문서를 정리하는 일 ② 그룹웨어·드라이브와 권한을 잇는 일 ③ 매달 돌아가는 운영이에요. 직접 만들고 운영해 본 개발사 기준으로 세 덩어리를 나눠 정리했어요.

“우리 회사 규정집이랑 매뉴얼을 넣으면 AI가 알아서 답해 주는 거, 얼마나 해요?”

요즘 가장 자주 받는 AI 도입 비용 질문이에요. 챗봇을 솔루션에 연동할지 직접 만들지는 AI 챗봇 도입, 솔루션 연동과 자체 개발 중 무엇이 맞을까요에 정리해 뒀어요. 이 글은 그중 사내 문서 검색 하나만 깊게 봐요. 견적서를 받았을 때 각 줄이 어디에 속하는지 읽을 수 있게요.

---

1. 사내 문서 검색 AI는 어떻게 움직이나요

구조는 단순해요. 질문이 들어오면 ① 사내 문서에서 관련 단락을 먼저 찾고 ② 찾은 단락만 AI 모델에 넘겨 ③ 그 안에서 답을 쓰게 해요. 모델이 회사 문서를 외우는 게 아니라, 매번 찾아서 읽고 답하는 방식이에요.

그래서 답의 품질은 모델보다 찾기 단계에서 먼저 갈려요. 엉뚱한 단락을 찾아오면 아무리 좋은 모델도 엉뚱하게 답해요.

용어 정리 — RAG(검색 증강 생성)는 “찾아서 읽고 답하기”를 부르는 이름이에요. 문서를 잘게 나눈 조각을 임베딩(벡터)이라는 숫자 묶음으로 바꿔 저장해 두고, 질문과 가까운 조각을 꺼내 모델에 넘겨요. 실무에선 “RAG로 붙이자”, “벡터 DB에 넣자”라고 말해요.

2. 비용은 어디에 붙나요 — 세 덩어리로 나눠 보기

견적서를 받으면 줄마다 아래 세 칸 중 어디인지 표시해 보세요.

자사 실무 기준 — 사내 문서 검색 AI의 비용 3분할

덩어리	들어가는 일	한 번 / 매달
구축	문서 수집·정리, 조각 나누기 규칙, 검색 구조, 질문 화면, 답의 출처 표시, 평가용 질문 세트	한 번
연동	그룹웨어·공유 드라이브·위키 연결, 로그인(SSO), 문서별 권한 반영, 바뀐 문서 자동 반영	한 번 + 시스템 바뀔 때
운영	모델 호출료, 검색 저장소 서버, 재색인, 답 품질 점검, 담당자 문의 대응	매달

(자사 실무 기준 예시예요. 어느 칸이 커지는지는 회사마다 달라요.)

공개 시장 자료 기준 — 사내 문서를 연동한 맞춤 챗봇은 1,500만～5,000만 원대, 상용 솔루션에 시나리오만 얹는 연동형은 300만～1,500만 원대가 흔해요. 자사 실거래 통계가 아니라 시장 자료 범위예요.

같은 금액이라도 연동 칸이 비어 있는 견적은 나중에 따로 청구될 가능성이 높아요. 문서가 어디 있는지 모르는 상태에서 받은 견적이라면 특히요.

3. 문서가 많으면 비싸질까요 — 실제로 계산해 봤어요

많이들 “문서가 10만 건이면 엄청 비싸겠죠”라고 물어요. 계산 값만 보면 아니에요.

공식 외부 기준 — OpenAI의 임베딩 모델 text-embedding-3-small은 입력 100만 토큰당 0.02달러예요(OpenAI 개발자 문서 기준).

문서량	토큰 수(추정)	임베딩 계산 값
A4 1만 쪽	약 1,000만～1,500만	약 0.2～0.3달러
A4 10만 쪽	약 1억～1억5,000만	약 2～3달러
A4 100만 쪽	약 10억～15억	약 20～30달러

(한국어 A4 한 쪽을 1,000～1,500토큰으로 잡은 추정이에요. 문서 밀도에 따라 달라져요.)

모델이나 공급사가 바뀌어도 이 자리 값이 견적의 중심이 되는 일은 드물어요. 그러니 견적이 문서량에 정비례해서 올라간다면 무엇이 같이 늘어나는지 물어보세요. 대개는 계산이 아니라 사람이 문서를 손보는 시간이에요.

4. 그럼 무엇이 견적을 키우나요

양보다 종류예요. 저희가 견적 전에 먼저 보는 다섯 가지예요.

1. 스캔본 PDF 비율 — 글자가 아니라 사진이라 글자 인식(OCR)을 먼저 거쳐야 해요. 인식이 틀리면 찾기도 틀려요
2. 표가 많은 문서 — 요율표, 단가표처럼 칸이 의미를 가지는 문서는 그냥 자르면 숫자와 항목이 떨어져요
3. 한글(HWP) 파일 — 국내 기업·공공 문서에 흔한데, 형식을 변환하는 단계가 따로 필요해요
4. 같은 문서의 여러 버전 — 2023년 규정과 2026년 규정이 함께 들어가 있으면 AI가 옛 규정으로 답해요
5. 바뀌는 빈도 — 매주 바뀌는 문서는 자동으로 다시 반영하는 장치가 있어야 해요

4번은 기술보다 정리 문제라 발주자 쪽에서 해 줄 수 있는 게 많아요. “현재 유효한 문서” 폴더를 따로 만드는 것만으로도 구축 기간이 줄어요. 데이터 정리가 AI 도입의 앞단인 이유는 AI 에이전트가 회사 데이터를 읽으려면 무엇부터 바꿔야 할까요에서 더 다뤘어요.

5. 권한은 왜 연동 비용의 핵심일까요

사내 문서 검색에서 가장 곤란한 사고는 틀린 답이 아니에요. 볼 수 없는 사람에게 보이는 답이에요. 인사 평가, 급여, 계약 조건이 든 문서를 한 저장소에 다 넣으면 AI는 누구에게나 그 내용을 찾아 줄 수 있어요.

그래서 원래 문서의 권한을 검색 단계에서 그대로 지키는 일이 필요해요. 질문한 사람이 원본 폴더에서 볼 수 있는 문서만 찾게 하는 거예요. 이게 연동 칸에서 가장 손이 많이 가는 일이에요.

토스는 10월 13일 공개한 사내 AI 플랫폼에서 데이터를 가장 민감한 항목 기준으로 L1(주민등록번호·계좌번호)~L4(익명·집계 정보) 4등급으로 나누고, 등급만이 아니라 목적·실행 환경·모델을 같이 보고 허가한다고 밝혔어요. 같은 날 정리한 AI 기능 붙일 때마다 반복되는 일에 자세히 적어 뒀어요.

흔한 실수 “일단 전 직원 공용 문서로만 시작하자”고 해 놓고, 운영하면서 부서 문서를 하나씩 추가하는 거예요. 권한 구조 없이 시작하면 문서를 추가할 때마다 누가 볼 수 있는지 다시 따져야 하고, 결국 처음부터 다시 짜게 돼요. 첫 버전에 공용 문서만 넣더라도 권한을 담을 자리는 만들어 두세요.

6. 매달 나가는 운영비는 얼마나 될까요

운영비는 세 줄로 나뉘어요.

공식·공개 외부 기준 — 참고 단가

항목	참고 값	비고
임베딩(문서·질문을 벡터로)	100만 토큰당 0.02달러	OpenAI text-embedding-3-small
검색 저장소(관리형)	월 약 74달러(Basic)~약 245달러(S1)	Azure AI Search, 제3자 정리 기준 · 추정
사람 값	응용SW 개발자 월 6,943,457원	KOSA 2025년 적용 평균임금

(검색 저장소 단가는 지역·시점에 따라 달라 Azure 가격 계산기로 다시 확인해야 해요.)

여기에 답을 쓰는 모델의 호출료가 붙어요. 질문 수 × (찾아 넘긴 단락 길이 + 답 길이) × 모델 단가로 계산해요. 넘기는 단락이 길수록 매 질문 값이 커지니, 몇 개 단락을 넘기는지가 운영비의 손잡이예요.

서버를 직접 두는 경우는 계산이 달라져요. 토스증권은 오픈소스 벡터 검색 엔진 Milvus를 사내 서버에 올리면서 CPU·메모리 배치만 조정해 같은 서버에서 처리량을 41% 높였다고 밝혔어요. 벡터 차원, 꺼내는 결과 수, 문서 갱신 빈도가 서버 대수를 정한다고요. 사람이 많이 쓰는 회사일수록 이 조율이 운영비를 크게 바꿔요.

7. 완제품을 사는 것과 비교하면요

Microsoft 365 Copilot은 기업용이 사용자당 월 30달러(연 약정)로 알려져 있어요. 단독으로는 못 사고 기본 마이크로소프트 365 라이선스가 따로 있어야 해요.

비교	완제품(사용자당 과금)	맞춤 구축
처음 비용	거의 없음	구축·연동비
매달 비용	사용자 수에 비례	사용량(질문 수)에 비례
문서 위치	그 제품 안의 문서 중심	여러 시스템을 엮을 수 있음
사내 시스템과 연결	제품이 허용하는 범위	원하는 범위로
바꾸기	쉬움	구조를 문서로 남겨야 쉬움

100명이 쓰면 완제품은 한 달 3,000달러, 3년이면 10만 달러가 넘어요. 반대로 30명이 가끔 쓰고 문서가 이미 그 제품 안에 있다면 완제품이 훨씬 빨라요. 쓰는 사람 수와 문서가 흩어진 정도, 이 두 가지로 먼저 갈라 보세요. 판단 기준은 AI 플랫폼, 사서 쓸까 만들까에 더 있어요.

8. 견적 요청 전에 무엇을 정리해 두면 좋을까요

이 여섯 가지를 정리해서 보내면 견적 차이가 줄고, 비교도 쉬워져요.

1. 문서가 어디에 있나요 — 그룹웨어, 공유 드라이브, 위키, 메일 첨부 등 위치별 개수
2. 어떤 형식인가요 — PDF(스캔 여부), 한글(HWP), 워드, 엑셀 비율
3. 누가 무엇을 볼 수 있나요 — 부서별·직급별로 막아야 하는 문서가 있는지
4. 얼마나 자주 바뀌나요 — 매일, 매주, 분기
5. 누가 얼마나 묻나요 — 사용자 수와 하루 예상 질문 수
6. 틀리면 얼마나 곤란한가요 — 참고용인지, 고객 답변에 그대로 쓰는지

6번이 높을수록 답의 출처 표시와 평가용 질문 세트에 돈을 더 써야 해요. 실제 질문 100개와 정답을 미리 만들어 두면, 구축 뒤 “잘 되는 것 같다”가 아니라 “100개 중 몇 개 맞았다”로 검수할 수 있어요.

운영사 Tip 첫 버전은 질문이 가장 많이 몰리는 문서 한 묶음으로 시작하세요. 인사 규정, 제품 매뉴얼, 고객 응대 지침처럼요. 그 묶음에서 정답률과 운영비를 실제로 재 보고 나서 범위를 넓히면, 두 번째 견적은 추정이 아니라 측정값으로 받을 수 있어요.

9. 운영해 본 개발사가 먼저 보는 것

저희는 자체 SaaS 4종을 운영하면서 검색 기능을 여러 번 고쳐 왔어요. 검색은 오픈한 날부터 자라요. 문서가 늘고, 묻는 방식이 바뀌고, 옛 문서가 쌓여요. 그래서 구축 견적만큼 “답을 못 했거나 틀린 질문을 어디서 보나요”를 먼저 물어보시라고 권해요. 그 기록이 있어야 다음 달에 무엇을 고칠지 정할 수 있어요. 일반 검색 기능의 견적 구조는 검색창 하나 붙이는 데 무엇이 붙나요에 정리해 뒀어요.

저희는 10년 넘게 50개 이상의 프로젝트를 만들었고 롯데·캐논 같은 곳과도 함께해 왔어요. 사내 문서를 AI에 붙이고 싶은데 문서가 어디에 얼마나 있는지부터 막막하다면 문서 목록부터 같이 세어 볼까요 →

10. 자주 묻는 질문 (FAQ)

사내 문서 검색 AI 구축 비용은 보통 얼마인가요?

공개 시장 자료 기준 맞춤 구축은 1,500만～5,000만 원대가 흔해요. 그 안에서 위치를 가르는 건 문서 형식, 문서별 권한, 연동할 시스템 수예요.

문서가 많을수록 비용이 크게 오르나요?

계산 값은 거의 안 올라요. 문서 1만 쪽의 임베딩 값이 1달러가 안 돼요. 비용을 키우는 건 스캔본·표·한글 파일·여러 버전이 섞인 정도예요.

코파일럿 같은 완제품을 사는 게 싸지 않나요?

사용자가 적고 문서가 이미 그 제품 안에 있으면 완제품이 빨라요. 사용자가 많거나 문서가 여러 시스템에 흩어져 있으면 3년 합계로 구축과 비교해 보세요.