AI가 느린 건 모델 탓일까요 | 데이터 길부터 재는 5가지

사내에 AI 기능을 붙였는데 “답이 너무 늦게 와요”라는 말이 나오면 대개 모델부터 의심해요. 더 빠른 모델로 바꾸자, 더 큰 서버를 쓰자는 얘기가 먼저 나오죠. 그런데 이번 주 CIO에 실린 기고는 다른 곳을 가리켜요. 연산이 아니라 데이터가 오가는 길이 병목이라는 거예요.

📰 2026년 9월 27일 기준 최신 소식 | 이 글은 특정 시점의 뉴스를 다루고 있어요. (원문 기고 게재일은 2026년 9월 24일이에요.)

---

1. 이번 주 나온 이야기, 무엇이 핵심일까요

기고를 쓴 사람은 인터넷 교환 사업자 DE-CIX의 기술 총괄(CTO) 토마스 킹이에요. 네트워크 연결을 파는 회사라는 점은 감안하고 읽어야 해요. 그래도 인용한 숫자들은 따로 떼어 볼 만해요.

숫자	내용	출처
88%	2025년에 AI를 쓴 조직 비율	스탠퍼드 AI Index 2026
70%	한 개 이상 업무에 생성형 AI를 쓰는 비율	스탠퍼드 AI Index 2026
39%	AI가 전사 이익(EBIT)에 영향을 줬다고 답할 수 있는 비율	맥킨지 2025 글로벌 AI 설문
5% 미만	그중 대부분이 답한 이익 기여 폭	맥킨지 2025 글로벌 AI 설문
주 11.5시간	미국·영국 IT팀이 클라우드 연결 문제를 푸는 데 쓰는 시간	DE-CIX 의뢰 설문(Censuswide)
96%	“우리 네트워크는 AI 준비가 됐다”고 답한 비율	DE-CIX 의뢰 설문

눈에 띄는 건 마지막 두 줄이에요. 거의 다 준비됐다고 답했는데, 실제로는 매주 하루 넘게 연결 문제를 붙잡고 있어요. 기고는 이걸 “숨은 생산성 세금”이라고 불렀어요.

2. AI 도입 사례가 늘었는데 왜 성과는 작을까요

쓰는 곳은 열에 아홉인데 이익으로 이어졌다는 곳은 열에 넷이 안 돼요. 이 간격에는 이유가 여러 가지 있어요. 업무 정리가 안 됐거나, 사람이 결과를 다시 고치느라 시간이 안 줄었거나, 쓰는 사람이 적어서일 수도 있어요.

기고가 짚은 건 그중 하나예요. AI 기능이 느리면 사람들이 안 써요. 요약 하나 받는 데 20초가 걸리면 그냥 직접 읽어 버려요. 그러면 도입 비용은 나갔는데 줄어든 일은 없어요. 기업 AI 도입 사례를 볼 때 모델 성능표보다 “실제로 몇 초 만에 답이 오는지”를 같이 봐야 하는 이유예요.

3. 답 하나가 오기까지 데이터는 어디를 지나갈까요

사내 AI 에이전트에 “지난달 A 거래처 주문 요약해 줘”라고 묻는다고 해 볼게요. 답이 오기까지 데이터는 대략 이런 길을 지나요.

1. 직원 PC → 사내 AI 서비스(질문 전달)
2. 사내 AI 서비스 → 주문 DB·문서 저장소(자료 조회)
3. 사내 → 외부 클라우드 AI 모델(자료를 붙여 질문)
4. 클라우드 모델 → 사내(답 수신, 글자가 조금씩 도착)
5. 사내 AI 서비스 → 직원 화면(표시)

모델이 생각하는 시간은 이 중 3～4번 안의 한 토막이에요. 나머지는 전부 이동과 조회예요. 자료를 여러 번 나눠 조회하는 에이전트라면 2번과 3번이 몇 번씩 반복돼요. 한 번에 0.3초짜리 구간도 열 번 돌면 3초가 돼요.

용어 한 줄 풀이 지연(레이턴시)은 요청을 보내고 첫 응답이 오기까지 걸리는 시간이에요. 대역폭은 한 번에 보낼 수 있는 양이에요. AI 기능이 “느리다”고 할 때 문제는 대개 대역폭보다 지연 쪽이에요. 한 번에 보내는 양은 작은데 왕복이 많거든요.

4. 느릴 때 모델보다 먼저 재 볼 5곳

모델을 바꾸기 전에 구간별로 시간을 한 번 재 보세요. 어디가 느린지 알면 처방이 달라져요.

재 볼 곳	이런 증상이면 의심	흔한 처방
① 사내 자료 조회	질문마다 몇 초씩 걸리고, 자료가 많을수록 더 느려져요	조회 결과 캐시, 검색용 색인 미리 만들기
② 사내 → 클라우드 왕복	짧은 질문도 첫 글자가 늦게 떠요	가까운 리전 선택, 전용 연결 검토
③ 에이전트 반복 호출	단계가 많은 작업일수록 급격히 느려져요	조회를 묶어서 한 번에, 불필요한 단계 빼기
④ 보안 장비 경유	사내망에서만 느리고 외부에선 빨라요	검사 정책 조정, 경로 단축
⑤ 화면 표시	답은 왔는데 화면에 늦게 떠요	글자가 오는 대로 보여 주기(스트리밍)

기고가 권한 것도 비슷해요. 트래픽이 어디서 쌓이는지 보이게 만들고, 네트워크 성능을 모델 정확도·추론 비용과 같은 줄에 놓고 관리하라는 거예요.

5. 망분리 환경이라면 무엇이 더 달라질까요

국내 공공·금융처럼 망이 나뉜 곳은 구간이 하나 더 붙어요. 내부망 자료를 외부 모델로 보내려면 망연계 장비를 거쳐야 하고, 거기서 검사와 대기가 생겨요.

올해는 이 조건도 바뀌고 있어요. 정부가 2025년 마련한 국가 망 보안체계(N2SF)는 모든 걸 일률적으로 막는 대신 정보를 기밀·민감·공개로 나눠 보안 수준을 달리 적용해요. KISA는 올해 총 45억 원 규모로 도입 지원사업을 열었고, 6월에 한국도로공사·한국부동산원 등 6개 컨소시엄을 골랐어요. 지원 모델 가운데 하나가 업무 환경에서 생성형 AI 활용이에요.

길이 열리는 건 반가운 일이에요. 다만 등급을 나누면 어떤 자료가 어느 길로 가는지를 설계해야 해요. 공개 자료는 바로 외부 모델로, 민감 자료는 내부 모델이나 비식별 처리를 거쳐서 가는 식이에요. 이 구분이 AI 기능의 속도와 비용을 같이 정해요.

6. 실제 프로젝트에서는 어디가 막혔을까요

AI 프로젝트는 아니지만 저희가 겪은 비슷한 경우가 있어요. 롯데백화점 수원 푸드홀 실시간 혼잡도 관리 시스템(캐논코리아와 컨소시엄, 4개월)이에요. 보안 요건 때문에 내부·사설 네트워크로 구성해야 했고, 여러 센서가 한꺼번에 데이터를 보내면서 취합 지연이 생겼어요. 관리자 화면에서 등록한 광고가 사이니지에서 끊기는 현상도 있었고, 초기 JavaFX 구현을 C#으로 다시 만들어 해결했어요.

이 경험에서 남은 교훈은 하나예요. 화면이 느리면 사람들은 기능을 탓하지만, 원인은 그 아래 길에 있는 경우가 많아요. 실시간으로 데이터가 오가는 기능은 개발 단계에서 실제 운영망과 같은 조건으로 시험해 봐야 해요.

7. 발주할 때 무엇을 요구사항에 넣을까요

AI 기능을 외주로 맡긴다면 기능 목록만큼 이 세 줄이 중요해요.

• 응답 시간 목표 — “질문 후 첫 글자 3초 이내, 전체 답 15초 이내”처럼 숫자로요. 숫자가 없으면 검수 때 “느리다”를 두고 다툴 근거가 없어요.
• 시험 환경 — 개발사 사무실 인터넷이 아니라 실제 사내망·보안 장비를 거친 조건에서 재기로 해요.
• 구간별 기록 — 조회·모델 호출·표시 시간을 따로 남기게 해요. 오픈 뒤 느려졌을 때 어디를 고칠지 바로 보여요.

네트워크 담당자를 설계 회의에 처음부터 부르는 것도 기고가 첫 번째로 꼽은 권고예요. 모델을 다 고른 뒤에 “우리 망에선 이렇게 못 나가요”가 나오면 일정이 통째로 밀려요.

8. 자주 묻는 질문

AI 자체 도입과 외주 개발 중 어떤 선택이 맞나요?

모델은 사서 쓰고, 사내 자료와 연결하는 부분을 누가 만들지 정하는 문제예요. 사내에 업무 시스템과 네트워크를 둘 다 아는 개발자가 있으면 직접 붙여 볼 만해요. 연결할 시스템이 여럿이고 망 구성까지 손봐야 한다면 외주가 빠를 때가 많아요. 판단 기준은 AI 직접 구축과 외주, 비용·기간은 어떻게 다를까요에서 단계별로 계산해 볼 수 있어요.

더 빠른 모델로 바꾸면 해결되지 않나요?

모델 시간이 전체의 대부분이라면 효과가 있어요. 그런데 조회나 왕복이 대부분이라면 모델을 바꿔도 체감은 거의 그대로이고 비용만 바뀌어요. 그래서 구간을 먼저 재 보는 거예요. 모델 교체가 청구서에 주는 영향은 벤치마크 1등 모델이 청구서도 1등일까요에 정리해 두었어요.

사내 AI 에이전트는 속도 목표를 얼마로 잡으면 되나요?

정해진 기준은 없어요. 대신 “지금 사람이 같은 일을 하면 몇 분 걸리나”를 기준으로 잡으면 현실적이에요. 사람이 5분 걸리는 조회를 AI가 30초에 끝내면 쓰는 사람이 늘어요. 단순 조회는 몇 초 안, 여러 자료를 엮는 작업은 1분 안처럼 작업 종류별로 나눠 두는 편이 좋아요.

9. 정리하면

AI를 쓰는 곳은 많아졌지만 성과를 숫자로 확인한 곳은 아직 적어요. 그 간격의 한 원인이 느린 응답이고, 느린 응답의 원인은 모델이 아니라 데이터가 오가는 길일 때가 많아요. 모델을 바꾸기 전에 구간별로 한 번만 재 보세요. 고칠 곳이 훨씬 싸게 보일 수도 있어요. AI 기능을 붙인 뒤 늘어나는 비용 항목은 AI 기능 붙인 뒤 운영비, 어디서 늘어날까요에서 이어서 볼 수 있어요.

저희는 10년 넘게 50개 이상의 프로젝트에서 사내 시스템과 새 기능을 이어 왔고, 자체 SaaS 4종을 지금도 직접 운영하고 있어요. 롯데·캐논 같은 곳과 내부망 프로젝트도 해 봤고요. 우리 회사 AI 기능이 어디서 느려지는지 궁금하다면 구간부터 같이 짚어 볼까요 →