AI를 어디서 돌릴까요 | 데이터 위치가 도입 방식을 가르는 이유
오라클이 'Bring AI to Data'를 내걸었어요. 데이터를 AI로 옮길지, AI를 데이터 쪽으로 보낼지에 따라 도입 비용이 갈려요. 온프레미스 초기 인프라 20억～50억 원, LoRA 파인튜닝 50만～300만 원까지 공개 자료 기준으로 정리했어요.
📰 2026년 8월 12일 기준 최신 소식 | 이 글은 특정 시점의 뉴스를 다루고 있어요.
핵심 요약 — 8월 11일 한국오라클이 ‘Bring AI to Data’, 그러니까 데이터를 AI 환경으로 옮기는 대신 데이터가 있는 곳에서 AI를 돌리겠다는 전략을 내놨어요. 비슷한 시기에 보안 업계에서는 오픈소스 도구만으로 로컬 LLM 환경을 꾸린 사례가 보고됐고요. 두 소식은 방향이 같아요. 모델을 우리 쪽으로 가져오는 문턱이 낮아졌다는 거예요. 다만 문턱이 낮아진 것과 운영이 쉬워진 건 다른 얘기라, 자체 SaaS 4종을 직접 돌려온 개발사 기준으로 판단 순서를 정리했어요.
“우리 데이터를 외부에 올려도 되나요?”
AI 도입을 검토하는 자리에서 가장 자주 멈추는 질문이에요. 기능 얘기를 한참 하다가 이 한마디가 나오면 회의가 조용해져요. 그리고 대개 결론 없이 다음 회의로 넘어가요.
이번 주 나온 두 개의 소식이 이 질문에 꽤 실용적인 힌트를 줘요.
1. 오라클이 말한 “데이터가 있는 곳에서”는 무슨 뜻일까요
8월 11일 한국오라클이 엔터프라이즈 AI 전략을 공개하면서 ‘Bring AI to Data’를 앞세웠어요. 데이터를 별도의 AI 환경으로 퍼 나르지 말고, 데이터가 이미 놓여 있는 곳에서 검색과 분석과 자동화를 돌리겠다는 얘기예요. 오라클 AI 데이터베이스 26ai에 검색증강생성(RAG)과 에이전트 기능을 데이터베이스 안쪽에 넣은 것도 같은 맥락이고요.
말은 단순한데 발주자 입장에서 뜻하는 바는 꽤 커요. 지금까지 AI 도입 프로젝트의 첫 단계는 대체로 “데이터를 어디로 모을까”였어요. 흩어진 데이터를 한곳에 복사해 두고, 거기서 모델을 붙이는 순서였죠. 이 방식은 복사본이 하나 더 생긴다는 뜻이라, 그 복사본을 누가 관리하고 언제 지우는지가 늘 숙제로 남아요.
AI 쪽을 데이터로 보내면 그 복사본이 줄어요. 대신 데이터가 놓인 자리의 성능과 권한 구조를 손봐야 하고요. 어느 쪽이든 공짜는 아니고, 어느 쪽 비용을 감당할지를 고르는 문제예요.
2. 로컬에서 모델을 돌리는 건 얼마나 쉬워졌을까요
같은 주에 나온 보안 소식이 이 흐름을 다른 각도에서 보여줘요. 국내 보안기업 지니언스가 8월 10일 공개한 보고서에서, 한 해킹 조직이 Ollama·GPT4All·Msty 같은 오픈소스 도구로 로컬 LLM 실행 환경을 꾸려 쓴 흔적이 확인됐어요. 음성 인식 도구와 코드 편집 도구까지 함께 붙여 놓은 구성이었고, 자체 모델을 훈련시킨 증거는 아직 없다고 보고서는 밝혔어요.
여기서 우리가 가져올 사실은 하나예요. 모델을 내 컴퓨터에서 돌리는 데 특별한 자원이 필요하지 않은 시대가 됐다는 것. 몇 년 전만 해도 로컬 실행은 연구실의 일이었는데, 지금은 설치 몇 번으로 되는 작업이 됐어요.
그래서 “우리 서버 안에서 돌리면 되지 않나요”라는 제안이 회의에서 자연스럽게 나오게 됐어요. 맞는 방향일 때도 있고, 아닐 때도 있어요. 그 갈림길이 다음 두 섹션이에요.
3. 데이터를 옮기는 방식과 AI를 옮기는 방식은 뭐가 다를까요
같은 목표라도 비용이 붙는 자리가 달라져요.
| 구분 | 데이터를 AI 쪽으로 (외부 모델 API) | AI를 데이터 쪽으로 (사내 실행) |
|---|---|---|
| 시작 속도 | 며칠~몇 주 | 몇 주~몇 개월 |
| 초기 비용 | 낮음(사용량 과금) | 높음(서버·구축) |
| 계속 나가는 비용 | 호출량에 비례 | 서버·전기·운영 인력 |
| 데이터 반출 | 외부로 나감(계약·약관 확인 필요) | 내부에 머무름 |
| 모델 성능 | 최신 상용 모델 사용 가능 | 오픈웨이트 모델 범위 |
| 손이 가는 곳 | 프롬프트·연동 | 서버 운영·모델 갱신 |
용어 정리 — 온프레미스는 우리 회사가 관리하는 서버에 시스템을 두는 방식이에요. 오픈웨이트 모델은 가중치가 공개돼 내려받아 돌릴 수 있는 모델이고요. RAG(검색증강생성) 는 모델이 답하기 전에 우리 문서를 먼저 찾아 근거로 붙이는 구조예요. 실무에서는 “학습시키자”는 말이 사실 이 RAG를 가리키는 경우가 많아요.
4. 그럼 우리도 사내에 두는 게 맞을까요
숫자부터 보실게요. 공개된 시장 자료를 보면 온프레미스 LLM 구축의 초기 인프라 비용은 20억～50억 원 규모로 잡히고, AI 엔지니어 인건비는 1인당 연 1억～2억 원, 시스템 통합에 전체 예산의 30～40%가 더 붙는 걸로 정리돼 있어요. 파인튜닝 쪽은 훨씬 작아서, 7B~14B 규모 오픈웨이트 모델을 LoRA 방식으로 조정하면 GPU 비용만 50만～300만 원, 70B 이상 모델을 전체 학습시키면 3,000만 원 이상으로 언급돼요.
위 숫자는 공개 시장 자료에서 인용한 범위예요. 저희 실거래 통계가 아니고, 규모와 목표에 따라 크게 달라져요.
숫자의 폭이 넓은 이유는 “사내 실행”이라는 말이 서로 다른 층위를 뭉뚱그리고 있어서예요.
- 오픈웨이트 모델을 그대로 받아 사내 서버에서 돌리기
- 우리 문서를 검색해 근거로 붙이는 구조(RAG)까지 만들기
- 우리 데이터로 모델 자체를 조정하기(파인튜닝·학습)
1번은 생각보다 가볍고, 3번은 대부분의 회사에 아직 이른 단계예요. 그런데 견적을 받다 보면 세 가지가 한 줄로 합쳐져 오는 경우가 있어요. 그래서 ai 모델링 최적화 견적을 받으실 때는 이 세 층 중 어디까지인지를 먼저 물어보시는 게 좋아요. 금액보다 그 대답이 훨씬 많은 걸 알려줘요.
5. 판단은 모델이 아니라 데이터에서 출발해요
저희가 상담에서 제일 먼저 여쭤보는 건 모델이 아니라 데이터예요. 아래 질문에 답이 나오면 방향은 거의 정해져요.
첫째, 그 데이터가 밖으로 나가도 되나요. 개인정보나 계약상 반출 금지 조항이 걸려 있으면 그 자리에서 선택지가 좁아져요. 금융권에서 온프레미스 구성을 택하는 이유가 이거고요.
둘째, 지금 어디에 흩어져 있나요. ERP 안에, 엑셀 파일에, 담당자 메일함에 나뉘어 있다면 어느 쪽 방식이든 정리 작업이 먼저예요. 이 단계를 건너뛰면 모델을 뭘 쓰든 답변 품질이 안 올라와요. 고객 데이터를 다루는 일이라면 cdp ai 구성처럼 데이터를 한 번 정돈하는 과정이 앞에 놓여요.
셋째, 얼마나 자주 바뀌나요. 하루에도 몇 번씩 바뀌는 데이터라면 복사본을 만들어 두는 방식은 금방 어긋나요. 이럴 때 오라클이 말한 “데이터가 있는 곳에서”가 설득력을 얻어요.
도입 방향이 아직 흐릿해도 괜찮아요. 데이터가 어디에 있고 무엇이 밖으로 못 나가는지만 정리돼 있으면 나머지는 그 위에서 정해져요. AI 도입 방향부터 함께 정리해볼까요 →
6. 만드는 쪽에서 보면 진짜 일은 어디에 있을까요
저희가 자체 SaaS 4종을 직접 돌리면서 배운 게 하나 있어요. AI 기능을 붙이는 작업 자체는 생각보다 짧게 끝나요. 시간이 드는 쪽은 그다음이에요.
모델은 계속 바뀌어요. 사내 서버에 올려둔 오픈웨이트 모델도 몇 달 지나면 더 나은 게 나오고, 그때마다 갱신 작업이 붙어요. 답변이 이상해졌을 때 원인을 찾으려면 어떤 질문에 무엇을 근거로 답했는지 남아 있어야 하고요. 이런 기록 구조는 처음에 안 만들면 나중에 붙이기가 훨씬 까다로워요.
그래서 저희는 견적 단계에서 기능 목록보다 이걸 먼저 확인해요. 모델을 바꿔 끼울 수 있게 만들 것인가, 로그를 어디까지 남길 것인가, 답변이 틀렸을 때 누가 확인할 것인가. 납품으로 끝나는 코드와 운영까지 버티는 코드는 여기서 갈려요.
7. 오늘 소식을 한 줄로 정리하면요
AI를 어디에 둘지는 기술 취향의 문제가 아니라 데이터의 위치와 성격이 정하는 문제예요. 오라클의 전략 발표도, 오픈소스 도구로 꾸린 로컬 실행 환경 소식도 같은 얘기를 다르게 하고 있어요. 선택지가 늘었으니 이제는 “할 수 있느냐”가 아니라 “우리에게 어느 쪽이 맞느냐”를 물을 차례라는 거예요.
시작이 어렵다면 모델 비교부터 하지 마시고, 우리 데이터 목록을 한 장으로 적어보세요. 그 종이 한 장이 견적서 열 장보다 많은 걸 정해줘요.
8. 자주 묻는 질문
AI 자체 도입과 외주 개발 중 어떤 선택이 맞나요?
데이터가 어디에 있고 누가 책임지는지로 갈려요. 사내망 안에서만 다뤄야 하는 데이터라면 실행 환경을 우리 쪽에 두는 구성이 필요하고, 서버와 운영 인력까지 포함한 계획이 함께 와야 해요. 데이터가 이미 클라우드에 있고 규제 제약이 크지 않다면 외부 모델을 붙이는 쪽이 훨씬 빨라요.
오픈웨이트 모델은 상용 모델보다 많이 떨어지나요?
용도에 따라 달라요. 문서 요약이나 분류, 정해진 형식의 답변 생성처럼 범위가 좁은 일은 작은 모델로도 충분한 경우가 많아요. 반면 복잡한 추론이나 긴 문맥을 다루는 일은 아직 상용 모델 쪽이 안정적이에요. 그래서 업무를 쪼개서 쉬운 건 사내 모델, 어려운 건 외부 모델로 나눠 쓰는 구성도 흔해요.
도입 전에 무엇부터 준비하면 좋을까요?
세 가지예요. 밖으로 나가면 안 되는 데이터의 목록, 그 데이터가 지금 어디에 저장돼 있는지, 그리고 이 일로 줄이고 싶은 시간이 하루에 몇 시간인지요. 이 세 가지가 정리되면 방식 선택은 훨씬 빨라지고, 견적서도 비교 가능한 형태로 돌아와요.
9. 마무리
AI 도입에서 가장 비싼 실수는 잘못된 모델을 고르는 게 아니라, 데이터 정리를 건너뛴 채 기능부터 붙이는 거예요. 그렇게 만든 기능은 데모에서는 잘 도는데 실제 업무에 넣으면 금방 신뢰를 잃어요.
저희는 10년 넘게 50개 이상의 프로젝트를 진행하면서 자체 SaaS 4종을 직접 운영해온 개발사예요. 롯데·캐논 같은 곳과도 함께해 왔고요. 만들어 놓고 떠나는 게 아니라 계속 돌려본 입장에서, 어디서 비용이 새는지를 먼저 봐요. 방향이 아직 명확하지 않은 단계여도 괜찮아요. 지금 데이터 상황부터 같이 살펴볼까요 →
관련 글