AI 기능 붙일 때마다 반복되는 일 | 토스 AI 플랫폼 사례
토스는 AI 기능마다 반복되던 연동·권한·비용·용량 확인을 플랫폼으로 묶었어요. 데이터를 L1~L4 4등급으로 나누고 SLA도 3단계로 갈랐대요. 기업 AI 도입 사례에서 외주 견적서에 옮겨 적을 6가지를 정리했어요.
📰 2026년 10월 15일 기준 최신 소식 | 이 글은 특정 시점의 뉴스를 다루고 있어요.
짧게 먼저 정리할게요. 토스 AI Platform 팀이 10월 13일 기술 블로그에 사내 AI 플랫폼을 공개했어요. 출발점은 이랬어요. 모델을 부르는 건 어렵지 않은데, 서비스 팀마다 연동 코드·권한 확인·사용량 집계·장애 대응을 따로 하고 있었대요. 그래서 이 반복을 플랫폼 하나가 맡게 했어요. 모델보다 먼저 정한 게 데이터 등급, 예산, 처리 용량, 장애 시 경로였다는 점이 눈에 띄어요.
“모델은 정했어요. 이제 붙이기만 하면 되죠?”
AI 기능을 맡기려는 분들과 이야기하다 보면 이 질문에서 견적이 크게 갈려요. 붙이는 건 금방이에요. 그다음에 할 일이 많아요. 토스 글은 그 ‘다음 일’을 큰 회사가 어떻게 정리했는지 보여 줘요. 규모는 달라도 외주 견적서에 그대로 옮겨 적을 만한 내용이라 발주자 눈으로 다시 정리해 봤어요.
1. 토스는 무엇을 만들었나요
구성은 세 덩어리예요.
| 구성 | 하는 일 |
|---|---|
| GenAI Portal | 모델 비교, 사용 신청, 키 발급, 변경 승인, 월 비용 예측 |
| GenAI Gateway | 실제 호출을 받아 키 인증 → 모델 권한 → 사용량 한도 → 입력 검사를 거쳐 모델로 넘김 |
| MCP Gateway | AI가 사내 도구를 실행할 때마다 그 권한을 따로 확인 |
(출처: 토스 기술 블로그 「서비스 개발에 집중할 수 있는 AI 플랫폼 만들기」, 2026년 10월 13일)
서비스 팀은 “무엇에 쓸지”와 “어떤 모델이 필요한지”만 정해요. 나머지는 플랫폼이 실제 호출에 적용하고, 운영 중에도 확인할 수 있게 했어요.
용어 정리 — 게이트웨이(Gateway)는 서비스와 AI 모델 사이에 끼어 있는 관문 서버예요. 모든 요청이 여기를 지나가니까 권한·비용·검사를 한곳에서 걸 수 있어요. 실무에선 “LLM 게이트웨이 하나 두자”라고 말해요.
2. 왜 서비스 팀마다 따로 하면 안 됐을까요
토스가 짚은 반복은 네 가지예요.
- 모델 공급자마다 다른 연동 코드를 짜요
- 이 데이터를 써도 되는지 권한을 확인해요
- 얼마나 썼는지 사용량을 집계해요
- 운영을 시작하면 호출이 왜 실패했는지, 요청이 몰리면 어떻게 할지 고민해요
AI 기능이 하나일 때는 기능 안에서 처리해도 돼요. 둘, 셋으로 늘면 같은 일을 팀마다 다른 방식으로 하게 되고, 그러면 어느 팀은 개인정보를 걸러내고 어느 팀은 안 걸러내는 상태가 생겨요. 보안 사고는 대개 이 틈에서 나요.
외주로 보면 이렇게 바꿔 읽을 수 있어요. 첫 번째 AI 기능 견적에 이 네 가지가 기능 안에 들어 있는지, 아니면 “추후 별도”로 빠져 있는지요.
3. 데이터는 네 등급으로 나눴어요
토스는 AI에 넘길 데이터를 가장 민감한 항목 기준으로 등급을 매겨요.
| 등급 | 예시 |
|---|---|
| L1 | 주민등록번호, 계좌번호 등 가장 민감한 정보 |
| L2 | 일반 개인정보, 개인신용정보, 행태 로그 |
| L3 | 영업비밀, 가명 처리한 개인정보 |
| L4 | 익명 처리한 정보, 집계 정보 |
여기서 눈여겨볼 문장이 있어요. 등급만으로 허가하지 않는대요. 목적과 실행 환경, 쓰려는 모델을 같이 보고 판단해요. 같은 L2라도 사내 GPU에서 돌리는지, 외부 모델로 보내는지에 따라 답이 달라진다는 뜻이에요.
그리고 외부 모델로 보내기 전에 프롬프트 공격과 개인정보를 검사해요. 규칙으로 한 번, 문맥을 보는 모델로 한 번 찾고, 프로젝트가 정한 차단 조건에 걸리면 호출 자체를 멈춰요. 로그에 남길 때는 찾아낸 개인정보 부분을 가리고, 설정에 따라 본문은 아예 안 남겨요.
4. 비용은 미리 계산하고, 넘치면 단계를 나눠요
Portal은 평균 입력·출력 토큰 수 × 모델 단가 × 예상 요청량으로 월 예상 비용을 계산해 보여 줘요. 예산은 누적 비용으로 관리하고, 일정 비율에 닿으면 담당자에게 알려요. 넘었을 때는 알림 → 유예 기간 → 프로젝트 비활성화로 단계를 나눠 뒀고요. (알림 비율 같은 구체적인 값은 글에 나오지 않았어요.)
발주자 쪽에서 중요한 건 이 계산식이 견적 단계에서도 그대로 쓸 수 있다는 점이에요. “AI 비용은 쓰는 만큼 나와요”라는 답으로 끝내지 말고, 하루 몇 건, 건당 평균 몇 토큰을 가정했는지 숫자로 받아 두세요. 가정이 틀렸을 때 어디서 틀렸는지 찾을 수 있어요.
흔한 실수 예산 초과를 “그때 가서 끄면 되지”로 넘기는 거예요. 갑자기 끄면 그 기능을 쓰던 화면이 통째로 오류를 내요. 넘었을 때 알림만 보낼지, 느리게라도 돌릴지, 막을지를 기능마다 미리 정해 두세요.
5. 예산이 남아도 막힐 수 있어요
토스 글에서 실무적으로 가장 쓸모 있는 대목이에요. 예산이 넉넉해도 짧은 시간에 요청이 몰리면 처리하지 못할 수 있어요. 그래서 분당 토큰 수(TPM) 같은 한도를 예산과 따로 걸어요.
사내 서비스 등급도 셋으로 나눴어요.
| 등급 | 약속하는 것 |
|---|---|
| High | 전용 경로에서 가용성·응답 시간·처리량 보장 |
| Standard | 공유 모델에서 최소 처리량 확보 |
| Flex | 처리량 보장 없음, 늦어도 되는 작업 |
전체 한도에 걸리면 우선순위가 낮은 요청부터 줄여요. 그리고 미리 확보한 약정 용량을 먼저 쓰다가 모자라면 쓴 만큼 내는 경로로 넘어가요. 장애가 나면 그 경로로 가는 요청을 잠시 멈추거나 재시도 간격을 늘리고, 복구되면 원래 용량으로 돌아와요. 바뀌는 건 같은 모델로 가는 길뿐이고, 모델을 바꾸는 판단은 서비스 담당자가 따로 해요.
6. 우리 회사 규모에도 해당하나요
플랫폼 팀을 따로 둘 회사는 많지 않아요. 그래도 위 내용 가운데 규모와 상관없이 필요한 것은 있어요.
| 토스가 플랫폼으로 한 일 | 기능 하나짜리 회사에서 최소한 |
|---|---|
| 데이터 등급 L1~L4 | AI로 넘어가는 항목 목록과 개인정보 포함 여부 |
| 입력 검사·로그 마스킹 | 주민번호·전화번호 패턴 차단, 로그에 원문 저장 여부 결정 |
| 월 비용 예측 | 하루 건수 × 건당 토큰 가정치를 문서로 |
| 처리 한도·SLA 등급 | 몰릴 때 늦게 처리할지 거절할지 |
| 장애 시 경로 전환 | 모델이 멈췄을 때 화면에 무엇을 띄울지 |
| 도구 실행 권한 분리 | AI가 사내 시스템을 건드리면 그 권한을 따로 |
(오른쪽 열은 자사 실무 기준 예시예요.)
처음엔 기능 안에 작게 넣고, 두 번째 AI 기능이 생길 때 공통 부분을 떼어 내는 순서가 비용이 덜 들어요. 처음부터 플랫폼을 만들면 쓰지도 않을 칸까지 만들게 되고요. AI 플랫폼을 살지 만들지는 AI 플랫폼, 사서 쓸까 만들까에 정리해 뒀어요.
7. 외주 견적서에서는 무엇을 확인할까요
AI 기능을 외주로 맡길 때 견적서에 아래 여섯 줄이 있는지 보세요. 없으면 질문으로 보내면 돼요.
- 모델로 넘어가는 데이터 목록과 그중 개인정보가 있는지
- 보내기 전 검사를 하는지, 걸리면 막는지 알림만 하는지
- 로그에 질문 원문이 남는지, 남는다면 얼마 동안
- 월 비용 가정치(하루 건수, 건당 토큰, 모델 단가)
- 몰리거나 모델이 멈췄을 때 화면에서 어떻게 보이는지
- AI가 사내 시스템을 호출한다면 그 실행 권한을 누가 어떻게 정하는지
6번은 특히 놓치기 쉬워요. 토스도 모델을 부를 권한과 사내 도구를 실행할 권한을 아예 나눠 관리하고, 도구 실행이 허용돼도 데이터 접근 권한은 연결된 서비스에서 한 번 더 확인해요. 에이전트 권한은 AI 에이전트 권한, 어디까지 열어 줄까에서 더 자세히 다뤘어요.
8. 직접 만들고 운영해 본 쪽에서 보면요
저희도 자체 SaaS 4종을 운영하면서 같은 순서를 겪었어요. 처음 AI 기능을 붙일 때는 모델 고르는 데 시간을 제일 많이 썼어요. 그런데 운영을 해 보니 손이 더 자주 가는 곳은 얼마나 썼는지 보는 화면, 실패한 호출의 원인, 넘쳤을 때의 동작이었어요.
토스 글이 반가웠던 이유도 그거예요. 큰 회사가 “모델보다 먼저 정한 것”을 공개해 줬으니, 발주자는 이걸 질문 목록으로 쓰면 돼요. 프롬프트가 아니라 데이터·권한·응답 없는 API에서 실패가 나는 이유는 AI 도입, 프롬프트를 고쳐도 안 되는 이유에 따로 모아 뒀어요.
9. 자주 묻는 질문 (FAQ)
AI 플랫폼 도입 전에 PoC에서 뭘 확인해야 하나요?
답이 잘 나오는지에 더해 데이터 등급, 월 예상 비용, 몰릴 때의 처리량, 모델이 멈췄을 때의 동작 네 가지를 같이 보세요. PoC 비용 감각은 AI PoC 비용, 얼마면 검증할 수 있을까요를 참고하세요.
AI 기능이 하나뿐인데도 게이트웨이 같은 구조가 필요한가요?
별도 플랫폼까지는 필요 없어요. 다만 개인정보 검사, 사용량 기록, 예산 알림, 장애 시 동작은 기능이 하나여도 있어야 해요. 두 번째 기능이 생길 때 공통으로 빼면 돼요.
기업 AI 도입 사례를 보면 보안은 어디까지 챙겨야 하나요?
개인정보를 보내기 전에 거르는지, 로그에 원문이 남는지, AI가 사내 시스템을 부를 때 권한을 따로 확인하는지 세 가지는 계약 전에 문장으로 정해 두세요.
10. 마무리
저희는 10년 넘게 50개 이상의 프로젝트를 만들었고 롯데·캐논 같은 곳과도 함께해 왔어요. AI 기능도 결국 운영에서 값이 정해진다는 걸 직접 서비스를 굴리며 배웠고요. 모델은 정했는데 그다음이 막막하다면 데이터와 비용 가정부터 같이 적어 볼까요 →