AI 학습은 막고 검색은 남기려면 | 사이트 설정 5가지
클라우드플레어가 2026년 9월 15일 검색 노출은 지키면서 AI 학습만 거부하는 설정을 열었어요. 검색 봇을 막는 사이트는 1% 미만인데 학습을 막는 사이트는 17%예요. 애플·구글·마이크로소프트의 대응과 우리 사이트에서 정할 5가지를 정리했어요.
📰 2026년 9월 21일 기준 최신 소식 | 이 글은 특정 시점의 뉴스를 다루고 있어요.
지난주 클라우드플레어가 설정 하나를 열었어요. 이름은 Disallow AI Training. 우리 사이트를 검색에는 계속 노출하면서, 같은 회사의 AI 학습에는 쓰지 못하게 막는 설정이에요.
작아 보이는 변화인데, 웹사이트를 가진 회사 입장에서는 몇 년 묵은 고민 하나가 풀린 거예요.
1. 지금까지는 왜 둘 중 하나만 골라야 했을까요
큰 회사들이 검색과 AI 학습에 같은 수집기를 썼기 때문이에요.
웹사이트를 돌아다니며 내용을 읽어 가는 프로그램을 크롤러라고 불러요. 예전에는 역할이 단순했어요. 검색 결과에 우리 페이지를 올리려고 읽어 갔죠. 그래서 막을 이유가 거의 없었어요.
그런데 같은 수집기가 읽어 간 내용이 AI 모델 학습에도 쓰이기 시작했어요. 여기서 선택이 잔인해졌어요. 학습에 쓰이는 게 싫어서 막으면 검색 결과에서도 같이 사라지는 구조였거든요. 검색 유입으로 문의를 받는 회사에게 이건 선택지가 아니라 협박에 가까웠어요.
2. 클라우드플레어가 9월 15일에 무엇을 내놨나요
두 가지예요. 설정 하나와, 크롤러를 가르는 이름표 하나.
| 공식 외부 기준 (Cloudflare 발표, 2026년 9월 15일) | 내용 |
|---|---|
| Disallow AI Training | 검색 색인은 유지하면서 학습용 수집만 거부하는 설정 |
| Accountable 지정 | 게시자의 선택권과 투명성 요건을 충족했거나 충족을 약속한 크롤러에 부여 |
| 현재 지정된 곳 | 애플(Applebot) · 구글(Googlebot) · 마이크로소프트(Bingbot) |
| 나머지 수집기 | 클라우드플레어 네트워크가 식별해 차단 |
| 공개 기록 | 각 운영사가 실제로 어떻게 행동했는지 Radar에 보고 |
핵심은 선언과 집행을 갈라 놓았다는 점이에요. robots.txt에 적는 건 어디까지나 의사 표시라서, 지키지 않는 수집기에는 힘이 없었어요. 이번에는 의사 표시를 남기되, 따르지 않는 쪽은 네트워크 단에서 막는 구조예요.
용어 정리 — robots.txt: 사이트 최상단에 두는 텍스트 파일이고, 어떤 수집기에 어디를 열어 줄지 적어요. 색인(indexing): 검색엔진이 페이지를 저장해 두고 검색 결과에 꺼내 쓰는 일이에요. 학습(training): 수집한 글을 AI 모델을 만드는 재료로 쓰는 일이고요. 실무에서는 “색인은 열고 학습은 닫는다”처럼 말해요.
3. 사이트 17%는 이미 막고 있어요
숫자가 이 변화의 이유를 그대로 보여 줘요.
| 공식 외부 기준 (Cloudflare 집계) | 비율 |
|---|---|
| 검색 봇을 막는 사이트 | 1% 미만 |
| 학습을 막는 수단을 쓰는 사이트 | 17% |
검색은 거의 아무도 막지 않아요. 반대로 학습은 여섯 곳 중 한 곳꼴로 막고 있고요. 원하는 게 이렇게 갈리는데 스위치가 하나뿐이었으니, 세밀한 조절 장치가 필요했던 거예요.
국내 회사에 옮겨 보면 이렇게 읽혀요. 검색 유입은 지켜야 하고, 우리가 쌓은 자료가 남의 모델 재료로 쓰이는 건 각자 판단할 일이라는 뜻이에요. 둘을 따로 정할 수 있게 됐으니, 이제는 정하지 않는 것도 하나의 선택이 돼요.
4. robots.txt로 어디까지 되고, 어디부터 안 되나요
회사마다 지원 상태가 달라요. 같은 날 발표됐다고 해서 전부 지금 동작하는 건 아니에요.
| 수집기 | 학습 거부 방법 | 지금 쓸 수 있나 |
|---|---|---|
| 애플 Applebot | Applebot-Extended로 학습용 수집만 거부 | 가능 |
| 구글 Googlebot | Google-Extended로 학습용 수집만 거부 | 가능 |
| 마이크로소프트 Bingbot | robots.txt 기반 선택 지원 예정 | 2027년 초 예정 |
즉 지금 robots.txt만 손보면 두 곳에는 뜻이 전달되고, 한 곳은 기다려야 해요. 그리고 이 세 곳 바깥의 수집기는 robots.txt를 읽고도 무시할 수 있어서, 파일 편집만으로는 부족해요. 클라우드플레어 같은 앞단 서비스를 쓰고 있다면 그쪽 설정까지 같이 봐야 실제로 막혀요.
5. AI 에이전트가 방문하는 건 또 다른 갈래예요
검색·학습 말고 세 번째 방문이 빠르게 늘고 있어요. 사용자가 AI 어시스턴트에게 질문하면, 그 자리에서 우리 페이지를 읽어 답을 만드는 경우예요. 학습용 수집도 아니고 검색 색인도 아니에요.
이 방문은 막을지 말지가 애매해요. 막으면 AI 답변에서 우리 회사가 사라지고, 열면 방문자가 우리 사이트까지 오지 않고 답만 가져갈 수 있거든요. 정답이 아직 없는 영역이라 우리 사업에서 검색 유입이 얼마나 중요한지로 판단하는 수밖에 없어요.
방향을 바꿔 보면 이야기가 하나 더 붙어요. 사내 AI 에이전트를 도입한 회사는 반대편, 그러니까 수집하는 쪽이 돼요. 사내 문서만 읽는 구조라면 상관없지만, 외부 페이지를 읽어 답을 만드는 구조라면 상대 사이트의 robots.txt와 이용약관을 확인하는 절차가 필요해요. AI 에이전트 도입을 검토할 때 요구사항 목록에서 자주 빠지는 항목이에요.
6. 우리 회사 사이트라면 무엇부터 정해야 할까요
페이지를 통째로 보지 말고 성격으로 갈라 보세요. 다섯 가지만 정하면 돼요.
- 우리만 가진 자료가 어디에 있나요 — 가격표, 기술 문서, 사례, 자체 조사 자료.
- 그 자료로 무엇을 얻고 있나요 — 검색 유입인가요, 영업 자료인가요.
- 검색은 열고 학습은 닫을 대상을 고르세요 — 대개 블로그와 사례가 여기예요.
- 둘 다 닫을 대상이 있나요 — 로그인 뒤 페이지, 고객 전용 문서.
- 정한 내용을 어디에 적을까요 — robots.txt, 앞단 서비스 설정, 이용약관.
흔한 실수는 robots.txt만 고치고 끝내는 것이에요. 앞단에서 막지 않으면 규칙을 무시하는 수집기에는 아무 효과가 없어요. 반대로 앞단에서 전부 막아 버리는 것도 위험해요. 검색 봇까지 걸려 유입이 조용히 사라지는데, 순위가 떨어진 걸 알아차리기까지 보통 몇 주가 걸려요.
7. 운영까지 보면 무엇이 달라질까요
한 번 설정하고 끝나는 일이 아니라는 점이에요. 수집기 이름은 계속 생기고, 지원 시점도 회사마다 달라요. 마이크로소프트만 해도 2027년 초예요.
저희는 자체 SaaS 4종을 직접 운영하면서 배운 게 하나 있어요. 설정해 둔 것과 실제로 그렇게 도는 것은 다르다는 점이에요. 그래서 켜 놓은 규칙은 주기적으로 실제 로그로 확인해요. 크롤러 정책도 같아요. 막았다고 적어 둔 수집기가 여전히 들어오고 있는지, 반대로 검색 봇이 막혀 버리지는 않았는지는 로그를 봐야 알 수 있어요.
홈페이지를 새로 만들거나 고칠 계획이 있다면, 요구사항에 한 줄 넣어 두세요. “수집기 접근 정책을 페이지 유형별로 설정할 수 있고, 접근 로그를 확인할 수 있을 것.” 나중에 붙이면 구조를 다시 손대야 하는 경우가 많아요.
AI를 어디서부터 다뤄야 할지 막막하다면, 우리 사이트와 자료부터 같이 짚어 드릴게요 →
저희는 10년 넘게 50개 이상의 프로젝트를 진행하고 자체 SaaS 4종을 직접 운영해온 개발사예요. 롯데·캐논 같은 곳과도 함께해 왔고요.
관련해서 함께 보면 좋은 글
8. 자주 묻는 질문
AI 학습을 막으면 검색 순위가 떨어지나요?
이번 설정의 목적이 바로 그 걱정을 없애는 거예요. 지금까지는 하나의 크롤러가 검색 색인과 AI 학습을 함께 하는 경우가 많아서, 학습을 거부하면 색인까지 빠질 위험이 있었어요. 애플과 구글은 robots.txt에서 학습용 수집만 따로 거부하는 방법을 이미 제공하고, 마이크로소프트는 지원 예정이에요. 다만 이 신호를 따르지 않는 수집기는 별도로 차단해야 해요.
우리 회사 홈페이지는 콘텐츠가 많지 않은데 신경 쓸 필요가 있나요?
페이지 수보다 성격이 기준이에요. 가격표, 기술 문서, 사례처럼 우리만 가진 정보가 있다면 정해 두는 편이 좋아요. 반대로 회사 소개와 연락처 위주라면 검색 노출을 열어 두는 쪽이 이득인 경우가 많고요. 결정을 미루는 건 사실상 전부 허용을 고른 것과 같으니, 한 번은 짚고 넘어가는 게 좋아요.
사내 AI 에이전트를 도입하면 우리도 다른 사이트를 수집하게 되나요?
그럴 수 있어요. 사내 AI 에이전트가 외부 페이지를 읽어 답을 만드는 구조라면 우리 회사가 수집하는 쪽이 돼요. 이때는 상대 사이트의 robots.txt와 이용약관을 읽는 절차를 에이전트 설계에 넣어 두는 게 안전해요. AI 에이전트 도입을 검토할 때 보통 빠지는 항목이라 착수 전에 확인해 두면 좋아요.
9. 마무리
검색 노출과 AI 학습이 드디어 따로 정해지게 됐어요. 애플과 구글은 지금 되고, 마이크로소프트는 2027년 초예요.
할 일은 많지 않아요. 우리만 가진 자료가 어디 있는지 찾고, 그 페이지를 검색에는 열고 학습에는 닫을지 정하고, 설정한 대로 도는지 로그로 한 번 확인하기. 스위치가 둘로 갈렸으니, 이제는 고르지 않는 것도 고른 셈이 돼요.