robots.txt로 AI 봇을 어떻게 허용하거나 막는가?

최종 수정 2026-09-14 · 지니어스코리아

이름이 하나가 아니다

같은 회사라도 학습 자료를 모으는 크롤러와, 사용자가 질문했을 때 그 자리에서 페이지를 가지러 오는 페처의 이름이 다르다. 답변에 인용되고 싶으면서 학습에는 쓰이기 싫다면 이 구분을 알아야 한다. 이름을 뭉뚱그려 한 줄로 막으면 원하지 않던 것까지 같이 닫힌다.

허용하는 쪽으로 쓰는 법

robots.txt에 각 크롤러 이름을 User-agent로 적고 Allow 규칙을 준다. 기본값은 대체로 허용이지만, 과거에 광범위하게 막아 둔 규칙이 남아 있는 사이트가 많아 명시해 두는 편이 안전하다. 파일 끝에 사이트맵 주소를 한 줄 적어 두는 것도 같이 한다.

robots.txt만으로는 부족하다

robots.txt를 열어 두었는데도 방화벽이나 CDN의 봇 차단 규칙에서 막히는 경우가 흔하다. 이쪽은 robots.txt와 별개로 동작하고 로그에도 다르게 남는다. 실제로 열렸는지는 파일이 아니라 서버 접근 로그로 확인해야 한다.

막는 것이 답인 경우도 있다

유료 콘텐츠나 회원 전용 자료처럼 학습 자료로 흘러가면 곤란한 것이 있다면 수집용 크롤러를 닫는 선택이 합리적이다. 다만 그 선택이 답변 인용까지 닫지 않도록 이름을 갈라서 적어야 한다. 전부 막는 한 줄은 대개 의도보다 넓게 작동한다.

자주 나오는 실수 두 가지

첫째, 과거에 무단 수집을 막으려고 넣어 둔 광범위한 차단 규칙이 남아 있는 경우다. 담당자가 바뀌면서 아무도 그 줄의 존재를 모르는 일이 흔하다. 둘째, robots.txt 파일 자체가 404이거나 문법이 깨져 있는 경우다. 크롤러는 파일을 읽지 못하면 나름의 기본값으로 동작하므로 의도와 다른 결과가 난다. 둘 다 파일을 한 번 열어 보면 5분 안에 확인된다.

정리

robots.txt는 의사 표시이고 실제 결과는 로그에서 확인해야 한다. 이름을 갈라서 적고, 적은 대로 동작하는지 로그로 한 번 보는 것까지가 한 세트다.