내 사이트에는 어떤 봇들이 오는가?

최종 수정 2026-09-14 · 지니어스코리아

AI 크롤러와 실시간 페처

07:13~08:40(UTC) 구간에서 ClaudeBot 2건(216.73.217.84), Claude-User 4건(34.162.191.81), ChatGPT-User 2건(9.129.46.0·9.129.46.5)이 들어왔다. 모두 응답 코드 200, 응답 시간 1~4ms. 가져간 경로는 /·/about·/bot.html·/robots.txt·/sitemap.xml뿐이다.

검색 크롤러

08:39:01~08:39:46에 Googlebot이 5건 들어왔다(66.249.66.192·66.249.66.194). /robots.txt → / → /assets/*.css → /assets/*.js 순서로 스크립트와 스타일까지 요청했다. 같은 시각 AI 페처들은 문서 하나만 가져갔다.

AI 에이전트 디렉터리 봇

08:37:33~08:37:35, AgentTrustBot/1.0(129.121.99.17)이 2초 동안 6건을 훑었다 — /robots.txt와 /.well-known/ 아래 agent-card.json·agent.json·agents.json·mcp/server-card.json·mcp. User-Agent에 purpose=AI Agent Discovery라고 적혀 있다.

취약점 스캐너

07:45:11~07:45:12, Go-http-client/1.1(81.171.72.135)이 1초 동안 /backup.sql·/dump.sql·/database.sql·/config.xml을 훑었다. 당시 서버는 이 존재하지 않는 파일 전부에 200을 돌려주고 있었다.

정리

로그를 켜 두기 전에는 이 중 어느 것도 보이지 않았다. AI 인용을 논하기 전에 "누가 실제로 오는가"를 아는 것이 먼저이고, 그 답은 도구가 아니라 자기 서버 로그에 있다. (단일 도메인 하루치. User-Agent는 위조 가능해 IP 검증까지 하지 않은 1차 식별이다.)