Googlebot과 AI 크롤러는 같은 페이지에서 무엇을 다르게 가져가는가?
최종 수정 2026-09-14 · 지니어스코리아
같은 주소인데 가져간 것이 달랐다. 구글 크롤러는 문서와 스타일과 스크립트를 모두 요청했고, AI 페처들은 문서 하나만 요청했다. 우리 사이트에 요청 로거를 붙여 놓고 각 엔진에 같은 주소를 열어 보라고 시킨 뒤, 같은 시간대의 로그를 나란히 놓고 비교한 결과다.
한 표로
| 항목 | 내용 |
|---|---|
| 구글 검색 크롤러 | robots.txt를 먼저 확인한 뒤 문서를 가져갔고, 이어서 스타일 파일과 스크립트 파일을 차례로 요청했다. 스크립트는 한 번 더 요청해 갔고 그때는 응답에 시간이 좀 더 걸렸다. 페이지를 실제로 그려 본다는 뜻이다. 이미지 전용 크롤러가 따로 들어와 사이트 아이콘을 요청하기도 했는데, 그 파일이 없어서 없다는 응답을 받아 갔다. |
| ChatGPT 실시간 페처 | 요청은 문서 주소 한 건뿐이었고 응답 시간은 1밀리초대였다. 스타일이나 스크립트를 가지러 오지 않았고, robots.txt도 이 시점에는 따로 확인하지 않았다. 받은 문서를 그대로 읽는다는 뜻이다. 두 차례 들어왔는데 두 번 다 같은 패턴이었고, 접속한 주소 대역도 같은 계열이었다. |
| Claude 실시간 페처 | 본문을 가져가기 전에 robots.txt를 확인했고, 사이트맵과 하위 문서도 요청했다. 문서를 여러 개 집어 간다는 점에서 ChatGPT 쪽보다 범위가 넓었다. 다만 스타일이나 스크립트는 한 번도 요청하지 않았다. 문서 단위로 움직이고 화면을 그리지 않는다는 점은 ChatGPT 쪽과 같다. |
| Perplexity | 주소를 직접 주며 열어 보라고 두 번 시켰으나 한 시간치 로그 전체에 요청이 남지 않았다. 답변은 "불러오지 못했다"였고 출처로는 질문과 무관한 기관 사이트가 달렸다. 같은 시각 같은 주소를 외부에서 열면 정상이었고 다른 엔진의 페처는 잘 들어왔다. 우리가 관측한 범위에서는 임의 주소를 그 자리에서 가져오지 않는 것으로 보인다. |
정리
정리하면, 구글에서 잘 보인다는 사실은 AI 답변 쪽의 근거가 되지 않는다. 본문이 스크립트로 그려지는 사이트에서 이 차이가 그대로 결과로 나타난다. 단일 도메인 하루치 관측이고 User-Agent는 위조가 가능하므로, 일반화하려면 더 많은 사이트와 기간이 필요하다.