수집 크롤러와 실시간 페처는 무엇이 다른가?

최종 수정 2026-09-14 · 지니어스코리아

돌아다니는 시점과 이유가 다르다. 수집 크롤러는 사용자와 무관하게 미리 돌고, 실시간 페처는 누군가 질문한 바로 그 순간에 움직인다. 업체들이 이 둘에 서로 다른 이름을 붙여 둔 이유도 여기에 있다.

한 표로

항목내용
언제 오는가수집 크롤러는 사용자 활동과 무관하게 주기적으로 사이트를 돈다. 실시간 페처는 누군가 그 주소를 언급했거나 최신 정보가 필요한 질문을 던졌을 때만 나타난다. 그래서 로그에서 시각만 봐도 성격이 갈린다. 우리 사이트에서도 페처의 요청 시각은 우리가 엔진에 질문을 던진 시각과 몇 초 안에 맞아떨어졌다.
무엇을 남기는가수집 크롤러는 robots.txt와 사이트맵을 먼저 확인하고 여러 경로를 훑는다. 실시간 페처는 특정 주소 한두 개만 집어서 가져간다. 우리 로그에서도 이 차이가 그대로 보였다. 다만 실시간 페처 중에도 robots.txt를 먼저 확인하고 사이트맵까지 보는 쪽이 있어서, 패턴만으로 완벽히 가르기는 어렵다.
차단의 의미가 다르다수집 크롤러를 막는 것은 학습 자료로 쓰이지 않겠다는 의사 표시에 가깝다. 실시간 페처를 막으면 사용자가 우리 주소를 직접 주었을 때조차 내용을 읽지 못하게 된다. 한 줄로 전부 막으면 후자까지 닫힌다. "AI에 학습되기는 싫지만 답변에는 나오고 싶다"는 요구는 이름을 갈라 적어야만 성립한다.
어느 쪽이 답변에 직접 닿는가사용자가 주소를 주거나 최신 정보를 물었을 때 답변에 들어가는 내용은 그 자리에서 가져온 문서에서 나온다. 다만 애초에 후보로 떠오르려면 색인에 들어가 있어야 하고 그건 수집 쪽의 문제다. 어느 하나만 열어 두면 반쪽이 된다고 보는 편이 안전하다. 실제로 둘의 관계를 공표한 벤더는 없다.

정리

봇 이름을 하나로 묶어 다루면 의도와 다른 결과가 난다. 최소한 수집용과 페처용은 갈라서 허용 여부를 정하고, 적은 대로 동작하는지 서버 로그에서 한 번 확인하는 것까지가 한 세트다.