AI는 같은 질문에 매번 같은 답을 주는가?

최종 수정 2026-09-14 · 지니어스코리아

무엇이 흔들리는가

같은 질문을 연달아 던져도 인용되는 사이트 목록이 매번 같지 않다. 답변 문장이 비슷해 보여도 근거로 달린 링크는 바뀌어 있는 경우가 많다. 브랜드가 언급됐는지만 보면 이 변화가 안 보인다.

왜 이게 문제인가

콘텐츠를 고친 뒤 한 번 재서 이름이 나왔다면, 그것이 고친 덕분인지 원래 오락가락하던 것이 이번에 맞은 것인지 가릴 방법이 없다. 반대로 안 나왔다고 실패라고 단정할 수도 없다. 판단의 근거가 아예 성립하지 않는다.

그래서 어떻게 재야 하는가

아무것도 바꾸지 않은 상태에서 같은 질문을 여러 번, 여러 날에 걸쳐 돌린다. 그렇게 해서 원래 얼마나 흔들리는지를 먼저 잰다. 그 폭보다 큰 변화만 효과로 읽는다. 이 작업을 건너뛰면 이후 모든 수치가 해석 불가능해진다.

함께 고정해야 할 것

로그인한 화면과 로그아웃 화면, 업체가 파는 API로 부른 응답은 서로 다른 결과를 준다. 어느 쪽으로 쟀는지 기록해 두지 않으면 나중에 비교가 안 된다. 도중에 환경을 바꾸면 그 전후는 이어 붙일 수 없다.

무엇이 흔들림을 키우는가

질문 문장이 짧고 일반적일수록, 그리고 후보가 많은 주제일수록 흔들림이 커진다. 반대로 고유명사가 들어가 답이 거의 하나로 정해지는 질문은 비교적 안정적이다. 그래서 브랜드 이름이 든 질문으로 잰 안정성을 카테고리 질문에 그대로 적용하면 안 된다. 질문 묶음별로 흔들림을 따로 재 두는 편이 낫다.

정리

AI 답변 측정에서 가장 먼저 해야 하는 일은 콘텐츠를 고치는 것이 아니라 흔들림의 폭을 재는 것이다. 그게 없으면 이후에 무엇을 해도 좋아졌다는 말을 할 수 없다.