같은 질문, 다른 답 — AI 답변이 매번 달라지는 기술적 이유

직접 실험해 보실 수 있습니다.

ChatGPT에게 "성수 맛집 추천해줘"를 오늘 물어보고, 내일 또 물어보세요. 답이 다릅니다.

같은 날, 새 대화창에서 연달아 물어봐도 다릅니다.

버그가 아닙니다. 설계입니다.

이번 글에서는 그 설계를 뜯어보겠습니다. 지난 편에서 AI는 매 순간 '다음 단어 확률표'를 만들고 거기서 하나를 추첨해 문장을 조립한다고 말씀드렸는데요. 오늘은 그 추첨에 달려 있는 다이얼과, 그 바깥에서 답을 흔드는 변수들 이야기입니다.

Temperature — AI의 '모험 다이얼'

모델이 매긴 점수(logit)를 확률로 바꿀 때, temperature(온도)라는 값이 개입합니다.

확률분포를 얼마나 '날카롭게' 만들지 조절하는 손잡이입니다. 큰 점수는 더 크게, 작은 점수는 바닥으로 눌러버릴 수도 있고, 반대로 격차를 완만하게 펼 수도 있습니다.

온도가 낮을 때 (T=0.2 · 안전 모드)

하고 92% · 울며 6% · 기타 2%
1등 후보에 확률이 몰림 → 뻔하지만 안정적인 답

온도가 높을 때 (T=1.2 · 모험 모드)

하고 41% · 울며 25% · 소리 18% · 거리며 9% · 기타 7%
확률이 넓게 퍼짐 → 다양하고 창의적인 답

여기서 중요한 사실이 하나 있습니다.

ChatGPT 같은 대화형 서비스는 답변이 기계적으로 똑같아지지 않도록, 일부러 0이 아닌 온도로 운영됩니다. 매번 토씨 하나 안 틀리고 같은 답을 내놓는 챗봇을 상상해 보세요 — 사용자 경험 측면에서 오히려 나쁩니다.

즉, 답이 매번 달라지는 것은 결함이 아니라 의도된 기능입니다.

온도를 0으로 내려도, 답은 고정되지 않습니다

"그럼 온도를 0으로 내리면 답이 고정되는 것 아닌가요?"

좋은 질문인데, 실제 서비스에서는 그래도 답이 흔들립니다. 변수가 온도 하나가 아니기 때문입니다.

① 추첨 자체의 무작위성

같은 확률표에서도 매번 다른 단어가 뽑힐 수 있습니다. 그리고 답변 초반에 단어 하나가 달라지면, 그 단어가 다음 예측의 문맥이 되기 때문에 그 뒤 문장 전체의 경로가 갈라집니다. 나비효과와 비슷합니다.

② 검색 결과의 변동

요즘 AI 답변 엔진은 답하기 전에 웹을 검색해 근거로 삼습니다(이 방식을 RAG — 검색 증강 생성이라고 부릅니다. 4편에서 자세히 다룹니다). 그런데 검색 결과 순위는 실시간으로 변합니다. 오늘 근거로 쓰인 문서가 내일은 다른 문서에 밀릴 수 있습니다.

③ 모델 업데이트

AI 회사들은 모델을 수시로 교체하고 개선합니다. 구글은 2026년 한 분기에만 AI Overviews와 AI 모드에 250건이 넘는 제품 업데이트를 적용했다고 밝혔습니다. 어제의 인용 패턴이 오늘 유효한지는 실측으로만 확인할 수 있습니다.

④ 질문의 미세한 차이

"성수 와인바 추천"과 "성수에 괜찮은 와인바 있어?"는 사람에겐 같은 질문이지만, AI에겐 다른 토큰 나열 — 즉 다른 입력입니다. 다른 입력은 다른 확률 계산으로 이어집니다.

여기에 구글이 공식 문서에서 밝힌 '쿼리 팬아웃(query fan-out)'까지 더해집니다. AI가 질문 하나를 받으면 관련 하위 질문 여러 개로 쪼개서 동시에 검색하는 방식인데, 어떤 하위 질문들로 쪼개지느냐에 따라 참고하는 문서 집합 자체가 달라집니다.

그래서 "100% 보장"은 기술적으로 성립하지 않습니다

정리하면 이렇습니다.

답변은 확률 추첨으로 조립되고
그 추첨에는 의도된 무작위성이 들어 있으며
참고하는 검색 결과가 실시간으로 변하고
모델 자체도 분기마다 수백 번 바뀝니다

이 네 겹의 변동성 위에서 "특정 시점에 특정 답변에 등장시켜 드린다"고 약속할 수 있는 주체는 존재하지 않습니다.

플랫폼 스스로도 같은 말을 합니다. 구글 공식 가이드의 문장을 그대로 옮기면 —

"어떤 서드파티 도구도 우리의 내부 랭킹·AI 시스템에 접근할 수 없다." — Google Search Central (2026.5)

네이버 역시 플레이스 순위나 상위노출을 대행하는 '공식 파트너'를 두지 않습니다. 그래서 저희는 늘 말씀드립니다. 항상 보장해준다고 하는 업체는 "사기"입니다.

그럼 뭘 할 수 있나 — 분포를 움직이는 일

주사위를 조작할 수는 없습니다.

하지만 주사위 눈의 분포를 바꿀 수는 있습니다.

AI가 어떤 확률표를 만들지는 결국 두 가지가 결정합니다. 학습한 데이터, 그리고 답변 시점에 검색해서 읽는 문서.

이건 저희 주장만이 아니라 실험으로 확인된 사실입니다. 프린스턴대 연구진의 KDD 2024 논문(GEO)은 1만 개 질의로 실험해, 콘텐츠에 통계·출처·인용을 보강하는 것만으로 AI 답변 내 가시성이 최대 40% 상승함을 보였습니다. 특히 흥미로운 발견은 — 검색 순위 1위 페이지보다 5위권 페이지가 최적화 효과를 가장 크게(최대 115% 개선) 받았다는 점입니다.

무슨 뜻이냐면, 이미 1등인 대형 브랜드보다 아직 상위권이 아닌 중소 업장에게 이 게임의 개선 여지가 훨씬 크다는 뜻입니다.

이 두 세계(학습 데이터 + 검색 문서)에 우리 업장의 기록이 AI가 읽기 좋은 구조로 꾸준히 쌓여 있다면, 매 추첨에서 우리가 뽑힐 확률 자체가 올라갑니다.

한 번의 노출을 쫓는 게 아니라, 분포를 움직이는 일. 그게 저희가 하는 일입니다.

노출에 집착하지 않으면, 이 변동성이 오히려 편해집니다

실제로 저희 고객 사장님들은 오늘의 노출 여부에 일희일비하지 않으십니다.

주사위 한 번의 결과가 아니라, 이번 달에 쌓인 기록의 편수와 인용률의 추이를 보십니다. 그래서 마음 편하게 쌓아가시고 — 몇 달 꾸준히 쌓으신 분들은 대부분, AI들이 선호하는 구조의 글이 여러 채널에 배포되면서 인용이 늘어나는 흐름을 실측 데이터로 확인하십니다.

다만 그것도 확률의 결과이지, 약속의 결과가 아닙니다. 이 문장은 시리즈 내내 반복하겠습니다.

오늘의 세 문장 요약

AI는 답변의 다양성을 위해 일부러 무작위성(temperature)을 켜둔 채 운영됩니다.
여기에 검색 변동·모델 업데이트·질문 표현까지 겹쳐, 특정 시점 노출을 확정할 수 있는 주체는 없습니다 — 구글도 공식 문서로 인정한 사실입니다.
대신 프린스턴 연구가 보여주듯, 분포(확률) 자체는 콘텐츠로 움직일 수 있고, 하위권일수록 개선 폭이 큽니다.

다음 편 예고

확률을 올리려면 일단 AI가 우리 글을 '읽을 수' 있어야 합니다.

그런데 AI는 사람이 보는 방식으로 글을 읽지 않습니다. 사람 눈에는 예쁜 홈페이지가 AI에게는 빈 페이지인 이유, 그리고 프린스턴 논문이 실험으로 검증한 '통하는 글쓰기 9가지'를 다룹니다.

👉 BrandBloom 시작하기 — brandbloom.kr

참고 자료

Google Search Central, "Optimizing your website for generative AI features on Google Search" (2026.5) — RAG·쿼리 팬아웃·서드파티 도구 경고
Aggarwal et al., "GEO: Generative Engine Optimization", ACM KDD 2024 — 1만 질의 실험, 최대 40% 가시성 개선, 하위권 페이지 최대 115% 개선
Search Engine Journal, Google AI 검색 가이드 보도 (2026.5)

※ AI 검색 노출은 질문, 시점, 경쟁 상황 및 플랫폼 정책에 따라 달라지는 확률의 영역이며, 특정 결과를 보장할 수 없습니다.