실험: 반복 사용이 RAG와 유사한 설정에서 ChatGPT 5.4 출력에 영향을 미칩니까?

Source: Dev.to

Test Setup

우리는 ChatGPT 5.4 를 웹사이트 챗봇에 통합하여 다양한 환경(주 웹사이트)에서 일련의 실험을 진행하고 있습니다. 목표는 현실적인 사용자 행동을 시뮬레이션하고 시간이 지남에 따라 모델이 어떻게 반응하는지 관찰하는 것입니다.

챗봇은 웹사이트 콘텐츠에만 근거해 답변하도록 설계되었습니다(RAG‑유사 접근). 우리는 실제 사용을 모방하기 위해 제품 비교와 같은 반복적인 패턴을 의도적으로 테스트했으며, 이는 합성 벤치마크가 아니라 실제 사용 상황에 가깝게 만들기 위함이었습니다.

Observation

어느 순간 실제 사용자가 다음과 같이 물었습니다:

“How can you help my ecommerce?”

답변은 다음과 같았습니다:

“I can help your e‑commerce by answering visitors …, for example asking how many people they cook for to recommend the right cast iron pot, or asking for a price range to help them find products …”

What’s Interesting

그 응답은 우리가 수동으로 테스트해 온 정확한 상호작용 패턴을 그대로 반영했습니다. 일반적인 설명이 아니라, 우리의 테스트 시나리오와 일치하는 가이드형 질문 스타일을 따랐습니다.

Possible Explanations

• 시간에 따른 프롬프트 컨디셔닝 – 일관된 시스템 프롬프트와 반복되는 사용자 패턴이 모델 행동에 영향을 미칠 수 있습니다.

Broader Question for Builders

구조화된 환경(챗봇, RAG 시스템, 제품 어시스턴트)에서 LLM을 배포할 때, 반복적인 실제 사용이 출력에 측정 가능한 변화를 일으키나요?

아니면 우리는 일관된 프롬프트와 컨텍스트 주입 덕분에 단순히 정렬도가 향상된 것을 관찰하고 있는 건가요?

Why This Matters

사용 패턴이 출력에 (간접적으로라도) 영향을 미친다면, 테스트는 단순한 평가를 넘어 시스템의 지속적인 적응 과정의 일부가 됩니다.

Implications for RAG Pipelines

• 비슷한 효과를 경험한 적이 있나요?
• 반복적인 실제 사용 패턴 이후에 시스템이 다르게 동작하나요?

노트를 비교해 봅시다.