Dify 챗봇 테스트 노트

Source: Dev.to

이 노트는 주기적으로 업데이트됩니다.

No.1 챗봇 메모리 설정

LLM에 대한 메모리 설정입니다. 이 설정은 켜거나 끌 수 있으며, 추가로 윈도우‑사이즈 하위 설정이 있습니다.

메모리가 켜져 있고 윈도우 사이즈가 정의되지 않은 경우, 챗봇은 세션의 전체 이전 프롬프트를 워크플로우에서 LLM에 전달합니다. 이는 특히 단위 테스트 중에 테스트 결과에 큰 영향을 미칠 수 있습니다. 메모리는 기본 LLM에 컨텍스트 데이터를 제공하는 데 필수적이지만, 의도치 않게 동작에 영향을 줄 수 있습니다.

예를 들어 DeepSeek 모델을 테스트할 때, 모델에게 GPT 모델처럼 행동하도록 지시하는 히스토리 프롬프트가 이후 역할 기반 테스트에 영향을 주어 DeepSeek이 GPT 행동을 모방하게 됩니다.

핵심 요점:
챗봇 테스트를 수행할 때는 의도치 않은 부작용을 방지하기 위해 적절한 메모리 윈도우 사이즈를 명시적으로 설정하거나(또는 메모리를 비활성화) 해야 합니다. 이 문제는 디버깅을 통한 블랙‑박스 테스트 중에 발견되었습니다.