컴퓨터 비전을 활용한 LLM용 실시간 환각 방지 시스템 구축

Source: Dev.to

Introduction

LLM은 환각을 일으킵니다. 대부분의 솔루션은 더 나은 프롬프트, 검색 기반 생성(RAG), 혹은 파인‑튜닝에 초점을 맞추어 언어 모델 자체 안에서 문제를 해결하려고 합니다.

SENSE는 실시간 프레임워크로, LLM이 제시한 세계에 대한 주장들을 컴퓨터 비전을 이용해 실시간 시각 입력과 대조하고, 사용자에게 전달되기 전에 모순을 표시합니다. 이는 프롬프트 엔지니어링이나 RAG가 아니라 실시간 시각 감사 루프입니다.

System Overview

SENSE는 세 가지 핵심 축으로 구성됩니다:

1. VisionProbe – “눈” 역할.

   • 비디오 프레임과 LLM 주장의 리스트를 입력받습니다.
   • 객체 탐지를 수행하고, 신뢰도 점수와 바운딩 박스를 포함한 탐지된 객체들을 반환합니다.

2. LogicGate – “판사” 역할.

   • LLM의 주장과 탐지된 객체를 비교합니다.
   • 시각 결과가 신뢰도 임계값을 충족하지 못하면 해당 주장을 검증되지 않음 또는 모순으로 표시합니다.

3. TemporalTracker – “기억” 역할.

   • 프레임 간 탐지를 버퍼링합니다.
   • 일시적인 탐지 누락(예: 객체가 순간적으로 가려진 경우)으로 인한 거짓 부정(false negative)을 방지합니다.

Processing Loop

# Python example
llm_claim = ["laptop", "person", "red vase", "mouse", "book", "vase on desk"]

while cap.isOpened():
    ret, frame = cap.read()
    results = probe.probe_batch([frame], llm_claim)   # VisionProbe
    tracker.update(results)                          # TemporalTracker
    buffered_results = tracker.get_buffered_detections(results)
    final_report = gate.audit(llm_claim, buffered_results)  # LogicGate
    viz.draw_results(frame, buffered_results, final_report, is_video=True)

Every frame: detect → buffer → audit → visualize. The pipeline runs in real time on live video.

Visualizer

Visualizer 모듈은 결과를 비디오 프레임에 직접 그립니다:

• Green boxes – 시각으로 확인된 LLM 주장.
• Red boxes – 탐지되었지만 LLM이 주장하지 않은 객체(모델이 놓친 부분).
• Orange labels – 시각적 증거가 없는 LLM 주장.
• FPS counter – 처리 속도를 표시(실시간 성능이 필수).

Current Framework Features

• 실시간 비디오 루프와 라이브 감사.
• 거짓 부정을 줄이기 위한 시간 버퍼링.
• 임계값 조정 가능한 LogicGate(기본 threshold=0.3).
• GPU 가속 VisionProbe.

Upcoming Enhancements

• Spatial reasoning – 장면에 무엇이 있는지뿐 아니라 어디에 있는지도 검증(예: “책상 위의 꽃병”).
• Relational claims – “노트북이 마우스 옆에 있다”와 같이 객체 간 관계를 이해해야 하는 문장을 처리.
• LLM feedback loop – 감사 결과를 LLM에 다시 전달해 자체 교정이 가능하도록 하여 폐쇄 루프 시스템을 완성.
• Benchmarking – 표준 환각 데이터셋에 대해 평가하여 정량적인 기반 정확도를 확보.

Significance

실시간 시각 기반 정착을 이용한 다중모달 환각 탐지는 아직 충분히 탐구되지 않은 분야입니다. 기존 연구는 대부분 사후 텍스트 평가나 검색 기반 생성에 초점을 맞춥니다. 실시간 비전 기반 감사 레이어는 아키텍처적으로 새롭고 로봇공학, 자율 시스템, 증강 현실 등에서 구체적인 활용 가능성을 가집니다.

Code and Requirements

• GitHub repository:
• Requirements: Python, PyTorch, OpenCV, and a GPU (recommended). Input can be a webcam stream or a video file.