[Paper] ThermEval: Vision‑Language 모델의 열영상 평가를 위한 구조화된 벤치마크

Source: arXiv - 2602.14989v1

Overview

ThermEval은 열 영상을 이해하는 비전‑언어 모델(VLM)의 성능을 평가하기 위한 최초의 대규모 벤치마크를 소개합니다. 열 영상은 야간 감시, 수색‑구조 드론, 자율 주행 차량, 의료 스크리닝 등에 사용되는 열 기반 이미지입니다. 현재 RGB 중심의 VLM이 가진 맹점을 드러냄으로써, 이 연구는 색상뿐 아니라 온도에 대해 추론할 수 있는 모델 개발을 향해 커뮤니티를 이끕니다.

주요 기여

• ThermEval‑B: 온도 기반 추론, 객체 탐지, 장면 이해를 포함한 약 55 k개의 선별된 열 시각‑질문‑답변(VQA) 쌍.
• ThermEval‑D: 실내·실외 장면에 대한 의미론적 신체 부위 주석과 함께 밀집된 픽셀 단위 온도 맵을 제공하는 새로운 데이터셋.
• 포괄적인 평가: 25개의 오픈소스 및 상용 VLM을 평가하여 온도 관련 질의에서 체계적인 실패를 밝혀냄.
• 실패 모드 분석: 모델이 언어 선입견에 의존하고, 컬러맵 변화에 취약하며, 프롬프트나 파인튜닝을 통한 개선이 거의 없음.
• 오픈소스 벤치마크 스위트(코드, 데이터, 평가 스크립트) 제공으로 재현 가능한 연구와 향후 확장을 지원.

Methodology

1. Data Assembly – Public thermal image collections (e.g., FLIR‑ADAS, KAIST) were merged with the newly captured ThermEval‑D, which includes precise temperature readings for every pixel and manual body‑part labels.
2. Question Generation – For each image, a mix of automatically generated and human‑written questions was created, targeting:
   • Temperature extraction (“What is the temperature of the car’s hood?”)
   • Relative heat reasoning (“Is the person in front hotter than the dog?”)
   • Cross‑modal inference (“Which area would be visible in the dark visible‑light image?”)
3. Benchmark Structure – Questions are grouped into 7 primitive skill categories (e.g., “absolute temperature”, “heat gradient”, “thermal occlusion”) to diagnose specific reasoning gaps.
4. Model Evaluation – Each VLM receives the thermal image (either raw 16‑bit data or a false‑color colormap) plus the question. Answers are compared against ground‑truth using exact‑match and soft‑BLEU metrics. Prompt engineering and a lightweight supervised fine‑tune (≤ 5 k examples) are also tested.

The pipeline is deliberately kept simple so that developers can plug in any VLM without needing specialized thermal preprocessing.

결과 및 발견

• 온도 기반은 거의 무작위: 최고 성능 모델도 절대 온도 질문 중 약 30 %만 정확히 답함.
• 컬러맵 취약성: 원시 열값을 가짜 색 이미지로 변환하면 전반적으로 성능이 약 20 % 감소.
• 언어 편향: 온도 정보가 모호할 때 모델은 이미지와 관계없이 고빈도 답변(“따뜻함”, “뜨거움”)을 기본 선택.
• 프롬프트는 거의 도움이 안 됨: “섭씨 온도로 답하십시오”를 추가하면 평균 정확도가 < 3 % 향상.
• 파인‑튜닝은 미미한 향상: 5 k 감독 예시가 점수를 약 5 점 올리지만, 이는 데이터 부족뿐 아니라 근본적인 아키텍처 불일치 때문임.

Practical Implications

• Safety‑critical systems (autonomous cars, UAVs) cannot rely on off‑the‑shelf VLMs for thermal perception; dedicated thermal modules or multimodal adapters are needed. → 안전‑중요 시스템(자율주행 자동차, UAV)에서는 기존 VLM에 의존해 열 인식을 할 수 없으며, 전용 열 모듈이나 멀티모달 어댑터가 필요합니다.
• Rapid prototyping: the benchmark’s modular design lets developers test custom temperature‑aware heads or sensor‑fusion pipelines without building a full dataset from scratch. → 빠른 프로토타이핑: 벤치마크의 모듈식 설계 덕분에 개발자는 전체 데이터셋을 처음부터 구축하지 않고도 맞춤형 온도 인식 헤드나 센서 융합 파이프라인을 테스트할 수 있습니다.
• Edge deployment: since raw 16‑bit thermal data is more informative than colormapped versions, pipelines should preserve the original temperature channel rather than converting to RGB for inference. → 엣지 배포: 원시 16비트 열 데이터가 컬러맵 버전보다 더 풍부한 정보를 제공하므로, 파이프라인은 추론 시 RGB로 변환하기보다 원본 온도 채널을 유지해야 합니다.
• Regulatory compliance: in medical screening (e.g., fever detection), models must demonstrate temperature‑grounded reasoning; ThermEval provides a concrete validation suite. → 규제 준수: 의료 스크리닝(예: 발열 감지)에서는 모델이 온도 기반 추론을 입증해야 하며, ThermEval은 구체적인 검증 스위트를 제공합니다.
• Research direction: the findings motivate new architectures that treat temperature as a physical scalar field (e.g., incorporating physics‑informed layers or contrastive temperature embeddings). → 연구 방향: 이번 결과는 온도를 물리적 스칼라 필드로 다루는 새로운 아키텍처(예: 물리 기반 레이어 도입 또는 대비 온도 임베딩)를 고안하도록 동기를 부여합니다.

제한 사항 및 향후 작업

• 도메인 커버리지: ThermEval‑D가 실내·실외 장면을 포괄하지만, 현재 센서 한계를 초과하는 온도 범위를 갖는 극한 환경(예: 산불, 산업용 용광로)은 포함되지 않는다.
• 주석 세분화: 신체 부위 온도 라벨이 거칠게(픽셀 수준 평균) 제공되어 의료용으로 중요한 미세 혈관 패턴을 놓칠 수 있다.
• 모델 다양성: 본 연구는 공개된 VLM에 초점을 맞췄으며, 내부 열 사전학습이 이루어진 독점 모델은 다른 행동을 보일 수 있다.
• 저자들이 제안한 향후 확장:
  1. 영상 기반 열 추론 작업 추가.
  2. LiDAR 또는 레이더와의 멀티모달 융합 확대.
  3. 원시 열 스트림에 대한 자체 지도 학습 사전학습을 탐색하여 성능 격차를 메우기.

저자

• Ayush Shrivastava
• Kirtan Gangani
• Laksh Jain
• Mayank Goel
• Nipun Batra

논문 정보

• arXiv ID: 2602.14989v1
• 분류: cs.CV, cs.AI, cs.LG
• 출판일: 2026년 2월 16일
• PDF: PDF 다운로드