[Paper] 정규화 흐름을 활용한 잠재 추론
개요
대형 언어 모델은 종종 명시적인 사고 흐름(Chain‑of‑Thought, CoT)을 생성함으로써 추론 능력을 향상시키며, 이는 중간 계산의 중요성을 보여줍니다. 그러나 텍스트 기반 CoT는 이 계산을 이산적이고 순차적이며 의사소통 중심의 토큰 스트림을 통해 강제합니다: 기본 업데이트가 의미론적이거나 불확실하거나 아직 완전히 형성되지 않은 경우에도, 각 추론 단계는 모델이 진행하기 전에 반드시 언어화되어야 합니다. 잠재 추론(latent reasoning)은 텍스트로 커밋하기 전에 압축된 연속 상태에서 중간 계산을 수행함으로써 더 높은 대역폭의 대안을 제공합니다. 하지만 기존 잠재‑추론 방법들은 자동 회귀 언어 모델에서 CoT가 효과적인 핵심 장점—왼쪽‑에서‑오른쪽으로의 자연스러운 생성, 확률적 샘플링, KV‑캐시 디코딩과의 호환성, 그리고 계산 가능한 가능도 추정—을 종종 희생합니다.
우리는 NF‑CoT를 제안합니다. 이는 정규화 흐름(normalizing flows)으로 연속적인 사고를 모델링함으로써 이러한 장점을 보존하는 잠재 추론 프레임워크입니다. NF‑CoT는 LLM 백본 내부에 TARFlow‑스타일 정규화 흐름을 구현하여, 명시적인 CoT에서 증류된 압축 연속 사고에 대한 계산 가능한 확률 모델을 정의합니다. 연속 사고 위치는 NF 헤드에 의해 생성되고, 텍스트 위치는 동일한 인과 스트림 내의 표준 LM 헤드에 의해 생성됩니다. 이 설계는 잠재 사고에 대한 정확한 가능도를 제공하고, 원래 KV 캐시를 이용한 확률적 왼쪽‑에서‑오른쪽 디코딩을 가능하게 하며, 잠재 추론 공간에서 직접 정책‑그라디언트 최적화를 지원합니다. 코드 생성 벤치마크에서 NF‑CoT는 명시적 CoT 및 기존 잠재‑추론 베이스라인보다 통과율을 높이고, 중간 추론 비용을 크게 감소시켰습니다.
주요 기여
- cs.CL
- cs.LG
방법론
자세한 방법론은 전체 논문을 참고하십시오.
실용적 함의
본 연구는 cs.CL 분야의 발전에 기여합니다.
저자
- Guancheng Tu
- Xiangjun Fu
- Suhao Yu
- Yao Tang
- Haoqiang Kang
- Lianhui Qin
- Yizhe Zhang
- Jiatao Gu
논문 정보
- arXiv ID: 2606.06447v1
- 분류: cs.CL, cs.LG
- 발표일: 2026년 6월 4일
- PDF: PDF 다운로드