[Paper] Diffusion Language Models를 위한 Self-Augmenting Retrieval

Source: arXiv - 2606.06474v1

개요

이산 확산 언어 모델은 전체 응답을 병렬로 점진적으로 디노이징하면서 텍스트를 생성합니다. 각 단계에서 마스크된 모든 위치에 대해 잠정적인 토큰을 예측하고, 자신 있는 예측은 출력에 확정하고 자신 없는 예측은 버립니다. 우리는 버려진 토큰들이 실제로 검색‑증강 생성에 유용한 선행 신호임을 보여줍니다: 낮은 신뢰도의 토큰이라도 디노이징 경로 초기에 중요한 엔터티를 드러내어, 최종 출력이 확정되기 전에 더 강력한 증거를 검색할 수 있게 합니다. 우리는 이를 Self‑Augmenting Retrieval for Diffusion Language Models (SARDI) 라는 동적 RAG 프레임워크를 통해 활용합니다. SARDI는 이러한 선행 토큰을 이용해 디노이징 과정 중 검색을 안내합니다. SARDI는 학습이 필요 없으며, 검색 엔진에 독립적이고, 모든 추론 능력을 갖춘 이산 확산 언어 모델에 적용할 수 있습니다. 다섯 개의 다중 홉 QA 벤치마크에서 SARDI는 현재 학습‑무료 확산 및 자동회귀 검색 베이스라인을 최고 $8\times$ 높은 처리량으로 능가합니다.

주요 기여

• cs.CL
• cs.AI
• cs.LG

방법론

자세한 방법론은 전체 논문을 참고하시기 바랍니다.

실용적 함의

이 연구는 cs.CL 분야의 발전에 기여합니다.

저자

• Paul Jünger
• Justin Lovelace
• Linxi Zhao
• Dongyoung Go
• Kilian Q. Weinberger

논문 정보

• arXiv ID: 2606.06474v1
• Categories: cs.CL, cs.AI, cs.LG
• 출판일: June 4, 2026
• PDF: PDF 다운로드