[논문] IS-CoT: 교차 구조적 사고로 장문 생성 붕괴 극복

출처: arXiv - 2606.09709v1

개요

일관되고 제어 가능한 장문 콘텐츠 생성은 대형 언어 모델(LLM)에게 지속적인 과제입니다. 추론 강화 모델이 논리 중심 분야에서 성공을 거두었지만, 우리의 평가에서는 이 모델들이 개방형 글쓰기에서 심각한 길이 붕괴 현상을 보인다는 점을 발견했습니다. 목표 길이가 2,000단어를 초과하면 성능이 급격히 저하됩니다. 우리는 이러한 실패를 정적 계층적 계획의 한계 때문이라고 판단합니다. 정적 계획은 확장된 컨텍스트에 대해 동적인 안내를 제공하는 데 어려움을 겪습니다. 이 격차를 메우기 위해 우리는 Interleaved Structural Chain-of-Thought (IS‑CoT) 프레임워크를 도입합니다. 외부 에이전트 워크플로와 달리, IS‑CoT는 생성 과정에 동적인 계획‑작성‑반성 사이클을 내재시켜 지속적인 전략 적응과 전역 정렬을 추가적인 지원 없이 가능하게 합니다. 이 프레임워크를 기반으로 다중 교사 파이프라인을 통해 인터리브된 추론 트레이스 고품질 데이터셋을 구축하고, IS‑Writer‑8B를 학습시켰습니다. 실험 결과, IS‑Writer‑8B는 도전적인 장문 벤치마크에서 최첨단 성능을 달성했으며(예: LongBench‑Write에서 DeepSeek‑V3.2 대비 +3.08), 길이 준수와 일관성 면에서 훨씬 큰 상용 모델과 경쟁할 수 있음을 보여줍니다.

핵심 기여

이 논문은 다음 분야의 연구를 제시합니다.

• cs.CL

방법론

자세한 방법론은 전체 논문을 참고하십시오.

실용적 함의

본 연구는 cs.CL 분야의 발전에 기여합니다.

저자

• Zechen Sun
• Yuyang Sun
• Zecheng Tang
• Juntao Li
• Wenpeng Hu
• Wenliang Chen
• Zhunchen Luo
• Guotong Geng
• Min Zhang

논문 정보

• arXiv ID: 2606.09709v1
• 분류: cs.CL
• 출판일: 2026년 6월 8일
• PDF: PDF 다운로드