[Paper] InCoder-32B-Thinking: 사고를 위한 산업용 코드 월드 모델

Source: arXiv - 2604.03144v1

Overview

논문에서는 InCoder‑32B‑Thinking이라는 대형 언어 모델(LLM)을 소개한다. 이 모델은 저수준 코드(예: Verilog, CUDA 커널)를 작성할 뿐만 아니라, 숙련된 엔지니어가 하드웨어 제약, 타이밍, 오류 정정에 대해 어떻게 사고하는지를 모방한 thinking traces를 생성한다. 새로운 “Error‑driven Chain‑of‑Thought”(ECoT) 데이터셋과 도메인 특화 Industrial Code World Model(ICWM)으로 학습함으로써, 모델은 컴파일 전에 실행 결과를 예측하고 제안 사항을 스스로 검증할 수 있어, 일반 코드 생성기와 칩 설계, GPU 최적화, 임베디드 시스템에서 요구되는 섬세한 추론 사이의 격차를 메운다.

주요 기여

• Error‑driven Chain‑of‑Thought (ECoT) synthesis – 하드웨어 툴체인으로부터 구체적인 오류 피드백이 추가된 대화에서 다중 턴 추론을 추출하는 프레임워크.
• Industrial Code World Model (ICWM) – 방대한 실행 트레이스(Verilog 시뮬레이션 로그, GPU 프로파일링 데이터 등)로 파인‑튜닝된 320억 파라미터 LLM으로, 코드와 하드웨어 동작 간의 인과 관계를 학습함.
• Self‑verification capability – 모델이 실제 코드를 실행하기 전 시뮬레이션이나 프로파일링 결과를 예측할 수 있어, 오류를 조기에 포착할 수 있음.
• Large‑scale, validated reasoning dataset – 생성된 모든 추론 체인은 실제 툴체인(Vivado, Nsight 등)을 통해 실행되어 산업 현장의 문제 해결 깊이를 정확히 반영함을 검증함.
• State‑of‑the‑art performance – 일반 목적 코딩 벤치마크(LiveCodeBench v5)와 특화된 산업 스위트(CAD‑Coder, KernelBench) 모두에서 최첨단 성능을 달성함.

Methodology

1. Data Collection

   • 실제 산업 파이프라인에서 수백만 개의 코드‑실행 쌍을 수집: Verilog 시뮬레이션, GPU 커널 프로파일링, 임베디드 펌웨어 실행.
   • 트레이스의 일부로 오류 메시지와 성능 카운터를 캡처.

2. ECoT Generation

   • 개발자‑툴체인 대화를 시뮬레이션: 모델이 코드 변경을 제안하고, 툴체인이 오류 또는 성능 지표를 반환하면, 모델이 추론을 업데이트하는 식으로 진행.
   • 각 턴은 자연어 “thought” 로 기록 (예: “타이밍 위반은 모듈 X의 조합 루프 때문에 발생했을 가능성이 높다”).

3. Training the ICWM

   • 오픈‑소스 InCoder‑32B 베이스 모델에서 시작.
   • ECoT 데이터셋으로 파인‑튜닝하면서 혼합 목표 사용: 표준 다음‑토큰 예측 플러스 현재 코드 상태를 기반으로 시뮬레이션 결과를 예측하는 “future‑outcome prediction” 헤드.

4. Self‑Verification Loop

   • 추론 시, 모델이 먼저 예상 하드웨어 결과를 예측.
   • 예측이 사용자의 목표와 충돌하면 (예: 레이턴시 > 목표), 모델이 자동으로 수정된 코드 스니펫과 그에 따른 추론 트레이스를 생성.

5. Evaluation

   • 14개의 일반 코딩 작업 (LiveCodeBench v5)과 9개의 산업 작업 (하드웨어 기술 서술을 위한 CAD‑Coder, GPU 커널을 위한 KernelBench)에서 벤치마크 수행.
   • 측정 지표는 pass@1 정확도, 추론 충실도 (인간 평가), 그리고 자체 검증 성공률을 포함.

결과 및 발견

• 추론 충실도: 인간 평가자들은 생성된 사고 추적 중 87 %를 디버깅에 “그럴듯하고 유용함”으로 평가했습니다.
• 오류 감소: 자체 검증 단계는 코드만 생성하는 기본 모델에 비해 컴파일 시 오류 수를 약 60 % 줄였습니다.
• 속도: 모델이 실제 시뮬레이션 전에 결과를 예측하기 때문에, 개발자들은 산업 벤치마크에서 평균 3.2×의 반복 시간을 절약했습니다.

실용적 함의

요컨대, InCoder‑32B‑Thinking은 LLM 기반 코드 생성 방식을 “작성‑후‑디버그”에서 “생각‑하고‑먼저‑검증”으로 전환시켜, 각 컴파일이나 시뮬레이션 사이클이 몇 분에서 몇 시간까지 걸릴 수 있는 모든 워크플로우에 혁신을 가져옵니다.

제한 사항 및 향후 작업

• 도메인 범위: 현재 ICWM은 Verilog와 CUDA에 초점을 맞추고 있습니다; 다른 하드웨어 기술 언어(VHDL, SystemC)나 저수준 펌웨어(마이크로컨트롤러용 C)로 확장하려면 추가 추적 데이터가 필요합니다.
• 시뮬레이션 정확도: 모델의 결과 예측은 기반 시뮬레이션 데이터만큼 정확하며, 드문 코너 케이스 버그(예: 메타스테이빌리티)는 여전히 놓칠 수 있습니다.
• 연산 비용: 자체 검증이 포함된 32B 파라미터 모델을 실행하면 작은 코드 전용 모델보다 추론 지연 시간이 증가하여 실시간 IDE 플러그인에 장벽이 될 수 있습니다.
• 인간 참여 평가: 논문에 전문가 평가가 포함되어 있지만, 실제 환경에서 생산성 향상을 정량화하기 위해 대규모 사용자 연구(예: 상용 IDE에 모델 통합)가 필요합니다.

향후 방향으로는 ICWM을 다중 모달 입력(예: 파형 시각화)으로 확장하고, 실제 하드웨어 실행으로부터 강화 학습을 도입하며, 모델을 압축해 온‑디바이스 개발 환경에서 엣지 배포가 가능하도록 하는 것이 포함됩니다.

저자

• Jian Yang
• Wei Zhang
• Jiajun Wu
• Junhang Cheng
• Tuney Zheng
• Fanglin Xu
• Weicheng Gu
• Lin Jing
• Yaxin Du
• Joseph Li
• Yizhi Li
• Yan Xing
• Chuan Hao
• Ran Tao
• Ruihao Gong
• Aishan Liu
• Zhoujun Li
• Mingjie Tang
• Chenghua Lin
• Siheng Chen
• Wayne Xin Zhao
• Xianglong Liu
• Ming Zhou
• Bryan Dai
• Weifeng Lv

논문 정보

• arXiv ID: 2604.03144v1
• 분류: cs.AR, cs.AI, cs.CL
• 출판일: 2026년 4월 3일
• PDF: Download PDF