[Paper] InCoder-32B: 산업 시나리오를 위한 코드 파운데이션 모델

Source: arXiv - 2603.16790v1

Overview

이 논문은 실제 소프트웨어 엔지니어링 과제, 특히 일반적인 “함수 작성” 작업을 넘어서는 문제들을 위해 특별히 설계된 InCoder‑32B, 320억 파라미터 기반 모델을 소개한다. 오픈소스 코드와 정교하게 선별된 산업용 코드를 혼합하여 학습함으로써, 저자들은 단일 모델이 칩 설계, GPU 커널 튜닝, 임베디드 시스템 프로그래밍, 컴파일러 최적화, 그리고 3‑D 모델링 파이프라인과 같은 다양한 분야를 처리할 수 있음을 보여준다.

주요 기여

• 산업 워크로드를 목표로 하는 최초의 32B 파라미터 코드 모델 – 다섯 개의 고영향 분야에 걸쳐 코드 인텔리전스를 통합.
• 다단계 학습 파이프라인:
  1. 대규모 일반 코드 사전 학습.
  2. “산업 코드 어닐링” – 도메인‑특화 저장소에 점진적으로 노출.
  3. 합성 추론 데이터를 활용한 컨텍스트 길이 확장 (8 K → 128 K 토큰).
  4. 실행 기반 사후 학습으로 생성된 코드를 실제 런타임에서 검증.
• 확장 가능한 아키텍처로, 더 긴 컨텍스트 윈도우에도 불구하고 기존 30B‑급 모델과 추론 비용을 비슷하게 유지.
• 포괄적인 벤치마크 스위트: 일반 목적 코딩 벤치마크 14개 + 칩 RTL, CUDA 커널, 임베디드 C, 컴파일러 IR, 3‑D 에셋 파이프라인을 포함한 산업 벤치마크 9개.
• 오픈‑소스 베이스라인: 모델 가중치, 데이터 파이프라인, 평가 스크립트를 공개하여 커뮤니티가 결과를 재현하고 확장할 수 있도록 제공.

방법론

1. 데이터 수집 및 정제

• ~2 TB의 공개 코드(GitHub, Stack Overflow, 오픈소스 프로젝트)로 시작했습니다.
• 비식별화 및 라이선스 검증 후 ~300 GB의 독점 산업 코드(RTL, CUDA, 임베디드 펌웨어)를 추가했습니다.
• 모델에게 장거리 종속성 처리를 가르치기 위해 합성 추론 예시(예: “메모리 제한이 있는 GPU 커널을 주면 공유 메모리 사용량을 줄이도록 재작성”)를 생성했습니다.

2. 모델 아키텍처

• 회전형 위치 임베딩을 갖춘 트랜스포머 디코더 기반으로, 컨텍스트 길이를 원활하게 확장할 수 있습니다.
• Sparse‑Attention Block을 도입하여 이차적인 어텐션 비용을 감소시키고, GPU 메모리를 과도하게 사용하지 않으면서 128 K 토큰 윈도우를 가능하게 했습니다.

3. 학습 단계

• Stage 1 – 일반 사전 학습: 1.2 T 토큰, 표준 다음 토큰 예측.
• Stage 2 – 산업 애닐링: 도메인 특화 데이터 비율을 점진적으로 증가시킴(5 % → 30 %).
• Stage 3 – 컨텍스트 확장: 합성 장문 추론 과제를 사용해 모델의 실효 컨텍스트를 8 K → 128 K 토큰으로 확장.
• Stage 4 – 실행 기반 검증: 생성된 각 코드 조각에 대해 경량 샌드박스가 코드를 실행하고, 모델은 이진 “통과/실패” 신호를 받아 강화 학습 스타일의 파인튜닝으로 파라미터를 업데이트합니다.

4. 평가

• 일반 벤치마크: HumanEval, MBPP, CodeXGLUE 등.
• 산업 벤치마크: RTL‑BugFix(칩 설계), CUDA‑Opt(커널 성능), Embedded‑Safety(MISRA‑C 준수), Compiler‑IR‑Gen(LLVM IR 생성), 3D‑Pipeline‑Script(Blender Python).
• 지표: pass@k, 실행 속도 향상, 자원 사용 감소, 준수 위반 횟수.

결과 및 발견

• 일반 코딩 능력은 가장 강력한 오픈‑소스 모델과 동등하게 유지됩니다.
• 산업 분야는 도메인‑특화 어닐링 및 장기 컨텍스트 추론 덕분에 (10‑30 % 절대 향상) 크게 상승합니다.
• 실행 기반 파인‑튜닝은 무음 버그를 감소시킵니다: 다음‑토큰 손실만으로 훈련된 모델에 비해 실패율이 약 40 % 감소합니다.

실용적인 시사점

• 칩 설계자는 InCoder‑32B를 사용하여 RTL 수정을 자동으로 제안하거나 합성 가능한 모듈을 생성함으로써 검증 사이클을 단축할 수 있습니다.
• GPU 커널 개발자는 공유 메모리 및 점유율 제약을 고려한 AI 기반 성능 힌트를 받아 수동 프로파일링 없이도 측정 가능한 속도 향상을 얻을 수 있습니다.
• 임베디드 시스템 팀은 안전 표준(MISRA, CERT)을 자동으로 적용하여 비용이 많이 드는 규정 준수 감사를 줄일 수 있습니다.
• 컴파일러 엔지니어는 모델에 올바른 LLVM IR을 생성하도록 프롬프트함으로써 새로운 최적화 패스를 프로토타이핑하고 연구 사이클을 가속화할 수 있습니다.
• 3D 아티스트 및 파이프라인 엔지니어는 반복적인 Blender 또는 Maya 작업을 스크립트화하여 창의적인 시간을 확보할 수 있습니다.
• 모델이 희소 어텐션 구현으로 실행되기 때문에 단일 8‑GPU 서버(예: 8× A100 80 GB)에도 탑재될 수 있어 비용이 많이 드는 클라우드 API에 의존하지 않고 사내 배포가 가능해집니다.

제한 사항 및 향후 작업

• 데이터 프라이버시: 산업용 코드는 비식별화되었지만, 모델이 여전히 독점적인 패턴을 기억할 수 있어 상업적 사용 시 지식재산권(IP) 문제가 발생할 수 있습니다.
• 자원 요구 사항: 학습에는 약 2 M GPU‑hours가 필요했으며, 새로운 도메인에 대한 파인‑튜닝 역시 상당한 연산 자원을 요구합니다.
• 긴 컨텍스트 오버헤드: 추론 지연 시간은 컨텍스트 길이에 따라 선형적으로 증가합니다; 100 K‑token 파일에 대한 실시간 IDE 지원은 추가 최적화가 필요할 수 있습니다.
• 평가 범위: 벤치마크는 소수의 도메인에만 초점을 맞추고 있어, 네트워킹 펌웨어, 양자 프로그래밍 등 보다 넓은 영역은 아직 탐색되지 않았습니다.
• 향후 방향: 저자들이 제시한 바에 따르면, 정적 분석 피드백을 학습 루프에 통합하고, 빠른 도메인 적응을 위한 파라미터 효율적인 어댑터를 탐색하며, 실행 기반 단계를 멀티모달 입력(예: 하드웨어 회로도)으로 확장하는 것이 포함됩니다.

저자

• Jian Yang
• Wei Zhang
• Jiajun Wu
• Junhang Cheng
• Shawn Guo
• Haowen Wang
• Weicheng Gu
• Yaxin Du
• Joseph Li
• Fanglin Xu
• Yizhi Li
• Lin Jing
• Yuanbo Wang
• Yuhan Gao
• Ruihao Gong
• Chuan Hao
• Ran Tao
• Aishan Liu
• Tuney Zheng
• Ganqu Cui
• Zhoujun Li
• Mingjie Tang
• Chenghua Lin
• Wayne Xin Zhao
• Xianglong Liu
• Ming Zhou
• Bryan Dai
• Weifeng Lv

논문 정보

• arXiv ID: 2603.16790v1
• Categories: cs.SE, cs.AI
• Published: 2026년 3월 17일
• PDF: PDF 다운로드