[Paper] BanglaForge: LLM 협업 및 자체 정제를 통한 Bangla 코드 생성

Source: arXiv - 2512.19122v1

Overview

이 논문은 BanglaForge라는 새로운 프레임워크를 소개합니다. 이 프레임워크는 방글라어 함수 설명을 실제 코드로 변환합니다. 검색‑보강 프롬프트, 이중‑모델 “코더‑리뷰어” 협업, 그리고 실행 피드백을 활용한 반복적인 자체‑정제 루프를 결합함으로써, 저자들은 BLP‑2025 벤치마크에서 Pass@1 점수 **84 %**를 달성했으며, 이는 이 저자원 언어에 대한 이전 시도보다 훨씬 높은 수치입니다.

주요 기여

• BanglaForge 프레임워크: Bangla‑to‑code 생성에 특화된 검색 기반, 이중 모델 파이프라인(코더 + 리뷰어)을 소개합니다.
• 자체 정제 루프: 실행 결과를 활용해 자동으로 리뷰어 모델을 호출하여 버그가 있거나 불완전한 코드를 재작성함으로써 인간 개입 없이 견고성을 향상시킵니다.
• Bangla용 프롬프트 엔지니어링: Bangla 사양을 LLM을 위해 영어로 번역하고, 생성된 코드를 목표 프로그래밍 언어로 다시 번역하는 프롬프트를 체계적으로 설계합니다.
• 벤치마크 결과: BLP‑2025 Bangla 코드 생성 벤치마크에서 **84 %**의 새로운 최첨단 Pass@1을 달성했으며, 기존 베이스라인 LLM들을 크게 앞섭니다.
• 오픈소스 리소스: 재현성과 커뮤니티 확장을 촉진하기 위해 검색 코퍼스, 프롬프트 템플릿, 평가 스크립트를 공개합니다.

Methodology

1. Retrieval‑augmented context – 각 입력 설명에 대해 BanglaForge는 밀집 벡터 유사성을 사용하여 선별된 Bangla‑English 병렬 코퍼스에서 가장 관련성 높은 코드 조각을 먼저 가져옵니다. 이 조각들은 프롬프트에 삽입되어 LLM에 구체적인 예시를 제공합니다.

2. Dual‑model collaboration –

   • Coder model (예: GPT‑4‑Turbo)은 검색된 예시와 Bangla 사양을 받아 초기 프로그램을 생성합니다.
   • Reviewer model (“debugger” 프롬프트가 지정된 두 번째 LLM)은 코더의 출력 플러스 실행 결과(통과/실패, 오류 메시지)를 받아 코드를 다시 작성하여 실패를 수정하거나 엣지 케이스 처리를 개선합니다.

3. Iterative self‑refinement – 코더‑리뷰어 사이클은 고정된 반복 횟수(보통 2–3회) 또는 프로그램이 모든 테스트 케이스를 통과할 때까지 반복됩니다. 리뷰어가 구체적인 런타임 피드백을 보게 되므로, 추측이 아니라 정확한 실패 원인을 목표로 수정할 수 있습니다.

4. Prompt engineering – 저자들은 세 단계 프롬프트를 설계했습니다:

   • Translation: LLM을 사용해 Bangla 설명을 영어로 변환합니다.
   • Generation: 영어 사양과 검색된 예시를 코더에 전달합니다.
   • Refinement: 리뷰어에게 코더의 출력, 테스트 결과, 그리고 “review” 지시문을 제공합니다.

5. Evaluation – 생성된 프로그램은 BLP‑2025 벤치마크의 숨겨진 유닛 테스트에 대해 실행됩니다. Pass@1은 첫 번째 생성된 솔루션이 성공한 문제의 비율로 측정됩니다.

결과 및 발견

• 검색이 중요합니다: 가장 유사한 코드 스니펫을 추가하면 일반 컨텍스트 LLM에 비해 Pass@1이 약 12 % 상승합니다.
• 자기 정제 효과: 리뷰어 모델이 첫 번째 시도에서 코더가 만든 실패의 약 70 %를 수정하여 최종 성공률 84 %를 달성합니다.
• 언어 브리지 작동: 생성 전에 벵골어를 영어로 번역하면 벵골어 전용 코드 모델이 필요 없으며, 기존 LLM의 강력한 영어‑코드 능력을 활용할 수 있습니다.

Practical Implications

• Bangla‑speaking 개발자를 위한 빠른 프로토타이핑 – 팀이 Bangla(벵골어)로 함수 설명을 하면 바로 실행 가능한 구현을 얻을 수 있어, 보일러플레이트 코딩 시간을 크게 줄일 수 있습니다.
• 저자원 언어 지원 – BanglaForge는 (검색 + 이중‑모델 정제) 방식을 제시하므로, 대규모 코드 중심 데이터셋이 부족한 다른 소수 언어에도 적용할 수 있습니다.
• 자동 코드 리뷰 파이프라인 – 리뷰어 컴포넌트를 경량 “AI 코드 리뷰어”로 재활용하면 CI/CD 워크플로우에서 실패한 스니펫을 자동으로 패치할 수 있습니다.
• 교육 및 온보딩 – 자연어 프롬프트에서 즉시 실행 가능한 예제를 생성해 주므로, Bangla(벵골어)로 프로그래밍 개념을 가르치는 것이 훨씬 쉬워집니다.

제한 사항 및 향후 작업

• 고품질 검색 코퍼스에 대한 의존 – 관련 방글라‑영어 코드 쌍이 없을 경우 시스템 성능이 떨어지며, 다른 도메인에 대한 이러한 코퍼스를 구축하고 유지하는 것이 여전히 과제입니다.
• 번역 병목 현상 – 중간 영어 번역에 의존하면 지연이 증가하고 특히 도메인 특화 용어에서 미묘한 의미 변이가 발생할 수 있습니다.
• 리뷰어의 확장성 – 현재 리뷰어 모델은 전체 규모 LLM이며, 향후 작업에서는 추론 비용을 줄이기 위해 더 작고 미세 조정된 모델을 탐색할 수 있습니다.
• 대규모 프로젝트에 대한 일반화 – 이 연구는 단일 함수 생성에 초점을 맞추고 있으며, 파이프라인을 다중 파일 또는 전체 애플리케이션 합성으로 확장하는 것은 아직 연구가 필요한 분야입니다.

BanglaForge는 저자원 언어에 LLM 기반 코드 생성을 도입하기 위한 설득력 있는 청사진을 제공하며, 모듈식 설계는 커뮤니티가 접근 방식을 반복하고, 적용하며, 다양한 언어와 개발 환경에 맞게 확장하도록 초대합니다.

저자

• Mahir Labib Dihan
• Sadif Ahmed
• Md Nafiu Rahman

논문 정보

• arXiv ID: 2512.19122v1
• Categories: cs.SE, cs.CL
• Published: 2025년 12월 22일
• PDF: PDF 다운로드