[Paper] Fluent Alignment with Disfluent Judges: Lower-resource Languages를 위한 Post-training

Source: arXiv - 2512.08777v1

Overview

이 논문은 post‑training 단계에서 경량화된 기법을 제시하여, 낮은 자원 언어용 언어 모델이 불완전한 보상 모델에 맞추어도 유창성을 유지하도록 합니다. 고비용의 원어민 인스트럭션 데이터를 사용하지 않아도 노르웨이어 보크몰 모델—그리고 확장하면 다른 저자원 언어—의 자연스러운 출력을 향상시킬 수 있음을 실증합니다.

Key Contributions

• Fluent‑first post‑training: 잡음이 섞인 (불완전한) 보상 신호에도 불구하고 유창성을 보존하는 새로운 on‑policy 정렬 방법.
• Zero‑instruction data requirement: 대상 언어에 대한 인간이 작성한 인스트럭션 튜닝 데이터가 전혀 필요하지 않음.
• Empirical comparison: 두 강력한 베이스라인(기계 번역 데이터에 대한 지도 학습 파인튜닝, 다국어 파인튜닝)과 비교했을 때, on‑policy 방법이 일관되게 유창성에서 우수함을 보여줌.
• Human‑centric evaluation: 원어민의 유창성 판단을 통해 모델 출력이 통계적 유창성뿐 아니라 실제 자연스러운지 검증.
• Resource‑efficient pipeline: 기존 다국어 LLM과 적은 양의 합성 데이터를 활용해 대규모 코퍼스가 부족한 언어에서도 실현 가능하도록 함.

Methodology

1. Base Model – 이미 어느 정도 목표 언어를 이해하고 있는 다국어 언어 모델(예: mT5 또는 LLaMA‑계열)에서 시작합니다.
2. Reward Model (RM) – 영어 중심 데이터에 대해 preference RM을 학습시키는데, 여기서 “좋은” 응답은 목표 언어로 그대로 옮겼을 때 불완전(literal translation)한 경우가 많습니다.
3. On‑policy Post‑training – RM 점수를 그대로 적용하면 동일한 불완전성을 강화하게 되므로, 모델이 목표 언어로 후보 응답을 생성하고 이를 RM으로 평가한 뒤, 유창한 후보만을 정책‑그라디언트 방식으로 강화합니다. 이 루프를 통해 모델은 보상을 만족하면서도 유창한 대안을 스스로 찾아냅니다.
4. Baselines for comparison
   • Supervised FT: 기계 번역된 인스트럭션 데이터에 대해 파인튜닝.
   • Multilingual FT: 동일 데이터를 여러 언어에 대해 공동 파인튜닝.

핵심 트위스트는 on‑policy 단계로, 정적인(그리고 잡음이 섞인) 데이터셋이 아니라 모델 자체의 생성물로부터 학습한다는 점입니다.

Results & Findings

• 제안된 방법은 두 베이스라인을 큰 차이로 앞서며, 원어민 노르웨이어 평가에서 유창성이 현저히 높게 나타났습니다.
• 보상 모델을 만족시키는 Preference alignment 점수도 여전히 강력해, 유창성을 얻기 위해 의도된 행동을 포기하지 않았음을 보여줍니다.
• Ablation 실험에서 on‑policy 루프를 제거하면 유창성이 베이스라인 수준으로 급락하여, 이 단계가 필수적임을 확인했습니다.

Practical Implications

• Rapid localization: 기업이 기존 다국어 LLM을 새로운 시장(예: 스칸디나비아, 아프리카, 남아시아 언어)으로 빠르게 현지화할 수 있어 대규모 원어민 데이터 수집을 기다릴 필요가 없습니다.
• Cost‑effective AI: 고가의 인간 주석 파이프라인을 없애고, 합성 데이터와 on‑policy 학습만으로도 사용 가능한 유창한 어시스턴트를 만들 수 있습니다.
• Better user experience: 사용자의 모국어로 자연스럽게 대화하는 챗봇, 요약기, 코드 어시스턴트는 채택률과 신뢰도를 크게 높입니다.
• Open‑source community boost: 이 기법을 플러그‑인 형태의 post‑training 스크립트로 제공하면, 취미 개발자와 중소기업도 언어 커버리지를 손쉽게 확장할 수 있습니다.
• Compliance & safety: 유창성을 유지하면서 보상 모델에 맞추면, 부자연스럽거나 “깨진” 출력으로 인한 오해·편향 위험을 감소시킬 수 있습니다.

Limitations & Future Work

• Language scope: 현재 연구는 노르웨이어 보크몰에 초점을 맞추었으며, 형태소가 크게 다르거나 스크립트가 다른 언어(예: 아라비아어, 힌디어)에서는 결과가 달라질 수 있습니다.
• Reward model quality: 영어 중심 편향을 여전히 포함할 수 있는 보상 모델에 의존하므로, 다국어 RM의 품질 향상이 필요합니다.
• Scalability of human evaluation: 원어민 유창성 평가가 비용이 많이 들기 때문에, 자동화된 유창성 프록시의 추가 검증이 요구됩니다.
• Future directions: 저자들은 최소한의 사전 학습 데이터만으로도 진정한 저자원 언어에 적용하는 파이프라인 확장, 더 큰 베이스 모델 실험, 문화적 뉘앙스를 이해하는 다국어 보상 모델 통합 등을 제안합니다.

Authors

• David Samuel
• Lilja Øvrelid
• Erik Velldal
• Andrey Kutuzov

Paper Information

• arXiv ID: 2512.08777v1
• Categories: cs.CL, cs.AI
• Published: December 9, 2025
• PDF: Download PDF