[논문] 코미‑야즈바–러시아 병렬 코퍼스와 제로·소수 샷 LLM 번역 평가 프로토콜

출처: arXiv - 2606.06420v1

개요

우리는 멸종 위기에 처한, 극히 낮은 자원 환경에서 LLM 번역을 연구하기 위한 명시적인 평가 프로토콜과 함께 최초의 코미-야즈바–러시아어 병렬 코퍼스를 제시한다. 이 데이터셋은 74개의 서사 텍스트에서 추출한 457개의 정렬된 문장 쌍으로 구성되며, 문서화된 출처, 문장 수준 정렬, 그리고 누수 방지를 위한 스토리 식별자를 포함한다. 우리는 이 설정을 활용해 병렬 데이터가 거의 없는 상황에서 제로샷 및 검색 기반 few‑shot 방식으로 코미-야즈바→러시아어 번역에 대한 최신 대형 언어 모델들을 비교한다. 프로토콜에는 스토리 수준 교차 검증, few‑shot 프롬프트를 위한 결정적 검색, 생성 출력의 엄격한 검증, 참고 기반 및 평가자 기반 보완 메트릭, 그리고 스토리 수준 불확실성 추정이 포함된다. 모델 전반에 걸쳐 LLM은 의미 있는 번역을 생성하지만, 성능은 모델 계열과 프롬프트 방식에 따라 크게 달라진다. 검색 기반 few‑shot 프롬프트는 제로샷 프롬프트보다 일관되게 향상을 보이며, 작은 검색 컨텍스트를 넘어서는 추가 이득은 제한적이다. 결과는 이 환경에서 평가 결론이 메트릭 선택과 실패 처리 방식에 크게 좌우된다는 점을 보여주며, 본 논문은 코퍼스를 데이터셋 기여와 재현 가능한 평가 테스트베드 두 가지 역할로 제시한다.

주요 기여

이 논문은 다음 분야의 연구를 제시한다:

• cs.CL

방법론

자세한 방법론은 전체 논문을 참고하시기 바랍니다.

실용적 시사점

본 연구는 cs.CL 분야의 발전에 기여한다.

저자

• Petr Parshakov

논문 정보

• arXiv ID: 2606.06420v1
• 분류: cs.CL
• 출판일: 2026년 6월 4일
• PDF: PDF 다운로드