[Paper] RoParQ: 패러프레이즈 인식 정렬을 통한 대형 언어 모델의 패러프레이즈 질문에 대한 견고성 향상

Source: arXiv - 2511.21568v1

Overview

대형 언어 모델(LLM)은 동일한 질문을 다른 방식으로 표현하면 여전히 성능이 떨어지며, 이는 모델이 진정한 의미보다는 표면적인 문구에 의존하는 경우가 많다는 점을 보여줍니다. 이 논문은 RoParQ라는 벤치마크를 소개하는데, 이는 패러프레이즈된 선택형 질문에 대해 LLM이 얼마나 일관되게 답변하는지를 측정하고, 모델을 이러한 변형에 훨씬 더 견고하게 만드는 파인튜닝 레시피를 제안합니다.

Key Contributions

• RoParQ benchmark – “judge” 모델의 일관성 결함을 드러내기 위해 선택된, 여러 패러프레이즈 변형을 포함한 폐쇄형 선택형 QA 항목들의 정제된 집합.
• XParaCon metric – 패러프레이즈 그룹 간 정확도의 표준편차를 이용한 간단하고 해석 가능한 통계량으로, 교차 패러프레이즈 견고성을 정량화합니다.
• Paraphrase‑aware Supervised Fine‑Tuning (SFT) – 표면적인 문구와 무관하게 동일한 답을 도출하도록 모델을 명시적으로 학습시키는 추론 중심 훈련 방식.
• Empirical evidence – 경량 파인튜닝 모델이 훨씬 큰 오프‑더‑쉘프 LLM의 일관성을 매치하거나 능가할 수 있음을 실증합니다.

Methodology

1. Data creation – 기존 QA 데이터셋(예: RACE, ARC)에서 시작해, 저자들은 독점 패러프레이즈 생성기를 사용해 각 질문에 대해 여러 재표현을 생성했습니다.
2. Inconsistency filtering – 별도의 “judge” LLM이 각 변형을 평가했으며, 판단 신뢰도가 크게 달라지는 경우만 남겨 벤치마크가 실제 모호한 사례에 집중하도록 했습니다.
3. Metric design (XParaCon) – 각 원본 질문에 대해 모든 패러프레이즈의 정확도를 계산하고, 이 정확도들의 표준편차를 견고성 점수로 사용합니다(값이 낮을수록 일관적).
4. Paraphrase‑aware SFT – 파인튜닝 중 각 학습 예시는 모든 패러프레이즈와 공유된 정답을 함께 제공하며, 손실 함수는 모든 변형에 대해 동일한 로짓을 출력하도록 모델을 유도합니다. 이를 통해 모델의 내부 추론이 문구가 아닌 의미에 맞춰 정렬됩니다.

Results & Findings

• Baseline inconsistency – 오프‑더‑쉘프 LLM(GPT‑3.5, LLaMA‑13B 등)은 XParaCon 점수가 0.12–0.15 수준으로, 패러프레이즈 간에 눈에 띄는 변동을 보였습니다.
• After SFT – 파인튜닝된 LLaMA‑7B는 XParaCon이 0.04로 감소했으며, 이는 약 70 % 감소에 해당하고 전체 정확도는 비슷한 수준을 유지했습니다.
• Size vs. consistency trade‑off – 1.3 B 파라미터 모델이 패러프레이즈‑aware SFT를 거친 후, 파인튜닝 없이 13 B 모델과 동일한 일관성을 달성했으며, 목표 훈련이 모델 크기를 보완할 수 있음을 시사합니다.
• Reasoning prompts – SFT 과정에서 체인‑오브‑생각 스타일의 설명을 추가하면 변동이 더욱 감소했으며, 명시적인 추론이 모델이 의미에 집중하도록 돕는다는 점을 확인했습니다.

Practical Implications

• More reliable chatbots & assistants – 사용자는 질문을 자주 재표현합니다. RoParQ‑스타일 정렬로 훈련된 모델은 안정적인 답변을 제공해 혼란과 지원 티켓을 감소시킵니다.
• Robust evaluation pipelines – 개발자는 XParaCon을 새로운 LLM 배포 전 빠른 sanity check으로 활용해 취약성을 사전에 포착할 수 있습니다.
• Cost‑effective scaling – 작은 모델도 파인튜닝을 통해 더 큰, 비용이 많이 드는 API와 동일한 일관성을 얻을 수 있어, 온‑프레미스나 엣지 배포 시 예측 가능한 동작을 보장합니다.
• Improved downstream tasks – QA 일관성에 의존하는 작업(예: 자동 채점, 지식베이스 추출)에서 패러프레이즈 노이즈로 인한 오탐이 감소합니다.

Limitations & Future Work

• Paraphrase generation reliance – 벤치마크가 독점 패러프레이즈 모델에 의존하므로, 인간이 작성한 변형에 비해 다양성이 제한될 수 있습니다.
• Closed‑book focus – RoParQ는 외부 검색 없이 선택형 QA만 평가합니다; 개방형 혹은 검색 강화 환경으로 확장하는 연구가 필요합니다.
• Metric simplicity – XParaCon은 변동성을 포착하지만 체계적인 편향(예: 모든 패러프레이즈에서 일관되게 틀린 답)까지는 반영하지 못합니다. 향후 일관성과 정확성을 동시에 고려하는 지표가 개발될 수 있습니다.
• Scalability of SFT – 중간 규모 모델에 효과적이지만, 가장 큰 LLM에 동일한 파인튜닝을 적용하려면 더 많은 연산 자원과 과적합 방지를 위한 정교한 정규화가 필요합니다.

Bottom line: 입력이 패러프레이즈된 경우에도 의미가 동일하다고 명시적으로 학습시킴으로써, RoParQ와 그 패러프레이즈‑aware 파인튜닝 레시피는 개발자에게 더 신뢰할 수 있는 AI 어시스턴트를 제공하는 실용적인 경로를 제시합니다—모델 크기를 무조건 키우는 대신.

Authors

• Minjoon Choi

Paper Information

• arXiv ID: 2511.21568v1
• Categories: cs.CL
• Published: November 26, 2025
• PDF: Download PDF