[Paper] Beyond Via: Large Language Models가 학술 논문에 미치는 영향 분석 및 추정

Source: arXiv - 2603.25638v1

Overview

저자들은 대형 언어 모델(LLM)의 부상으로 인해 arXiv의 과학 논문 작성 언어가 어떻게 미묘하게 변하고 있는지를 조사합니다. 수백만 편의 논문을 분석한 결과, 제목에서 “beyond”와 “via”가 급증하고 초록에서는 “the”, “of”와 같은 불필요한 단어가 감소하는 등 체계적인 변화를 발견했으며, 이러한 변화는 LLM이 생성한 텍스트에 의해 주도된 것으로 보입니다. 또한, 현재의 탐지 도구들은 특정 LLM이 생성한 문장을 정확히 식별하는 데 어려움을 겪고 있다는 점도 보여줍니다.

Key Contributions

• Empirical language shift analysis – Quantifies changes in word frequencies across titles and abstracts before and after widespread LLM adoption.
• Cross‑model detection benchmark – Demonstrates that multi‑class classifiers cannot reliably distinguish text generated by different LLM families (e.g., GPT‑4 vs. Claude).
• Interpretability‑first modeling – Introduces a simple linear model that isolates the impact of model choice and prompt style on observed linguistic patterns.
• Dynamic usage portrait – Provides evidence that real‑world LLM usage is heterogeneous (different prompts, fine‑tuning, post‑editing) and evolves over time.

Methodology

1. Data collection – 팀은 여러 해에 걸쳐 150만 건이 넘는 arXiv 제출물을 스크랩하여 제목, 초록, (가능한 경우) 저자가 제공한 소스 코드 또는 LaTeX를 추출했습니다.
2. LLM‑generated text identification – 다양한 프롬프트를 사용해 합성 논문을 생성한 오픈소스 LLM(GPT‑3.5, LLaMA‑2, Claude 등)들을 활용해 라벨이 지정된 학습 데이터를 만들었습니다.
3. Frequency analysis – 실제 코퍼스와 합성 코퍼스에 대해 단어 수준의 빈도수를 계산했으며, 고빈도 기능어(“the”, “of”)와 내용어(“beyond”, “via”)에 중점을 두었습니다.
4. Linear attribution model – 릿지 정규화 선형 회귀 모델에 다음을 입력으로 사용했습니다: (i) “실제 vs. 합성”을 나타내는 이진 지표, (ii) 사용된 LLM의 원-핫 인코딩, (iii) 프롬프트 유형 특징. 회귀 계수는 각 요인이 단어 사용에 어떻게 영향을 미치는지를 직접 보여줍니다.
5. Classification experiments – 다중 클래스 분류기(SVM, BERT‑기반)를 훈련시켜 원본 LLM을 예측했으며, 성능 지표를 통해 세부적인 귀속(attribution)의 어려움을 강조했습니다.

결과 및 발견

• 제목 변동 – “beyond”라는 단어가 2022년 이후 제목 토큰에서 0.3 %에서 1.8 %로 상승했으며, “via”는 약 250 % 증가했습니다.
• 초록 압축 – LLM 도움을 의심받는 논문은 관사 “the”가 12 % 감소하고 전치사 “of”가 9 % 감소하여 더 간결한 표현을 시사합니다.
• 분류기 한계 – 최고의 다중 클래스 모델도 다섯 개 LLM을 구분하는 데 42 % 정확도(무작위 기준 ≈ 20 %)만 달성했으며, 이는 스타일적 겹침이 높음을 확인합니다.
• 프롬프트 영향 – “formal academic style”(격식 있는 학술 스타일)을 명시적으로 요구하는 프롬프트는 “via”와 “beyond” 사용을 각각 약 0.5 % 증가시키고, “creative”(창의적) 프롬프트는 filler‑word(채우기 단어) 빈도가 더 높게 유지됩니다.
• 시간적 역학 – 개발자가 프롬프트를 조정하고 출력물을 후처리함에 따라 LLM 생성 텍스트의 언어적 특성이 진화하여 정적 탐지 규칙이 빠르게 구식이 됩니다.

Practical Implications

• Tooling for reviewers – Academic editors and conference chairs can incorporate the linear attribution model as a lightweight sanity check for unusually terse abstracts or title buzzwords.
• Prompt engineering awareness – Researchers using LLMs for drafting should recognize that certain prompt styles systematically bias wording, which may affect discoverability (e.g., keyword‑based indexing).
• Plagiarism‑like detection – Since fine‑grained model attribution is hard, detection pipelines should focus on broader “LLM‑generated” flags rather than trying to name the exact engine.
• Policy & attribution standards – The findings support calls for transparent LLM usage disclosures in manuscripts, as the linguistic fingerprints are subtle but measurable.

Limitations & Future Work

• Dataset bias – 분석이 arXiv 제출물에만 국한되어 있어 다른 분야(산업 백서, 특허)에서의 관행을 반영하지 않을 수 있습니다.
• Prompt coverage – 일반적인 프롬프트 패턴의 일부만 탐색했으며, 특이하거나 많이 편집된 출력은 다른 특징을 보일 수 있습니다.
• Model scope – 최신 오픈‑source LLM(예: Mistral, Gemma)은 포함되지 않았으며, 벤치마크를 최신 아키텍처로 확장할 필요가 있습니다.
• Causal inference – 상관관계는 강하지만, LLM 사용과 단어‑빈도 변화 사이의 인과 관계를 확립하려면 통제된 저자 설문조사나 실험이 필요합니다.

핵심: 이 연구는 학술 논문 작성에서 LLM이 미치는 조용한 언어적 파급 효과를 조명하며, 개발자와 편집자에게 AI‑지원 저작을 이해하고, 모니터링하며, 연구 생태계에 책임감 있게 통합할 수 있는 실용적인 시각을 제공합니다.

저자

• Mingmeng Geng
• Yuhang Dong
• Thierry Poibeau

논문 정보

• arXiv ID: 2603.25638v1
• 분류: cs.CL, cs.AI, cs.CY, cs.DL, cs.LG
• 출판일: 2026년 3월 26일
• PDF: PDF 다운로드