[Paper] 뉴스 재작성: 뉴스 기관 전반에 걸친 편집 재사용 추적

Source: arXiv - 2603.29937v1

개요

이 논문은 서로 다른 언어로 발행하는 뉴스 기관들 간의 문장 수준 재사용을 탐지하기 위한 약한 감독, 언어에 구애받지 않는 방법을 소개한다. 슬로베니아 언론사(STA)의 기사와 15개 외국 언론사의 기사를 짝지어 분석함으로써, 저자들은 편집 재사용이 단순 복사‑붙여넣기 탐지 도구가 현재 밝혀내는 것보다 훨씬 더 흔하고—그보다 더 미묘하다는 것을 보여준다.

핵심 기여

• 전체 기사 번역 없이 문장 수준 유사성 단서를 활용한 다언어 재사용 탐지.
• 시계열 출처 추론: 발행 타임스탬프를 이용해 각 재사용 문장에 대해 가장 초기의 가능성 높은 출처를 자동으로 선택.
• 대규모 다국어 데이터셋: 1,037개의 영어 STA 기사와 237,551개의 외신 기사(7개 언어)로 구성된 두 개의 별도 시간 창.
• 기사 내 재사용 위치에 대한 세밀한 분석, 패러프레이즈된 내용이 리드보다 중간 및 말미에 나타나는 경향을 보여줌.
• 오픈소스 코드 및 주석 데이터 공개(GitHub 링크), 재현성 및 추가 연구를 지원.

방법론

1. Data collection – STA 스토리의 영어 버전을 15개 외국 기관(독일어, 프랑스어, 이탈리아어 등)의 기사와 두 시기(2023년 10월 & 2025년 2월)에서 정렬했습니다.
2. Weak supervision – 알려진 재사용 문장의 작은 시드 세트를 사용하여 다국어 임베딩(e.g., LASER/LaBSE)을 활용해 언어 간 문장 유사도를 점수화하는 분류기를 학습했습니다.
3. Temporal filtering – 높은 점수를 받은 각 문장 쌍에 대해, 더 이른 발행 타임스탬프를 추정된 출처로 유지하고 나중에 중복된 것을 제외했습니다.
4. Post‑processing – 휴리스틱을 사용해 관용구(날짜 라인, 저작권 고지) 등을 제거하고 최소 유사도 임계값을 적용하여 1,087개의 정렬된 문장 쌍을 얻었습니다.
5. Analysis – 저자들은 기사별 재사용 비율을 계산하고, 재사용 유형(직접 복사, 패러프레이즈, 조합)으로 분류하며, 문장 위치(리드, 본문, 결론)를 매핑했습니다.

결과 및 발견

• 유병률: STA 기사 중 52 %는 최소 하나의 재사용된 문장을 포함하고, 외국‑기관 기사에서는 단 1.6 %만 해당됩니다.
• 비문자적 재사용이 우세: 감지된 쌍의 >70 %가 직역 복사가 아니라 의역이나 여러 출처를 조합한 형태를 포함합니다.
• 위치 편향: 재사용된 문장은 중간 및 마지막 단락에 집중되며, 서두 “리드”는 보통 원본입니다.
• 다언어적 이점: 전통적인 어휘 중복 방법은 정확한 단어 일치와 단일 언어 코퍼스에만 초점을 맞추기 때문에 식별된 재사용의 >80 %를 놓칩니다.
• 시간적 검증: 타임스탬프를 활용하면 실제 출처 정보가 있는 경우 >90 %의 경우에서 가능한 출처를 정확히 식별합니다.

실용적 함의

• Newsroom tooling – 탐지 파이프라인을 편집 대시보드에 통합하면 재사용된 콘텐츠를 자동으로 표시하여 기자가 무심코 표절을 저지르는 것을 방지하고 콘텐츠 원본성을 관리할 수 있습니다.
• Content aggregation platforms – 뉴스 API, RSS 집계기 등 뉴스 배포 서비스를 제공하는 플랫폼은 이 방법을 사용해 언어 간 피드를 중복 제거함으로써 대역폭 및 저장 비용을 절감할 수 있습니다.
• Fact‑checking & bias analysis – 이야기가 어디서, 어떻게 재활용되는지를 드러냄으로써 사실 확인자는 국경을 넘어 퍼지는 허위 정보의 전파 경로를 추적할 수 있습니다.
• Search & recommendation engines – 어떤 문장이 재사용되었는지를 알면 원본 보도를 우선시하는 등 더 스마트한 순위 매기기와 다국어 쿼리에 대한 보다 정확한 스니펫 생성이 가능해집니다.
• Legal & licensing compliance – 미디어 기업은 번역이 포함된 경우에도 배포된 자료가 라이선스 조건을 준수하는지 자동으로 확인할 수 있습니다.

제한 사항 및 향후 연구

• 약한 감독 한계 – 이 접근법은 제한된 시드 세트에 의존하므로, 견고한 다국어 임베딩이 부족한 틈새 주제나 저자원 언어에서는 성능이 저하될 수 있습니다.
• 세분성 – 문장 수준 탐지는 구문이나 문장 하위 수준의 재사용을 간과할 수 있으며, 이는 저작권 평가에 중요할 수 있습니다.
• 시간적 모호성 – 출판 타임스탬프는 출처 순서를 추정하는 대용품이지만, 임베고(embargo)된 발표나 지연된 출판 등으로 인해 노이즈가 발생할 수 있습니다.
• 확장성 – 현재 파이프라인은 약 25만 개 기사 처리를 지원하지만, 실시간 뉴스 스트림을 처리하려면 추가 최적화가 필요합니다.

향후 연구 방향으로는 모델을 구문 수준 탐지로 확장하고, 저자 ID와 같은 출처 메타데이터를 통합하며, 실제 뉴스룸 환경에서 시스템을 평가하는 것이 포함됩니다.

저자

• Soveatin Kuntur
• Nina Smirnova
• Anna Wroblewska
• Philipp Mayr
• Sebastijan Razboršek Maček

논문 정보

• arXiv ID: 2603.29937v1
• 분류: cs.CL, cs.IR
• 출판일: 2026년 3월 31일
• PDF: Download PDF