[Paper] TAGFN: 텍스트 속성 그래프 데이터셋을 이용한 LLM 시대의 가짜 뉴스 탐지

Source: arXiv - 2511.21624v1

Overview

이 논문은 가짜 뉴스 탐지를 위해 특별히 구축된 대규모 텍스트‑속성 그래프 데이터셋 TAGFN을 소개합니다. 풍부한 텍스트 내용과 그래프 구조(예: 소셜 미디어 상호작용, 기사 인용)를 결합함으로써, TAGFN은 연구자들에게 고전적인 그래프 기반 이상치 탐지기와 최신 대형 언어 모델(LLM) 기반 접근법을 모두 테스트할 수 있는 현실적인 벤치마크를 제공합니다.

Key Contributions

• 가짜 뉴스 분야에서 최초의 그래프‑이상치 탐지 데이터셋으로, 수백만 개의 노드·엣지와 고품질 주석을 포함합니다.
• 통합 평가 프레임워크를 제공하여 전통적인 그래프 알고리즘, 그래프 신경망(GNN), 그리고 LLM‑보강 모델을 동일한 실험 프로토콜 아래에서 비교할 수 있습니다.
• LLM 파인튜닝 파이프라인을 제공하여 (예: GPT‑4, LLaMA) 텍스트 속성을 활용한 가짜 뉴스 탐지 작업에 모델을 맞출 수 있습니다.
• 데이터셋( Hugging Face) 및 코드를 오픈소스로 공개하여 재현성 및 커뮤니티 기여를 장려합니다.

Methodology

1. 데이터 수집 – 저자들은 여러 공개 플랫폼(예: Twitter, Reddit)에서 뉴스 기사, 메타데이터, 사용자 상호작용 소셜 그래프를 수집했습니다. 각 기사는 텍스트 속성(기사 본문)과 메타데이터 속성(출판사, 타임스탬프 등)을 가진 노드가 됩니다. 엣지는 “같은 사용자가 공유”, “인용”, “답글” 등 관계를 포착합니다.
2. 주석 달기 – 기사들은 검증된 팩트‑체크 소스(예: PolitiFact, Snopes)를 이용해 실제 또는 가짜로 라벨링되었습니다. 라벨링 과정은 반자동화된 뒤 수동 감사를 거쳐 높은 정밀도를 확보했습니다.
3. 그래프 구성 – 이종 그래프를 구축하여 서로 다른 엣지 타입을 보존함으로써, 모델이 구조적 패턴(예: 에코 챔버 클러스터)과 텍스트 신호 모두에서 학습할 수 있게 했습니다.
4. 벤치마크 설계 – 데이터셋은 지도 학습을 위한 학습/검증/테스트 셋으로 분할되며, 라벨이 매우 적은 비지도 이상치 탐지용 스플릿도 제공합니다.
5. 베이스라인 구현 – 저자들은 고전적인 이상치 탐지기(예: LOF, Isolation Forest), GNN 기반 방법(예: GraphSAGE, GAT), 그리고 고정된 LLM에서 추출한 노드 임베딩을 그래프 임베딩과 결합한 LLM‑보강 파이프라인을 평가했습니다.

Results & Findings

• LLM‑보강 모델이 순수 그래프 또는 순수 텍스트 베이스라인을 지속적으로 능가함을 확인했으며, 대규모 언어 이해가 그래프 기반 이상치 탐지에 가치를 더한다는 점을 입증했습니다.
• 비지도 LLM 프롬프팅(예: “이 기사는 가짜일 가능성이 있나요?”)은 많은 고전 탐지기를 능가하여 저자원 상황에서도 가능성을 보여줍니다.
• 이종 엣지 타입(사용자 공유 vs. 인용)의 기여도가 다르게 나타났으며, 특히 사용자 공유 엣지가 가짜 뉴스 클러스터링에 가장 강력한 신호였습니다.

Practical Implications

• 오정보 파이프라인: 실시간 팩트‑체크 도구를 구축하는 기업은 TAGFN‑학습 모델을 콘텐츠 모더레이션 스택에 연결해 소셜 그래프 동역학과 기사 의미론을 동시에 활용할 수 있습니다.
• 도메인‑특화 안전을 위한 LLM 파인튜닝: 제공된 파인튜닝 스크립트를 통해 개발자는 최소한의 라벨 데이터만으로도 오픈소스 LLM을 가짜 뉴스 탐지에 맞출 수 있어, 비용이 많이 드는 인간 주석 의존도를 낮출 수 있습니다.
• 그래프‑인식 추천 시스템: 플랫폼은 이상치 점수를 활용해 의심스러운 콘텐츠를 순위에서 낮추거나 플래그를 달아 확산을 방지하고 사용자 신뢰를 향상시킬 수 있습니다.
• 연구·제품 팀을 위한 벤치마크: TAGFN은 새로운 GNN 아키텍처, 그래프 대비 학습, 혹은 LLM을 활용한 프롬프트 엔지니어링 전략을 평가하기 위한 재현 가능한 테스트베드를 제공합니다.

Limitations & Future Work

• 시간적 편향: 데이터셋은 특정 기간의 뉴스 스냅샷을 담고 있어, 주제와 조작 기법이 변함에 따라 모델 성능이 저하될 수 있습니다.
• 플랫폼 커버리지: Twitter와 Reddit은 충분히 포함했지만, 사적 메신저 앱 등 다른 채널이 누락되어 일반화에 제한이 있습니다.
• 라벨 노이즈: 팩트‑체크 소스에도 불구하고 경계가 모호한 사례가 존재해 지도 학습에 영향을 줄 수 있습니다.
• LLM 파인튜닝 확장성: 13B 파라미터 이상의 대형 모델 파인튜닝은 여전히 높은 GPU 자원을 요구해, 소규모 팀에게는 부담이 될 수 있습니다.

저자들이 제시한 향후 연구 방향에는 시간적 엣지 추가, 다국어 뉴스 통합, 그리고 프롬프트‑튜닝 기법을 통한 연산 비용 절감과 LLM 수준 성능 유지가 포함됩니다.

TAGFN을 직접 실험해 보고 싶다면, 데이터셋과 코드는 Hugging Face와 GitHub에서 바로 클론할 수 있습니다. 들어가서 가짜 뉴스와의 전쟁에서 신뢰할 수 있는 AI 최전선을 함께 개척해 보세요.

Authors

• Kay Liu
• Yuwei Han
• Haoyan Xu
• Henry Peng Zou
• Yue Zhao
• Philip S. Yu

Paper Information

• arXiv ID: 2511.21624v1
• Categories: cs.SI, cs.CL
• Published: November 26, 2025
• PDF: Download PDF