[Paper] TeleDoCTR: 도메인 특화 및 맥락 기반 통신 트러블슈팅

Source: arXiv - 2601.00691v1

Overview

TeleDoCTR 논문은 많은 대형 통신 사업자들이 매일 겪는 문제점을 해결합니다: 폭증하는 지원 티켓을 빠르고 정확하게 해결하는 것. 도메인‑특화 랭킹과 최신 생성 AI를 결합함으로써, 저자들은 티켓을 자동으로 라우팅하고, 가장 관련성 높은 과거 사례를 찾아내며, 고장‑분석 보고서를 초안 작성하는 엔드‑투‑엔드 시스템을 구축했습니다—모든 과정이 인간이 방대한 문서를 일일이 살펴볼 필요 없이 이루어집니다.

주요 기여

• Domain‑tailored architecture: 텔레콤 데이터에 특화된 분류 모델(티켓 라우팅), 검색 엔진(유사 티켓 검색), 생성 모델(고장 분석 보고서)을 결합한 통합 파이프라인.
• Contextual ranking: 일반적인 의미론적 유사성을 넘어 검색된 과거 티켓의 관련성을 높이는 도메인‑특화 랭킹 손실을 도입.
• Generative fault analysis: 미세 조정된 언어 모델을 활용해 엔지니어가 바로 사용할 수 있는 구조화된 보고서(문제 설명, 근본 원인, 제안된 해결책)를 생성.
• Real‑world evaluation: 독점 텔레콤 인프라 데이터셋에 대한 실험에서 분류 정확도, 검색 재현율, 보고서 품질(BLEU/ROUGE) 모두 강력한 베이스라인 대비 일관된 향상을 입증.
• Operational efficiency gains: 파일럿 환경에 시스템을 배포했을 때 평균 해결 시간(MTTR)의 측정 가능한 감소를 보여줌.

방법론

1. Data preparation – 저자들은 네트워크 장애, 하드웨어 고장, 서비스 저하를 포함하는 약 120 k개의 티켓과 해당 전문가가 작성한 해결 노트를 수집했습니다.
2. Ticket routing (classification) – 변환기 기반 분류기(예: BERT‑large)를 파인튜닝하여 담당 전문가 팀(≈ 30개 카테고리)을 예측합니다.
3. Contextual retrieval – 과거 티켓을 밀집 임베딩(SBERT)으로 인덱싱하고, 텔레콤 온톨로지 용어(예: “BGP flap”, “OLT failure”)를 포함하는 domain‑specific relevance scorer를 추가합니다. 최종 점수는 의미적 유사도와 온톨로지 겹침을 가중치로 혼합한 것입니다.
4. Report generation – 시퀀스‑투‑시퀀스 모델(T5‑base)을 티켓 텍스트와 전문가 해결 노트 쌍에 대해 추가 파인튜닝합니다. 모델은 Problem Summary, Root Cause, Recommended Action 세 섹션을 출력하도록 프롬프트됩니다.
5. End‑to‑end integration – 파이프라인은 실시간으로 동작합니다: 새 티켓을 먼저 분류하고, 상위‑k개의 유사 티켓을 가져온 뒤, 생성 모듈이 초안 보고서를 생성합니다. 필요 시 인간이 편집할 수 있습니다.

모든 구성 요소는 표준 메트릭(accuracy, MAP@10, BLEU, ROUGE)과 운영 영향을 포착하는 맞춤형 “resolution‑time” 메트릭을 사용해 학습 및 평가됩니다.

결과 및 발견

절제 연구에 따르면 도메인 특화 순위 항목을 제거하면 MAP@10이 약 12 % 감소하고, 생성 모델을 일반 GPT‑2로 교체하면 BLEU가 약 9 % 감소합니다. 인간 평가자는 TeleDoCTR의 초안 보고서를 78 %의 경우에 “인계 준비 완료”로 평가했으며, 기준선은 45 %에 불과했습니다.

Practical Implications

• Faster ticket triage – 자동 라우팅으로 티켓 할당에 드는 수작업을 줄여, 시니어 엔지니어가 복잡한 사례에 집중할 수 있게 합니다.
• Knowledge reuse – 가장 관련성 높은 과거 사고를 보여줌으로써 중복 작업을 줄이고, 신입 직원이 과거 해결책을 학습하도록 돕습니다.
• Draft reports as a starting point – 엔지니어가 처음부터 작성하는 대신 간결한 AI‑생성 분석을 편집해 해결 흐름을 가속화합니다.
• Scalable to other domains – 모듈식 설계(분류 + 검색 + 생성)는 티켓 이력이 풍부한 모든 산업(예: 클라우드 서비스, ITIL 지원)에서 재학습될 수 있습니다.
• Cost reduction – 초기 ROI 계산에 따르면, 중형 통신 사업자가 3개월 도입 후 지원 인건비를 15–20 % 절감할 수 있습니다.

제한 사항 및 향후 작업

• Data privacy & bias – 모델은 독점 티켓을 기반으로 학습되었습니다; 멀티‑테넌트 환경으로 확장하려면 강력한 익명화 및 편향 완화 전략이 필요합니다.
• Domain shift – 빠르게 진화하는 통신 표준(5G, edge computing)이 정적 온톨로지를 앞서게 될 수 있어, 순위 매김에 사용되는 온톨로지를 지속적으로 업데이트해야 합니다.
• Human‑in‑the‑loop validation – 생성된 보고서는 높은 품질을 보이지만, 시스템은 여전히 안전‑중요 사고에 대해 전문가 검토에 의존합니다.
• Future directions proposed by the authors include:
  1. 실시간 네트워크 텔레메트리를 추가 컨텍스트로 통합하기.
  2. 강화 학습을 탐색하여 엔드‑투‑엔드 MTTR 목표를 최적화하기.
  3. 글로벌 운영자에게 흔한 다국어 티켓 스트림으로 파이프라인을 확장하기.

저자

• Mohamed Trabelsi
• Huseyin Uzunalioglu

논문 정보

• arXiv ID: 2601.00691v1
• 카테고리: cs.LG, cs.CL, cs.IR
• 출판일: 2026년 1월 2일
• PDF: PDF 다운로드