[Paper] CompanionCast: 사회적 공동 시청 경험을 위한 공간 오디오를 갖춘 다중 에이전트 대화형 AI 프레임워크

Source: arXiv - 2512.10918v1

Overview

이 논문은 CompanionCast라는 모듈식 프레임워크를 소개한다. 이 프레임워크는 여러 AI “동반자”들을 하나로 묶어 비디오를 함께 시청하도록 만든다—음성 대화, 개성 있는 말투, 그리고 화면의 특정 위치에서 소리가 나는 듯한 공간 오디오까지 제공한다. 이러한 에이전트들이 실시간으로 비디오에 반응하도록 함으로써, 혼자 있을 때도 친구와 함께 게임이나 쇼를 보는 느낌을 재현하는 것이 목표다.

Key Contributions

• 다중 에이전트 오케스트레이션 레이어: 역할에 특화된 LLM(예: 해설자, 팬, 분석가)을 비디오 스트림 및 오디오 출력과 동기화한다.
• LLM‑as‑a‑Judge 평가 모듈: 진행 중인 대화를 관련성, 진정성, 몰입도, 다양성, 성격 일관성의 다섯 가지 기준으로 점수 매기고, 그 점수를 에이전트 응답 개선에 활용한다.
• 공간 오디오 렌더링 파이프라인: 각 에이전트의 합성 음성을 3‑D 사운드 필드에 배치해 공동 존재감을 강화한다.
• 파일럿 사용자 연구: 축구 팬들을 대상으로 한 실험에서 다중 에이전트 공동 시청이 단독 시청에 비해 사회적 존재감을 높이는 것으로 나타났다.
• 범용 설계: 교육, 엔터테인먼트, 협업 작업 등 다른 분야에도 최소한의 재구성으로 적용할 수 있다.

Methodology

1. Video Ingestion – 시스템은 실시간 혹은 사전 녹화된 비디오 스트림에서 시각·음성 단서(예: 장면 전환, 관중 소리, 화면 텍스트)를 추출한다.
2. Agent Roles – 서로 다른 LLM 인스턴스에 “열정적인 팬”, “전술 분석가”, “캐주얼 해설자”와 같은 개별 페르소나를 할당한다. 각 에이전트는 동일한 멀티모달 컨텍스트를 받지만, 자신의 역할에 맞게 응답하도록 프롬프트된다.
3. Conversation Loop – 에이전트가 짧은 발화를 생성하면 Judge LLM에 전달된다. Judge는 다섯 가지 품질 차원에서 점수를 매기고, 필요시 수정이나 재순위를 요청한다.
4. Speech Synthesis + Spatial Audio – 승인된 발화는 TTS 엔진을 통해 음성으로 변환된 뒤, 바이노럴 렌더링을 이용해 가상 사운드 스페이스에 배치된다(예: 팬은 좌측 스피커, 분석가는 우측 스피커).
5. User Interaction – 시청자는 음성이나 텍스트로 에이전트와 소통할 수 있으며, 시스템은 실시간으로 대화를 조정한다.

모든 구성 요소는 경량 메시지 버스를 통해 통신하므로, 개발자는 하위 모듈(예: GPT‑4를 더 작은 오픈소스 모델로 교체)만 교체해도 쉽게 확장할 수 있다.

Results & Findings

• Social Presence Score – 30명의 축구 팬을 대상으로 한 통제 실험에서, 참가자들은 CompanionCast 경험이 기존 단독 시청 대비 사회적 존재감 설문에서 23 % 높은 점수를 주었다.
• Engagement Metrics – 다중 에이전트가 존재할 때 평균 상호작용 시간(클릭, 입력 메시지)이 18 % 증가했으며, 이는 사용자가 더 오래 몰입한다는 것을 의미한다.
• Judge Effectiveness – LLM‑as‑a‑Judge는 주제와 무관하거나 반복적인 발화를 42 % 감소시켜, 보다 매끄러운 대화를 구현했다.
• Audio Realism – 주관적 청취 테스트에서 공간 오디오가 “다른 사람과 같은 방에 있는 느낌”을 15 % 상승시킨 것으로 나타나, 3‑D 사운드 배치의 가치를 확인했다.

Practical Implications

• Streaming Platforms – Netflix, Twitch, 스포츠 방송사 등은 CompanionCast 에이전트를 삽입해 실제 친구가 없어도 “가상 시청 파티” 경험을 제공할 수 있다.
• Remote Collaboration – 교육 영상, 디자인 목업, 코드 리뷰 등을 검토하는 팀은 역할별 AI 어시스턴트를 활용해 의견을 제시하고 질문을 유도하며 토론을 활기차게 만들 수 있다.
• Education – 교사는 강의 영상 재생 중에 AI “학생” 패널을 배치해 명확한 질문을 하거나 대안 설명을 제공하게 함으로써 원격 학습을 보다 인터랙티브하게 만들 수 있다.
• Developer Toolkit – 프레임워크가 표준 API(LLM 엔드포인트, WebRTC 비디오 스트림, 바이노럴 오디오 라이브러리) 위에 구축돼 있어, 개발자는 몇 줄의 코드만으로 새로운 에이전트 페르소나를 프로토타이핑하거나 도메인 특화 지식 베이스를 통합할 수 있다.

Limitations & Future Work

• Domain Specificity – 파일럿은 축구에 초점을 맞췄으며, 서사 영화나 뉴스 방송에서의 성능은 아직 검증되지 않았다.
• Latency – 비디오 단서, LLM 추론, 오디오 렌더링을 실시간으로 동기화하는 과정에서 저사양 하드웨어에서는 눈에 띄는 지연이 발생할 수 있다.
• Judge Overhead – 품질 관리를 위한 별도 LLM 실행이 추론 비용을 두 배로 늘려, 대규모 배포 시 비용 부담이 클 수 있다.
• User Personalization – 현재 에이전트는 정적인 페르소나를 따르며, 향후 연구에서는 사용자 선호와 상호작용 이력을 기반으로 동적인 성격 적응을 탐구할 예정이다.

전반적으로 CompanionCast는 사회적으로 풍부한 AI 기반 공동 시청 경험을 구현하는 유망한 길을 열어 주지만, 이를 주류 기능으로 만들기 위해 해결해야 할 엔지니어링 과제도 함께 제시한다.

Authors

• Yiyang Wang
• Chen Chen
• Tica Lin
• Vishnu Raj
• Josh Kimball
• Alex Cabral
• Josiah Hester

Paper Information

• arXiv ID: 2512.10918v1
• Categories: cs.HC, cs.CL
• Published: December 11, 2025
• PDF: Download PDF