[Paper] 행에서 추론으로: 스프레드시트 이해를 위한 Retrieval-Augmented Multimodal Framework

Source: arXiv - 2601.08741v1

개요

이 논문은 FRTR이라는 검색 기반 멀티모달 프레임워크를 소개합니다. FRTR은 대형 언어 모델(LLM)이 방대한 실제 Excel 워크북을 대상으로 추론할 수 있도록 합니다. 스프레드시트를 세밀한 임베딩으로 분해하고 텍스트, 숫자, 시각적 단서를 융합함으로써, FRTR은 토큰 사용량을 최소화하면서 정확도를 크게 향상시켜 기업 개발자에게 실용적인 스프레드시트 AI를 제공합니다.

주요 기여

• FRTR‑Bench: 멀티모달 스프레드시트 추론을 위한 최초의 대규모 벤치마크 (30개의 기업 워크북, 약 4 M 셀, 50개 이상의 삽입 이미지).
• Granular embedding pipeline: 행, 열, 논리 블록을 별도로 인코딩하여 관련 부분만 효율적으로 검색할 수 있게 함.
• Hybrid lexical‑dense retrieval with Reciprocal Rank Fusion (RRF): 키워드 매칭과 밀집 벡터 유사성을 결합해 스프레드시트 조각을 견고하게 선택.
• Multimodal integration: 시각 임베딩(차트, 영수증)을 숫자/텍스트 임베딩과 결합해 모델이 두 데이터 유형을 모두 아우르는 질문에 답변할 수 있게 함.
• Empirical gains: Claude Sonnet 4.5를 사용한 FRTR‑Bench에서 74 % 정확도(이전 SOTA 24 % 대비)와 GPT‑5를 사용한 SpreadsheetLLM에서 87 % 정확도를 달성했으며 토큰 사용량을 약 50 % 절감.

방법론

1. 워크북 청크화 – 각 시트를 세 종류의 청크로 파싱합니다:
   • Row 청크 (전체 행 벡터 포함)
   • Column 청크 (전체 열 벡터)
   • Block 청크 (사용자 정의 논리 영역, 예: 테이블 또는 피벗)
2. 임베딩 생성 –
   • 텍스트/숫자 데이터 → 사전 학습된 LLM 인코더를 통한 밀집 임베딩.
   • 이미지(차트, 영수증) → CLIP‑스타일 비전 인코더를 이용한 시각 임베딩.
3. 하이브리드 검색 –
   • Lexical 검색(BM25)은 열 헤더, 수식 등 정확히 일치하는 항목을 찾습니다.
   • Dense 검색은 의미적으로 관련된 청크를 찾습니다.
   • 결과는 Reciprocal Rank Fusion으로 병합되어 정밀도(lexical)와 재현율(dense)의 균형을 맞춥니다.
4. 프롬프트 구성 – 검색된 청크를 간결한 컨텍스트 윈도우에 연결하고, 사용자 질의와 함께 대상 LLM에 전달합니다.
5. 답변 생성 – LLM이 자연어 답변을 생성하며, 필요에 따라 수식이나 시각 요소에 대한 참조를 함께 제공합니다.

결과 및 발견

이 의미는: FRTR의 검색 단계는 쿼리에 필요한 행/열/시각 자료만을 분리해 내므로, LLM이 수백만 개의 관련 없는 셀에 압도되지 않고 추론 능력을 집중할 수 있습니다. 멀티모달 융합 덕분에 “Q3 매출 차트에 표시된 추세는 무엇인가?”와 같은 질문에 답할 수 있게 되며, 이는 순수 텍스트 접근 방식으로는 처리할 수 없습니다.

Practical Implications

• Enterprise automation: 개발자들은 FRTR을 내부 봇에 삽입하여 재무, 공급망, 인사 스프레드시트 질의에 실시간으로 답변하게 함으로써 수동 데이터 탐색을 줄일 수 있습니다.
• Cost‑effective LLM usage: 토큰 사용량을 절반으로 줄이면 API 비용이 직접 감소하고, 대규모 스프레드시트 어시스턴트를 SaaS 제품에 적용 가능하게 합니다.
• Extensible to other office formats: 동일한 검색 강화 멀티모달 파이프라인을 워드 문서, 파워포인트 슬라이드, 혹은 표와 그래픽이 혼합된 PDF 보고서에도 적용할 수 있습니다.
• Improved UX for low‑code platforms: 노코드 도구는 최종 사용자에게 자연스러운 “워크북에 물어보기” 기능을 제공하면서도 내부적으로는 높은 성능을 유지할 수 있습니다.

제한 사항 및 향후 작업

• 검색 지연: 청크화가 토큰 부하를 줄이긴 하지만, 하이브리드 검색(BM25 + dense + RRF)은 전처리 단계를 추가하여 매우 큰 워크북의 경우 눈에 띄게 느려질 수 있다; 인덱싱 최적화가 필요하다.
• 도메인‑특화 시각 단서: 현재 비전 인코더는 일반 차트를 처리하지만, 매우 맞춤화되었거나 저해상도 이미지(예: 스캔된 영수증)에서는 어려움을 겪을 수 있다. 도메인‑특화 시각 데이터에 대한 파인튜닝이 다음 단계이다.
• 설명 가능성: FRTR은 답변을 반환하지만, 어떤 행/열이 추론에 가장 크게 기여했는지에 대한 투명한 추적을 아직 제공하지 않는다—감사 중심 산업에 유용한 기능이다.
• 벤치마크 다양성: FRTR‑Bench는 기업용 Excel 파일에 초점을 맞추고 있다; Google Sheets, LibreOffice, 그리고 파일 간 워크플로우로 확장하면 적용 범위가 넓어질 것이다.

Bottom line: FRTR은 스마트 검색 프론트‑엔드와 멀티모달 임베딩을 결합함으로써, 차세대 AI 어시스턴트를 구축하는 개발자들에게 신뢰할 수 있고 비용 효율적인 스프레드시트 추론을 가능하게 한다.

저자

• Anmol Gulati
• Sahil Sen
• Waqar Sarguroh
• Kevin Paul

논문 정보

• arXiv ID: 2601.08741v1
• 카테고리: cs.CL
• 출판일: 2026년 1월 13일
• PDF: PDF 다운로드