[논문] 대형 언어 모델을 위한 적응형 다중 해상도 절차적 지식 압축
개요
대형 언어 모델(LLM)은 자율 워크플로우를 통해 복잡한 작업을 처리하는 데 널리 사용됩니다. 최근에는 재사용 가능한 자연어 스킬이 LLM 애플리케이션에 절차적 지식을 주입하는 인기 있는 패러다임으로 떠올랐습니다. 일반적인 스킬은 반복적으로 호출되는 경우가 많아, 매 컨텍스트마다 전체 텍스트를 삽입하면 프리필 비용과 지연 시간이 크게 증가합니다. 텍스트 압축 기술이 이 문제를 해결할 가능성이 있지만, 기존 대부분의 방법은 문서 내 사실 지식을 압축하도록 설계돼 절차적 지식에는 충분히 적용되지 않아 스킬 압축에 한계가 있습니다. 본 논문에서는 효과적인 스킬 압축 방법이 다음을 만족해야 한다고 주장합니다: 1) 워크플로우와 도구 프로토콜 간의 논리적 의존성을 보존, 2) 자주 업데이트되는 커뮤니티 스킬에 대해 가볍고 오프라인으로 압축 가능, 3) 스킬마다 다른 복잡도에 유연하게 적용 가능. 이를 위해 우리는 절차적 스킬을 위한 적응형 다중 해상도 소프트 토큰 압축 프레임워크인 SKIM( SKIll coMpression )을 제안합니다. 각 스킬의 복잡도에 따라 SKIM은 서로 다른 수의 소프트 토큰을 생성하여 LLM 추론 효율성을 높이는 동시에 스킬 사용 효과를 유지합니다. 실험 결과, SKIM은 기존 압축 방법보다 작업 성능을 더 잘 유지하면서 스킬을 원래 토큰 길이의 30~60% 수준으로 압축함을 보여줍니다. 코드는 https://github.com/bebr2/SKIM 에서 공개했습니다.
주요 기여
본 논문은 다음 분야의 연구를 제시합니다:
- cs.CL
방법론
자세한 방법론은 전체 논문을 참고하십시오.
실용적 함의
이 연구는 cs.CL 분야의 발전에 기여합니다.
저자
- Changyue Wang
- Weihang Su
- Qingyao Ai
- Yichen Tang
- Runzhong Qiao
- Xuancheng Li
- Min Zhang
- Yiqun Liu
논문 정보
- arXiv ID: 2606.12203v1
- 분류: cs.CL
- 발표일: 2026년 6월 10일
- PDF: PDF 다운로드