[논문] EinSort: 정렬만 있으면 LLM 텐서화에 충분합니다.

출처: arXiv - 2606.08565v1

개요

텐서 네트워크는 대규모 신경망을 압축하기 위한 효율적인 표현을 제공합니다. 형태와 토폴로지를 신중히 설계함으로써 메모리와 연산 비용을 크게 줄일 수 있습니다. 그러나 방대한 규모와 구조화되지 않은 가중치 분포 때문에 대형 기반 모델에서 암묵적인 저랭크 구조를 식별하는 것은 여전히 어려운 과제입니다. 우리는 인덱스 순서를 통해 대상 텐서의 내재된 저랭크 구조를 발견하는 적응형 텐서화 방법을 제안합니다. 가중치와 KV‑캐시 압축에 대한 실험 결과, 기존 방법에 비해 재구성 품질이 향상됨을 보여줍니다.

주요 기여

이 논문은 다음 분야의 연구를 다룹니다:

• cs.LG
• cs.AI

방법론

자세한 방법론은 전체 논문을 참고하시기 바랍니다.

실용적 함의

본 연구는 cs.LG 분야의 발전에 기여합니다.

저자

• Toshiaki Koike-Akino
• Jing Liu
• Ye Wang

논문 정보

• arXiv ID: 2606.08565v1
• 분류: cs.LG, cs.AI
• 발행일: 2026년 6월 7일
• PDF: PDF 다운로드