[논문] 홀로그래픽 축소 표현을 활용한 분리화

Source: arXiv - 2606.09725v1

개요

데이터의 변동 요인을 신경망으로 분리하는 분리성(disentanglement) 은 머신러닝에서 오랫동안 해결되지 않은 과제입니다. 기존 연구들은 변분 자동인코더(variational autoencoders)와 생성적 적대 네트워크(generative adversarial networks)를 활용해 변분 추론과 정보 이론적 제약을 도입하는 방식으로 이 문제에 접근했습니다. 연속적인 표현에 의존하는 방법들과 달리, 우리는 샘플을 구성하는 개념들 사이의 조합적 관계에 동기를 둔 상징적 구조 로서 분리된 표현을 다루는 설계를 제안합니다. 그러나 신경망으로 이산적인 상징 구조를 학습하면서 미분 가능성을 유지하는 것은 어렵고 복잡한 아키텍처를 요구하는 경우가 많습니다. 이를 해결하기 위해 우리는 홀로그래픽 축소 표현(Holographic Reduced Representations, HRR) 을 이용한 비지도 학습 알고리즘을 도입합니다. HRR의 언바인딩(unbinding) 연산이 요인들을 분리하는 귀납적 편향을 제공함을 보였으며, 잠재 공간 탐색(latent traversals)과 분리성 지표를 통해 기존 베이스라인과 경쟁력 있는 결과를 얻었습니다. 또한 우리는 HRR 언바인딩 채널에 대한 정보 이론적 분석을 수행했습니다. 언바인딩이 거의 독립적인 심볼‑값 쌍을 생성한다는 것을 증명하고, 각 슬롯당 용량 상한을 도출하여 얼마나 많은 서로 다른 상징 개념을 신뢰성 있게 인코딩할 수 있는지를 정량화함으로써 분리성에 대한 귀납적 편향을 정량적으로 설명했습니다. 결과적으로 이 표현은 전통적인 자동인코더 기반 모델과 달리 잠재 유닛이 저차원 잠재 벡터의 스칼라 차원이 아니라 벡터들을 합산 하는 형태입니다. 우리는 이 HRR 표현이 다른 분리된 표현에 비해 잡음에 더 강인하며, 다양한 신호대잡음비(SNR)에서도 재구성 품질을 유지한다는 것을 보여줍니다.

주요 기여

이 논문은 다음 분야의 연구를 제시합니다:

• cs.LG

방법론

자세한 방법론은 전체 논문을 참고하시기 바랍니다.

실용적 함의

본 연구는 cs.LG 분야의 발전에 기여합니다.

저자

• Jhonny J. Velasquez Olivera
• Christo K. Thomas
• Walid Saad

논문 정보

• arXiv ID: 2606.09725v1
• 분류: cs.LG
• 발표일: 2026년 6월 8일
• PDF: PDF 다운로드