[Paper] 신경망의 논리적 재구성: Hamiltonian 비트와이즈 파트-홀 아키텍처

Source: arXiv - 2602.04911v1

Overview

이 논문은 관계—예를 들어 “part‑of” 또는 “next‑to”—를 사후 고려가 아니라 일급 객체로 다루는 완전히 새로운 neural‑network‑style 아키텍처를 제안한다. 데이터를 작은 그래프로 인코딩하고 Hamiltonian‑based 에너지 함수를 사용함으로써, 시스템은 ultra‑low‑precision arithmetic만으로 논리 구조를 발견할 수 있어 기존 deep‑learning pipelines에 비해 비용이 저렴하고 해석 가능성이 높은 대안을 제공한다.

주요 기여

• Graph‑based data encoding – 임의의 입력을 그래프로 변환하며, 그래프의 간선은 아주 작고 고정된 원시 이진 관계 집합에서 선택됩니다.
• Hamiltonian energy operator – 그래프‑해밀토니안을 도입하여 구성에 에너지를 할당합니다; 최저 에너지 상태는 전역적으로 일관된 관계 제약 집합에 해당합니다.
• Low‑precision, linear‑time computation – 전체 순전파와 학습 과정이 급진적인 저정밀 연산(예: 1비트 또는 몇 비트 값)으로 수행되며, 그래프 간선 수에 대해 선형적으로 확장됩니다.
• Hybrid symbolic‑statistical representations – 이 아키텍처는 상징적 관계 계층(부분‑관계, 인접‑관계)과 벡터 기반 임베딩을 동시에 제공하여, 역사적으로 별개였던 두 AI 패러다임을 연결합니다.
• Derivation of an equivalent ANN formulation – 동일한 연산을 기존 신경망 연산의 특수 사례로 표현할 수 있음을 보여주어, 기존 딥러닝 툴체인과의 통합 경로를 열어줍니다.

Source: …

방법론

1. 그래프 인코딩 – 각 데이터 포인트(예: 이미지, 문장, 센서 판독값)는 그래프로 매핑됩니다. 노드는 엔터티를 나타내고, 엣지는 PART, NEXT와 같은 소수의 기본 관계 중 하나로 라벨링됩니다.
2. 해밀토니안 에너지 계산 – 맞춤형 연산자가 관계 제약 위반에 대한 페널티 항을 합산하여 그래프 구성의 “에너지”를 평가합니다. 에너지가 낮을수록 그래프가 의도된 부분‑전체 구조를 더 잘 따릅니다.
3. 그라운드‑스테이트 탐색(추론) – 시스템은 간단한 저정밀 연산(비트 연산)을 사용해 엣지 라벨을 반복적으로 업데이트하면서 에너지를 최소화합니다. 결과적인 그라운드 스테이트는 전역적으로 일관된 관계 모델을 인코딩합니다.
4. 학습 규칙 – 학습 과정에서 모델은 다양한 관계 페널티에 가중치를 부여하는 소수의 파라미터를 조정합니다. 이를 통해 주어진 작업에 대해 어떤 관계가 더 중요한지 학습하게 됩니다.
5. ANN 연산으로 매핑 – 비트 연산 업데이트를 전개함으로써 저자들은 동등한 행렬‑벡터 곱 및 비선형 연산 집합을 보여줍니다. 이는 필요 시 기존 딥러닝 하드웨어에 이 접근 방식을 구현할 수 있음을 의미합니다.

결과 및 발견

• Benchmark Compatibility – 시스템은 고전적인 ANN 토이 문제(예: XOR, MNIST 숫자 분류)를 성공적으로 해결했으며, 표준 다층 퍼셉트론에 비해 연산 정밀도와 메모리를 극히 일부만 사용했습니다.
• Relational Discovery – 숨겨진 part‑of 및 인접 패턴으로 설계된 합성 데이터셋에서, 모델은 명시적인 감독 없이도 기본적인 관계 계층 구조를 자동으로 발견했습니다.
• Hierarchical Encoding – 학습된 표현은 다중 레벨 구조를 형성했습니다: 저수준 엣지는 즉각적인 관계를 포착하고, 고수준 클러스터는 복합적인 “전체” 개념을 인코딩하여 귀납적 추론(예: 누락된 부분 추정)을 가능하게 했습니다.
• Efficiency – 계산 비용은 엣지 수에 비례하여 선형적으로 증가했으며, 관계 추론이 추가됨에도 불구하고 보통 CPU에서의 학습 시간은 작은 피드‑포워드 네트워크와 비슷한 수준이었습니다.

Source:

Practical Implications

• Explainable AI – 내부 상태가 명시적인 관계들의 그래프이기 때문에 개발자는 모델의 추론 과정을 검사하고 디버깅할 수 있습니다. 이는 불투명한 가중치 행렬과는 확연히 대조됩니다.
• Edge‑Device Deployment – 초저정밀 비트 연산에 의존하므로 마이크로컨트롤러, FPGA, 혹은 전력과 메모리가 제한된 특수 ASIC에 자연스럽게 적용할 수 있습니다.
• Hybrid Symbolic‑Neural Systems – 통계적 패턴 인식(예: 비전)과 논리적 추론(예: 계획, 지식 그래프)이 모두 필요한 기존 파이프라인은 이 레이어를 “관계 병목(relational bottleneck)”으로 통합해 구조화된 임베딩을 생성할 수 있습니다.
• Rapid Prototyping of Knowledge‑Graph Tasks – 엔터티 링크, 씬 그래프 생성, 프로그램 합성 같은 작업을 전체 심볼릭 엔진을 구축하지 않고도 처리할 수 있습니다; 해밀토니안 코어가 자동으로 일관성을 강제합니다.
• Potential for Neuromorphic Hardware – 이진형 에너지 최소화 동역학이 스파이킹 뉴런 모델과 유사하여 뉴로모픽 플랫폼으로의 원활한 전환을 시사합니다.

제한 사항 및 향후 연구

• 관계 범위 – 현재 원시 집합은 의도적으로 매우 작게 설정되어 있습니다; 이를 더 풍부한 온톨로지(시간적, 인과적, 정량적)로 확장하려면 해밀토니안 항을 재설계해야 합니다.
• 대규모 그래프에 대한 확장성 – 에지 수에 대해 선형이지만, 실제 지식 그래프는 수백만 개의 에지를 포함할 수 있습니다; 저자들은 계층적 파티셔닝이나 근사 추론 방식이 필요함을 언급합니다.
• 학습 역학 – 훈련은 패널티 가중치에 대한 간단한 그래디언트 유사 업데이트에 의존합니다; 보다 정교한 최적화(예: 메타‑러닝)는 잡음이 많은 데이터에서 수렴을 개선할 수 있습니다.
• 벤치마크 다양성 – 실험은 합성 및 소규모 비전 작업에 초점을 맞추고 있습니다; 향후 연구에서는 대규모 NLP, 로보틱스 또는 추천 데이터셋에 대한 접근법을 평가해야 합니다.
• 하드웨어 검증 – 논문은 소프트웨어 프로토타입을 제시합니다; 실제 저전력 하드웨어에 비트 단위 해밀토니안을 구현하는 것이 주장된 효율성 향상을 확인하기 위한 중요한 다음 단계가 될 것입니다.

저자

• E Bowen
• R Granger
• A Rodriguez

논문 정보

• arXiv ID: 2602.04911v1
• Categories: cs.LG, cs.AI, cs.NE
• Published: February 4, 2026
• PDF: PDF 다운로드