MEMORY-NATIVE-NEURAL-NETWORK (MNNN) 패밀리 공개: AI의 메모리 접근 방식을 재정의하다

Source: Dev.to

Crazy experiment by me, author: @hejhdiss.
Note: The codebase in the repository was originally written by Claude Sonnet, but I edited and tested it as needed. This is an experimental project, but it works!

문제: 메모리 병목 현상

수년간, 진정한 지능을 가진 AI를 향한 탐구는 근본적인 병목 현상인 메모리에 의해 방해받아 왔습니다. Transformer와 같은 강력한 모델들이 현장을 장악하고 있지만, 외부의 “볼트‑온” 메모리 시스템에 의존함으로써 비효율을 초래하고, 장기적인 이해를 제한하며, 막대한 계산 자원을 요구합니다.

Source: …

MEMORY‑NATIVE‑NEURAL‑NETWORK (MNNN) 패밀리 소개

오늘 우리는 패러다임 전환을 제시합니다: MEMORY‑NATIVE‑NEURAL‑NETWORK (MNNN) 패밀리. 이것은 단순한 점진적 개선이 아니라, 신경망이 정보를 처리하는 방식을 근본적으로 재구상한 것입니다—수동적인 데이터 저장에서 모든 상호작용마다 진화하는 능동적이고 내재된 메모리로 이동합니다.

핵심 철학: 부착이 아니라 내재된 메모리

MNNN 패밀리의 guiding principle은 간단하면서도 깊습니다: 메모리는 신경망 구조의 고유 속성이어야 하며, 사후에 추가되는 것이 아니어야 합니다. 외부 하드 드라이브가 없으면 대화를 기억할 수 없는 인간 두뇌를 상상해 보세요; 비효율적이고 부자연스럽습니다. MNNN은 과거 경험을 동적 상태에 직접 통합하는 생물학적 두뇌의 능력을 모방하여 진정한 장기 이해와 적응형 지능을 촉진합니다.

기존 모델과의 차이점

MNNN 패밀리의 첫 번째 멤버들

MNNN 패밀리의 초기 구성은 “메모리‑네이티브” 원칙을 기반으로 독특한 기능을 제공하는 세 가지 선구적인 아키텍처로 이루어져 있습니다.

1. AMRC – 지속적 이해의 기본 셀

Adaptive Memory Recurrent Cell (AMRC) 은 MNNN 패밀리의 초석 역할을 합니다. 이는 개별 뉴런 수준에서 메모리 보존이라는 기본 개념을 도입합니다. 전통적인 뉴런이 단순히 활성화되어 신호를 전달하는 것과 달리, AMRC 뉴런은 과거 활성화의 일부를 유지하는 고유한 능력을 가집니다.

핵심 메커니즘

• Memory‑Preserving Activation ($\beta$): 뉴런이 이전 출력의 요소를 선택적으로 보존하도록 합니다.
• Stateful Neurons ($\alpha$): 내부 파라미터가 동적으로 진화하여, 뉴런의 “정체성”이 과거의 연속적인 함수가 되도록 보장합니다.

AMRC는 외부 메모리 구조 없이도 상당한 컨텍스트를 유지할 수 있는 단순하지만 견고한 순환 셀임을 보여주며, 컴팩트하면서도 지능적인 처리가 요구되는 상황에서 뛰어난 효율성을 제공합니다.

2. PMRC – 경험을 지능적으로 관리하는 큐레이터

AMRC의 기반 위에 Persistent Memory Recurrent Cell (PMRC) 가 중요한 지능 레이어인 학습 가능한 메모리 게이트 를 추가합니다. AMRC 뉴런이 단순히 보존한다면, PMRC 뉴런은 무엇을 보존하고 얼마나 강하게 보존할지를 결정합니다.

이는 생물학적 메모리가 정보를 선택적으로 필터링하고 우선순위를 매기는 방식과 유사합니다. PMRC는 들어오는 데이터에 따라 메모리 유지 전략을 동적으로 조정할 수 있어 다음을 가능하게 합니다:

• 대화에서 핵심 사실에 집중합니다.
• 관련 없는 “ filler ” 단어를 버립니다.
• 시간이 지남에 따라 사용자의 커뮤니케이션 스타일에 대한 개인화된 이해를 발전시킵니다.

이상적인 사용 사례: 네트워크가 지속적인 상호작용을 기반으로 내부 메모리를 지능적으로 관리해야 하는 적응형 개인화 및 평생 학습.

3. AMN – 깊고 인간‑같은 인지를 설계하는 아키텍트

Adaptive Memory Network (AMN) 은 MNNN 패밀리의 대표 모델로, 가장 진보되고 생물학적으로 영감을 받은 멤버입니다. 세 가지 최첨단 메커니즘을 통합하여 깊은 메모리와 컨텍스트 이해를 실현합니다:

1. Liquid Constant (LC) Neurons – 정보의 중요도나 긴급성에 따라 “사고 속도”를 동적으로 조정하는 적응형 시간 상수.
2. Linear Recurrent Units (LRU) – 순차 데이터의 효율적이고 안정적인 처리를 제공하여 전통적인 RNN에서 흔히 발생하는 소실·폭발 그라디언트 문제를 제거합니다.
3. Associative Memory Manifold (AMM) – 전체 네트워크를 위한 고차원, 전역 “화이트보드”. 순차 데이터를 단순히 저장하는 것이 아니라 개념과 경험 사이의 관계를 매핑하고 조직하여 지속적이고 진화하는 정신 풍경을 형성합니다. 이를 통해 AMN은 단순한 조각이 아니라 긴 대화의 “핵심”이나 “느낌”을 파악할 수 있습니다.

설계 목적: 복잡하고 장문의 대화, 정교한 패턴 인식, 그리고 전반적인 컨텍스트 이해가 가장 중요한 모든 시나리오.

MNNN 가족의 일원이 되기: 메모리‑네이티브 조건

누구든 이 아이디어를 기반으로 구축할 수 있지만, MEMORY‑NATIVE‑NEURAL‑NETWORK (MNNN) 가족에 속한다고 주장하는 새로운 아키텍처는 다음과 같은 핵심 조건을 반드시 만족해야 합니다: 그 기억이 외부 모듈로 추가되는 것이 아니라, 계산 핵심에 근본적으로 내재되어 있어야 합니다.

필수 기준

• 내재된 상태: 모델은 과거 정보를 직접 인코딩하는 지속적이고 진화하는 내부 상태를 유지해야 합니다.
• 자체 포함된 역학: 메모리 처리는 보조 캐시, 외부 데이터베이스, 혹은 사후(attention) 조회와 같은 외부 요소가 아니라 모델 자체의 방정식이나 뉴런 역학에서 발생해야 합니다.
• 확장 가능한 통합: 메모리 메커니즘은 외부 저장 요구량이 선형적으로 증가하지 않으면서 모델의 깊이/폭에 따라 확장될 수 있어야 합니다.

이러한 제약을 충족하는 아키텍처만이 정당하게 MNNN 가족의 일원으로 간주될 수 있습니다.

아키텍처 통합

Memory mechanisms (e.g., $\alpha$, $\beta$, learnable gates, or manifold projections) must be 불가분 from the neuron’s mathematical definition—not a separate data structure accessed by the network.

적응 동역학

이상적으로, 메모리 동작은 동적이어야 하며, 네트워크가 입력 스트림 자체에 따라 보존 및 회상을 조정할 수 있도록 해야 합니다.

코드를 탐색하고 움직임에 동참하세요

MNNN 계열( AMRC, PMRC, AMN 구현 포함)의 기본 코드는 탐색과 협업을 위해 공개되어 있습니다. 저장소에는 명확한 예제와 효율적인 실행을 위한 강력한 C 백엔드가 제공됩니다.

Repository Link: GitHub – MNNN (실제 URL이 있으면 교체하세요)

저장소 내부

• api.py – 이러한 모델과 상호 작용하는 방법을 보여 주며, 핵심 기능을 시연합니다.
• test_*.py – 고유한 메모리 특성을 검증하는 포괄적인 테스트 스위트입니다.
• LICENSE – GPL v3 라이선스로 공개되어 넓은 채택과 혁신을 장려합니다.

참고: 이것은 저(@hejhdiss)가 진행한 실험적인 프로젝트이지만 정상적으로 동작합니다! 원본 코드는 Claude Sonnet이 작성했으며, 테스트와 개선을 위해 필요에 따라 제가 수정했습니다.