AWS re:Invent 2025 - 인간처럼 적응하고 사고하는 새로운 AI 아키텍처 (STP108)
발행: (2025년 12월 5일 오후 09:46 GMT+9)
5 min read
원문: Dev.to
Source: Dev.to
Overview
AWS re:Invent 2025 – 인간처럼 적응하고 사고하는 새로운 AI 아키텍처 (STP108)
이번 세션에서 Pathway의 Jan Chorowski와 Victor Szczerba는 뇌의 희소 신경망에서 영감을 받은 포스트‑Transformer AI 아키텍처 Baby Dragon Hatchling을 소개합니다. 그들은 Transformer가 지속적인 학습이 부족하고 비효율적이며 장기 기업 작업에 부적합하다고 주장합니다. Baby Dragon은 희소 활성화와 연결성을 특징으로 하여 다음을 가능하게 합니다:
- 얇은 데이터셋으로부터의 지속적인 학습
- 두 시간 이상 지속되는 확장된 주의 집중 시간
- 향상된 에너지 효율성
- 규제 환경을 위한 모델 가시성
이 아키텍처는 기업 데이터와 “스티키 인퍼런스(sticky inference)”를 통해 기업 요구를 해결하는 솔루션으로 포지셔닝되며, AWS와의 파트너십을 통해 연중 중반에 출시될 예정입니다.
이 글은 원본 발표를 자동 생성한 것으로, 사소한 오타나 부정확성이 있을 수 있습니다.
The Transformer’s Limitations and the Brain‑Inspired Baby Dragon Hatchling Architecture
“Transformer는 이제 사라지고 있다. 그 시한은 정해졌다.” – Jan Chorowski
왜 Transformer가 장기 작업에 어려움을 겪는가
- 제한된 장기 기억 – 모델은 한 번 학습된 뒤 정적인 스냅샷으로 배포되며, 배포 후에는 적응하지 않는다.
- 비효율성 – 점진적인 벤치마크 향상을 위해서는 모델 크기와 데이터가 10배씩 증가해야 하며, 비용과 데이터 수집 노력이 급증한다.
- 해석 가능성 부족 – 버그 진단이 어렵고, 이를 해결하려면 데이터를 늘리거나 모델을 교체해야 하는데, 이는 한 실패를 다른 실패로 교환하는 것에 불과하다.
이러한 제약으로 인해 밀집형, 일괄 적용형 Transformer는 지속적인 개선, 맞춤형 데이터, 규제 준수가 요구되는 기업 워크로드에 부적합하다.
지속적인 학습을 위한 모델로서의 뇌
인간의 뇌는 지속적으로 학습하며 새로운 정보를 즉시 통합한다. 뇌의 주요 특성은 밀집형 Transformer와 크게 대비된다:
| 뇌 | Transformer |
|---|---|
| 희소 활성화 – 관련된 뉴런만 발화 | 밀집 활성화 – 모든 레이어가 모든 입력을 처리 |
| 동적 연결성 – 경험에 따라 경로가 강화·약화 | 정적 연결성 – 학습 후 가중치가 고정 |
| 에너지 효율 – 복잡한 작업을 낮은 전력으로 수행 | 에너지 집약 – 모델 규모 확대 시 연산 비용 급증 |
Baby Dragon Hatchling: 핵심 아이디어
- 희소 활성화 및 연결성 – 뇌의 선택적 발화를 모방해 연산 및 에너지 사용을 감소시킴.
- 지속적인 학습 – 모델이 운영 중에 파라미터를 업데이트하여 얇고 도메인 특화된 데이터셋에서도 개선 가능.
- 확장된 주의 윈도우 – 몇 문장이 아닌 몇 시간에 걸친 작업에서도 일관된 추론을 지원.
- 가시성 및 감사 가능성 – 규제 산업에 필수적인 모델 행동 모니터링 도구 내장.
기업에 미치는 영향
- 스티키 인퍼런스 – 모델이 기업 지식을 안전하게 보유하여 대용량 데이터 재업로드 필요성을 감소.
- AWS와의 연중 중반 출시 – SageMaker, Bedrock 등 AWS 서비스와의 통합으로 원활한 배포와 확장 가능.
- 에너지·비용 절감 – 희소성 덕분에 추론 비용이 낮아져 대규모·장기 AI 애플리케이션이 재정적으로 실현 가능.
Watch the full presentation
