구현이 AI를 편안한 추상화에서 벗어나게 한다

Source: Dev.to

로봇 팔이 물건을 잡는 도중에 멈춘다. 모터가 윙윙거리고, 비전 모델은 자신감이 넘친다. 플랜 그래프는 완벽하다. 그럼에도 불구하고 팔은 주저하며, 뜨거운 스토브 위에 손을 올려놓은 듯 긴장한 손처럼 흔들린다.

코드에 문제가 없다. 수학에 문제가 없다. 데이터셋에 문제가 없다.

문제는 세상이 반발했다는 점이다.

여기가 대부분의 AI 이론이 조용히 무너지는 지점이다. 벤치마크나 논문, 데모 영상에서가 아니라, 추상적인 시스템이 공간을 차지하고, 에너지를 소비하며, 그 결과를 받아들여야 하는 순간이다. 구현(Embodiment)은 지능에게 정중히 초대를 건네는 것이 아니다. 깨끗한 실험실에서 꺼내어 마찰, 지연, 중력, 소음, 마모, 그리고 되돌릴 수 없는 실수 속으로 밀어넣는다.

모델을 몸에 연결하면, 추상화는 더 이상 숨을 수 있는 안전한 장소가 아니다.

아무것도 닿지 않을 때 지능은 쉬워진다

대부분의 현대 AI 시스템은 기호들의 완충된 방 안에 존재합니다. 토큰이 들어오고, 토큰이 나갑니다. 모든 입력이 이미 이산화되어 있고, 모든 출력이 계산 비용 외에는 아무런 대가도 없는 정제된 인터페이스입니다. 잡아야 할 것이 없을 때는 자유롭게 환각할 수 있습니다. 넘어질 것이 없을 때는 과신할 수 있습니다. 피가 흐르지 않을 때는 모호하게 말할 수 있습니다.

대형 언어 모델은 여기서 번성합니다. 인간 텍스트의 통계적 구조를 압축하는 데 뛰어납니다. 설명, 추론, 의도, 심지어 의심까지 시뮬레이션합니다. 그들이 지능적으로 보이는 이유는 그들이 작동하는 환경 자체가 이미 지능 형태로 설계되어 있기 때문입니다.

하지만 이것은 현실 세계에서 행동하는 것과는 다릅니다.

구현(embodiment)은 규칙을 즉시 바꿉니다. AI가 관절을 움직이거나, 무게를 균형 잡거나, 서로 의견이 다른 센서를 조정해야 하는 순간, 추상의 편안함은 사라집니다. 시스템은 이제 올바르게 들리는 것에 대해 보상을 받지 않습니다. 틀렸을 때는 처벌을 받습니다.

거리를 잘못 판단한 로봇은 낮은 BLEU 점수를 받는 것이 아니라 물체를 떨어뜨립니다. 과도하게 일반화한 자율 주행 시스템은 교정 프롬프트를 받는 것이 아니라 충돌합니다.

이것은 잔인함이 아닙니다. 현실이 스스로를 주장하고 있을 뿐입니다.

몸은 적대적인 환경이다

소프트웨어 엔지니어들은 보안 개념으로서 적대적인 입력에 대해 이야기하는 것을 좋아한다. 구현(embodiment)은 물리적 세계 전체를 적으로 만든다.

• 모든 표면에는 질감이 있다.
• 모든 센서는 드리프트한다.
• 모든 액추에이터는 마모된다.
• 온도는 동작을 변화시킨다.
• 전원은 변동한다.
• 먼지는 쌓인다.
• 신호는 간섭한다.
• 타이밍은 미끄러진다.

깨끗한 입력은 존재하지 않는다. 충분히 오래 지속되어 포착될 수 있는 절대적인 진실도 없다. 로봇 자체조차 작동하면서 변한다.

이 때문에 구현된 AI 연구는 순수 디지털 진보에 비해 매우 느리게 느껴진다. 루프는 잔인하다: 배포하고, 세계가 가정을 깨뜨리고, 업데이트하고, 세계는 새로운 저항 방식을 찾아낸다.

지능을 물리적 맥락과 깔끔하게 분리할 수 있다는 추상적 환상은 여기서 사라진다. 인지는 떠다니지 않는다. 붙어 있다.

이는 구현 세부 사항이 아니다. 핵심 제약이다.

중앙 계획자의 신화

고전적인 AI는 중앙 계획자의 아이디어를 사랑했습니다: 세계 모델을 구축하고, 목표를 정의하며, 최적의 행동 순서를 탐색한 뒤 실행합니다.

이 방법은 상태 공간이 잘 정의되고 오류 비용이 제로인 시뮬레이션에서는 아름답게 작동합니다. 그러나 구현(embodiment)이 들어오면 무너집니다.

세상은 당신의 계획자가 생각을 마치기를 기다리지 않습니다. 당신이 가지(branch)를 평가하는 동안 세상은 멈추지 않습니다. 당신이 아직 결정을 내리는 동안에도 세상은 변합니다.

구현된 시스템은 지속적인 협상에 강제됩니다. 지각은 행동에 스며들고, 행동은 지각을 재구성합니다. 제어 루프가 촘촘해집니다. 반응이 예측보다 더 중요해집니다.

이 때문에 많은 성공적인 구현 시스템은 이론적으로는 미려해 보이지 않습니다. 그들은 휴리스틱, 반사 행동, 중복성, 그리고 대체 행동에 의존합니다. 최적성을 추구하지 않고 생존을 추구합니다. 다시 말해, 그들은 점점 생물학적인 모습을 띠게 됩니다.

제약 하의 지능은 다른 지능이다

많은 AI 논의에서는 지능이 하나의 연속적인 것이라고 조용히 가정합니다: 파라미터가 많을수록, 데이터가 많을수록, 연산량이 많을수록 → 더 나은 지능.

구현(Embodiment) 은 그 가정을 깨뜨립니다.

제약은 단순히 지능을 제한하는 것이 아니라 형성합니다.

• 에너지가 유한할 때는 효율성이 중요합니다.
• 반응 시간이 제한될 때는 예측력이 중요합니다.
• 실수가 비용이 클 때는 신중함이 중요합니다.
• 센서가 잡음이 많을 때는 견고함이 중요합니다.

이러한 압력은 다음 토큰 예측에 최적화된 지능과는 전혀 다른 종류의 지능을 만들어냅니다.

이것이 작은 뇌를 가진 동물들이 실제 세계 과제에서 거대한 모델을 능가하는 이유입니다. 까마귀는 도구를 사용하기 위해 조그마한 파라미터가 필요하지 않습니다; 그것은 유창함보다 능숙함을 보상하는 제약에 의해 형성되었습니다.

AI가 구현되면 더 이상 순수하게 영리하기만 할 수 없습니다. 신중해야 합니다. 적응해야 합니다. 고립된 추론이 아니라 지속적인 상호작용을 지원하는 내부 구조를 개발해야 합니다.

이는 사후에 덧붙일 수 있는 것이 아닙니다.

에이전시 환상이 빠르게 깨진다

비물리적 AI 시스템은 에이전시를 수행하는 데 매우 뛰어납니다. 목표에 대해 이야기하고, 결정을 설명하며, 계획을 서술함으로써 일관된 내적 동기의 환상을 만들어냅니다.

구현된 시스템은 그 환상을 무자비하게 시험합니다.

에이전시는 단순히 목표가 있다고 말하는 것이 아니라, 적대적인 환경 속에서 시간에 걸쳐 일관된 행동을 유지하는 것입니다. 부분적인 실패를 견디고, 예상치 못한 결과에서 회복하며, 언제 멈춰야 할지를 아는 것이 에이전시입니다.

대부분의 AI 시스템은 인간 언어에서 에이전시를 빌려올 뿐, 경험에 기반하지 않기 때문에 여기서 실패합니다. 지속성을 설명할 수는 있지만, 실제로 실행하지는 못합니다.

구현된 시스템이 실패하면 대화형 탈출구가 없습니다. 작업은 미완성으로 남고, 물체는 잡히지 않으며, 경로는 차단된 채로 남습니다.

이때 진정한 에이전시가 나타나거나 나타나지 않게 됩니다.

Source: …

학습이 비용이 많이 들고 느려진다

디지털 환경에서는 학습이 저렴합니다. 수백만 개의 에피소드를 병렬로 생성하고, 원하는 대로 재생하며, 빠르게 반복할 수 있습니다.

물리적 세계에서는 각 시도가 시간, 에너지, 그리고 하드웨어 마모를 소비합니다. 데이터 수집은 잡음이 많고, 실패는 큰 비용을 초래합니다. 그 결과 학습 곡선이 평탄해지고, 시뮬레이션이나 순수 언어 모델 훈련에서 보이는 급속한 향상에 비해 진행 속도가 빙하처럼 느껴집니다.

구현형 AI는 세계에서 행동하는 복잡하고, 잡음이 많으며, 비용이 많이 드는 현실과 마주하게 합니다. 이러한 도전은 단순히 엔지니어링 문제만이 아니라, 지능이 될 수 있는 형태를 재구성하는 근본적인 제약입니다.

물리적 구현은 그 사치를 없앱니다.

각 훈련 에피소드는 시간이 필요합니다. 각 실수는 마모를 초래합니다. 각 충돌은 손상을 위험에 빠뜨립니다. 데이터 수집은 느리고, 잡음이 많으며, 비용이 많이 듭니다.

이 때문에 무차별적인 학습에서 구조화된 접근으로 전환해야 합니다. 사전 지식이 중요합니다. 귀납적 편향이 중요합니다. 표현이 중요합니다.

구현형 시스템은 모든 것을 처음부터 배울 여유가 없습니다. 물리 법칙, 연속성, 객체 영속성, 인과 관계 등에 대한 가정을 갖추고 있어야 합니다.

많은 현재 접근 방식이 조용히 겪는 어려움이 바로 여기입니다. 규모만 키운다고 이러한 편향을 얻을 수 없습니다. 편향은 설계되거나, 상호작용을 통해 학습되거나, 진화로부터 물려받아야 합니다.

하드웨어를 충분히 다뤄본 사람이라면 해커들이 물리 계층을 이해하는 데 집착하는 이유를 알게 됩니다. 이것은 선택 사항이 아니라, 모든 것이 의존하는 기반(substrate)입니다.

또한 Applied Arduino Project Compendium 와 같이 실전 시스템 사고에 초점을 맞춘 가이드가 추상적인 튜토리얼에서는 절대 가르치지 못하는 교훈을 전달하는 이유이기도 합니다. 코드가 전압과 맞닿을 때 이론은 더 이상 협상의 여지가 없습니다.

몸은 마음의 일부다

구현(embodiment)의 가장 불편한 함의 중 하나는 인지가 몸과 깔끔하게 분리될 수 없다는 점이다.

• 센서 배치는 지각에 영향을 미친다.
• 액추에이터 제한은 계획에 영향을 미친다.
• 피드백 지연은 의사결정에 영향을 미친다.
• 몸의 형태는 사고의 형태를 제약한다.

이는 생물학에서 명백하다. 박쥐는 세계를 다르게 인식하기 때문에 인간과 다르게 생각한다. 뱀은 움직임이 다르기 때문에 다르게 생각한다.

구현 AI 연구는 이 사실을 힘들게 재발견하고 있다. 보편적인 지능을 설계한 뒤 어떤 몸에든 얹을 수는 없다. 몸과 제어기가 함께 진화한다.

이는 깔끔한 아키텍처 사고를 많이 무너뜨린다. “마음”이라는 순수 모듈이 껍데기에 끼워질 기다림을 하고 있지 않다. 모듈화에 저항하는 복잡한 결합이 존재한다.

깨끗한 인터페이스에 익숙한 엔지니어에게 이는 매우 불편한 일이다.

소프트웨어와 하드웨어가 예측할 수 없게 상호작용하는 시스템을 디버깅해 본 사람에게는 고통스럽게 친숙하게 느껴진다.

시뮬레이션은 임시방편이지 해결책이 아니다

시뮬레이션은 필요합니다. 동시에 거짓이기도 합니다.

• 마찰을 매끄럽게 처리합니다.
• 시간을 이산화합니다.
• 완벽한 센서를 가정합니다.
• 마모를 제거합니다.
• 가장자리 경우(edge case)를 무시하다가 그 경우가 지배적이 될 때까지 무시합니다.

시뮬레이션‑실제 차이는 사소한 불편이 아닙니다. 이는 추상화가 새는 근본적인 경고입니다.

구현(embodiment)은 그 새는 즉시 드러나게 합니다. 시뮬레이션에서 완벽해 보이는 정책도 실제 세계의 잡음에 직면하면 무너질 수 있습니다. 이는 모델이 나빠서가 아니라 추상화가 불완전했기 때문입니다.

물리 세계의 전체 엔트로피를 시뮬레이션할 수는 없습니다. 근사만 할 수 있습니다. 구현된 지능은 그 불일치를 받아들이며 살아가는 법을 배워야 합니다.

이 때문에 견고한 시스템은 종종 보수적으로 보입니다: 여유를 두고, 이중 확인하고, 단일 신호를 신뢰하지 않으며, 점진적으로 성능을 낮춥니다.

데모에서는 이 모든 것이 인상적으로 보이지 않을 수 있습니다. 그러나 현실에서는 모두가 중요합니다.

왜 이것이 AI의 미래에 중요한가

휴머노이드 로봇, 자율 주행 차량, 드론, 그리고 내장형 에이전트에 대한 추진은 단순한 응용 트렌드가 아니다. 그것은 철학적인 스트레스 테스트이다.

구현은 AI 연구가 회피해 왔던 질문들과 마주하게 만든다:

• 완전한 정보가 없을 때 지능이란 무엇인가?
• 무한한 재시도가 없을 때 학습이란 무엇인가?
• 세상이 협조하지 않을 때 계획이란 무엇인가?
• 실패에 결과가 따를 때 에이전시란 무엇인가?

이러한 질문들은 텍스트 모델만 확장해서는 답할 수 없다. 시간, 공간, 물질 안에 존재하는 시스템이 필요하다.

이는 언어 모델이 쓸모 없다는 뜻이 아니다. 불완전하다는 뜻이다.

미래는 추상적 추론과 구체적 제어, 상징적 구조와 감각-운동 루프, 계획과 반사를 결합한 하이브리드 시스템에 속할 가능성이 높다.

그 합성은 어렵고, 복잡하며, 깔끔한 그래프나 단순한 벤치마크를 만들지 않는다.

하지만 바로 그곳에서 지능은 수행적(performance)인 상태를 넘어 실제가 된다.

무시할 수 없는 구현(Embodiment)의 짧은 목록

• 소음은 세계의 기본 상태이며, 예외 상황이 아니다.
• 시간은 중요하다. 세계는 추론을 위해 멈추지 않기 때문이다.
• 에너지와 마모는 행동에 실제 비용을 부과한다.
• 회복은 완벽함보다 더 중요하다.
• 표현과 제어는 형태와 불가분이다.

이것들은 새로운 통찰이 아니다. 시스템이 서버 랙에 있을 때는 쉽게 잊어버리기 때문이다.

해커의 관점

해킹이나 하드웨어 배경을 가지고 있다면, 이 내용이 추상적으로 느껴지지 않을 것입니다.

• 시스템은 경계에서 실패한다는 것을 이미 알고 있습니다.
• 물리적 접근이 모든 것을 바꾼다는 것을 이미 알고 있습니다.
• 우아한 설계도 실제 사용에서의 남용에 의해 무너진다는 것을 이미 알고 있습니다.

구현은 단순히 AI가 동일한 규칙을 따르도록 강제하는 것입니다.

이 때문에 이 분야에서 가장 흥미로운 작업 중 일부가 전통적인 AI 연구소 밖에서 이루어지고 있습니다: 로봇 취미가, 임베디드 시스템 엔지니어, 저가 보드와 저가 모터를 연결하고 어려운 방법으로 배우는 사람들.

이러한 커뮤니티가 순수성보다 실용성을 중시하는 이유가 있습니다. 세상은 당신의 아키텍처 다이어그램에 관심이 없습니다.

불편해지는 지점에서 마무리

구현은 지능을 보장하지 않는다. 노출을 보장한다.

그것은 가정을 드러낸다. 그것은 취약성을 드러낸다. 우리가 지능이라고 부르는 것이 환경이 제공하는 골격에 불과한 정도를 드러낸다.

AI에게 이것은 좌절이 아니다. 그것은 각성이다.

구현을 견뎌낸 시스템은 단순히 세상에 대해 이야기하지 않는다—그것을 다룰 것이다.

그렇지 못한 시스템은 편안한 추상으로 남을 것이다: 안전하고, 인상적이며, 근본적으로 구현되지 않은.

각주 – 추상을 넘어 어떻게…에 대해 알고 싶다면 (텍스트가 잘렸음)

All systems behave when theory meets hardware, Shadow Device Playbook 은 바로 그 불편한 경계를 탐구한다.