우리는 JSON 파일을 포맷하기 위해 행성 크기의 뇌를 가동하고 있다

Source: Dev.to

Overview

우리는 JSON 파일을 포맷하기 위해 행성 규모의 두뇌를 가동하고 있습니다. 이것이 바로 God Model Fallacy의 핵심입니다.

우리는 언캐니 밸리 안에 있습니다: 벤치마크에서는 90 % 수준이지만, 실제 상황에서는 여전히 둔하게 느껴지고, 무거운 프롬프트 조정이나 여러 차례의 대화 없이는 아무것도 제대로 작동하지 않습니다.

지난 8개월(그리고 대부분의 저축)을 투자해 직접 GenAI 스택을 설계하면서 엔지니어가 아직도 미래가 있는지, 아니면 모두 빠르게 LLM‑래퍼 창업자가 되어야 하는지 알아보았습니다. 지금 제가 생각하는 바는 다음과 같습니다.

Historical Parallel

• $100 k 전문 Lisp 머신은 “진짜 AI”(전문 시스템)를 실행할 수 있는 유일한 방법으로 판매되었습니다.
• 그 후 일반 Sun 워크스테이션이 $20 k에 같은 일을 해냈고, Lisp 머신 회사들은 문자 그대로 하룻밤 사이에 전멸했습니다.

God Models(GPT‑5, Claude Opus, Grok‑4)는 Lisp 머신의 현대적 대응물입니다.
Nvidia H200 랙은 Symbolics 박스의 현대적 대응물입니다.

Emerging Architecture

• Tiny router (1–3 B) → 레인을 선택
• Retriever → 컨텍스트를 가져옴
• Specialist (7–70 B) → 작업 수행
• Synthesizer → 결과를 깔끔하게 정리

전체 체인의 비용은 단일 405 B 호출의 1/100 정도에 불과합니다.

Two Paradigms

Monolith World

• 토큰 비용이 비쌈
• 코드가 간단함

Chained World

• 토큰 비용이 거의 무료에 가깝음
• 엔지니어링 지옥(라우팅, 폴백, 지연 시간, 가시성, 레이스 컨디션)

Implications

• 챗봇 같은 오픈‑엔드 사용자‑대면 LLM 애플리케이션을 구축하는 것이 너무 복잡해질 것입니다.
• 무게가 3–8 B인 일반 모델이 M5 / Snapdragon에서 캐주얼하게 현재 $500 k+/월을 지불하면서 얻는 95 % 수준의 성능을 제공하게 되는 날, 전체 프론티어‑모델 펀딩 서커스는 붕괴될 것입니다.

AGI 맥시멀리스트에게: 아름다운 아이디어에 과도하게 투자하는 것은 그만두기 가장 어려운 일입니다.

Call to Builders

마법은 사라지고 있습니다. 이제 진정한 엔지니어링이 시작될 수 있게 되었습니다. 이것은 실제로 좋은 소식입니다.

통합 세금을 견뎌낼 수 있는 지루하고 ROI가 높은 워크플로우는 무엇이라고 생각하시나요?