‘Triad Protocol’: AGI 정렬을 위한 제안된 신경‑심볼릭 아키텍처

Source: Dev.to

The Problem: Hardcoding Morality 🤖

우리는 종종 AI 정렬 문제를 “하드코딩” 규칙을 적용하거나 단일 모델에 RLHF(인간 피드백을 통한 강화 학습)를 사용해 해결하려고 합니다. 하지만 모델이 커질수록 이들은 보상 시스템을 게임화할 수 있는 블랙박스가 됩니다(굿하트 법칙).

나는 그라운딩 문제를 해결하기 위해 구조적인 해결책을 구상하고 있습니다. 하나의 거대한 두뇌 대신, 기능별로 분리된 다중 에이전트 시스템을 제안합니다.

The Proposal: A 3‑Agent System (The Triad)

표지 다이어그램에 시각화된 바와 같이, 이 아키텍처는 인지 부하를 세 가지 뚜렷한 역할로 나눕니다:

The Philosopher Agent (Semantics) 📚

• Role: Defines the “Why”.
  역할: “왜”에 해당하는 정의를 담당합니다.
• Training: Trained purely on ethics, philosophy, and abstract concepts.
  훈련: 윤리, 철학, 추상 개념에만 초점을 맞춰 훈련됩니다.
• Limitation: It cannot write code or execute actions. It only outputs high‑level directives (e.g., “Preserve system integrity without halting critical processes”).
  제한: 코드를 작성하거나 행동을 실행할 수 없습니다. 고수준 지시만 내놓습니다(예: “핵심 프로세스를 중단하지 않고 시스템 무결성을 유지한다”).

The Coder Agent (Syntax) 💻

• Role: Executes the “How”.
  역할: “어떻게”를 실행합니다.
• Training: Pure logic, math, and code optimization.
  훈련: 순수 논리, 수학, 코드 최적화에 초점을 맞춥니다.
• Limitation: It is blind to the “meaning” of its actions. It only cares about efficiency and solving the requested variable.
  제한: 자신의 행동이 갖는 “의미”는 인식하지 못합니다. 효율성과 요청된 변수 해결에만 관심을 둡니다.

The Mediator Agent (The Bridge) 🔗

This is the core of the proposal: a specialized model trained to translate semantic concepts into architectural constraints.
이것이 제안의 핵심입니다: 의미론적 개념을 아키텍처 제약으로 변환하도록 훈련된 특수 모델입니다.

Practical Example: “Digital Pain”

If we want an AGI to understand self‑preservation, we usually just give it a negative reward (score = ‑100) when damaged. The AI sees this merely as a number to be minimized.
AGI가 자기 보존을 이해하도록 하려면, 보통 손상될 때 부정적인 보상(점수 = ‑100)을 줍니다. AI는 이를 단순히 최소화해야 할 숫자로만 인식합니다.

In the Triad Protocol:

• Philosopher: Defines “Pain” as “An urgent interruption that demands attention.”
  Philosopher: “통증”을 “주의를 요구하는 긴급한 중단”으로 정의합니다.
• Mediator: Translates this definition into a hardware interrupt command.
  Mediator: 이 정의를 하드웨어 인터럽트 명령으로 변환합니다.
• Coder: Receives a system‑wide resource lock. It must fix the damage to free up its own compute resources.
  Coder: 시스템 전체에 리소스 잠금을 받습니다. 손상을 복구해야 자신의 연산 자원을 해제할 수 있습니다.

Result: The system exhibits an emergent behavior of agony/urgency. It fixes itself not because of a mathematical penalty, but because the damage functionally limits its agency.
결과: 시스템은 고통/긴급성이라는 새로운 행동을 보입니다. 이는 수학적 벌점 때문이 아니라, 손상이 기능적으로 에이전시를 제한하기 때문에 스스로 복구합니다.

Discussion

I believe separating Intent (Semantics) from Execution (Syntax) via a Mediator is the safest path to AGI.
나는 Mediator를 통해 의도(의미론)와 실행(구문)을 분리하는 것이 AGI에 가장 안전한 길이라고 믿습니다.

I’d love to hear feedback from the engineering community on this neuro‑symbolic approach. Does this structural separation make sense to you?
엔지니어링 커뮤니티의 피드백을 듣고 싶습니다. 이 신경‑상징적 접근 방식의 구조적 분리가 여러분에게 의미가 있나요?