마스터 알고리즘

Source: Dev.to

번역을 진행하려면 번역하고자 하는 전체 텍스트를 제공해 주시겠어요?
텍스트를 알려주시면 요청하신 대로 한국어로 번역해 드리겠습니다.

The Master Algorithm – 2015 → 2025

2015년에 AI 연구자 Pedro Domingos가 책을 출간했습니다:

The Master Algorithm: How the Quest for the Ultimate Learning Machine Will Remake Our World

Domingos는 인공지능(AI)의 **“다섯 부족”**을 제시하고, 어느 것이 궁극적인 학습 기계인 Master Algorithm—인간과 다른 동물들이 배울 수 있는 거의 모든 것을 학습할 수 있는 알고리즘—이 될지 추측했습니다.

당시에는 어느 것이(또는 어떤 것이) 보편적인 학습자가 될지 명확하지 않았습니다.

The Master Algorithm is neural networks

결국 마스터 알고리즘은 connectionism이었습니다.
충분히 크고, 적절히 구조화되며, 충분한 데이터로 학습된 신경망은 모든 일을 할 수 있습니다:

• 언어 이해 및 생성
• 추론 및 문제 해결
• 번역
• 프로그래밍 및 코드 생성
• 질문에 답하고 지시를 따름
• 이미지·비디오 인식 및 생성
• 복잡한 수학 등 다양한 분야

비평가들은 종종 하나의 단점을 집어 들어 “이것을 잘 못하니 마스터 알고리즘이 될 수 없다”고 주장합니다.
하지만 Domingos의 책을 읽은 사람이라면 지금 우리가 당연하게 여기는 모든 것이 2015년에는 순수한 SF였다는 것을 알 수 있습니다. 연구자들은 ChatGPT, Claude, 혹은 Gemma(휴대폰에서 로컬로 실행)와 같은 기계가 할 수 있는 일의 절반 정도만 수행할 수 있는 머신을 꿈꾸고 있었습니다.

다른 네 부족도 여전히 틈새 용도가 있지만, 일반 목적 학습자로 확장된 사례는 없습니다. 실제로 이들을 단순히 크게 만들려고 하면 성능이 급격히 떨어집니다.

This was not obvious.

My personal connectionist journey

저는 중학교 때 첫 신경망 과학 전시 프로젝트를 만들면서부터 connectionist라고 스스로를 정의해 왔습니다.

• 고등학교 2학년: 국제 과학·공학 박람회에 재귀 신경망을 위한 새로운 알고리즘을 출품해 미군 최고상을 받았고, 2주간 일본 여행을 떠났습니다(현재도 매일 일본어를 연습하고 있습니다).

그 배경에도 불구하고 저는 신경망만으로 마스터 알고리즘이 될 것이라고는 기대하지 않았습니다. 대부분의 사람들은 신경망 플러스 기호(귀납) 추론의 하이브리드가 필요하다고 생각했죠.

우리 뇌는 뉴런으로 이루어져 있기 때문에 원칙적으로 신경망이 모든 인지를 모방할 수 있다고 생각했습니다. 하지만 진화가 언어, 논리, 추론을 위한 고도로 특화된 회로를 만들었고, 일반적인 네트워크가 이를 재현하기는 어려울 것이라고 가정했습니다.

현실 점검: 충분히 크고 잘 학습된 네트워크는 실제로 그런 능력을 획득합니다.

The turning point

What Is Intelligence? (2025)에서 Google AI 연구원 Blaise Agüera y Arcas는 결정적인 전환점을 다음과 같이 묘사했습니다:

“우리는 더 나은 자동완성을 위해 다음 단어를 예측하는 신경망을 훈련하고 있었습니다. 모델은 매우 크고 방대한 텍스트 코퍼스로 학습되었습니다. 어느 순간 모델이 우리에게 말하기 시작했죠. 훈련 데이터에 전혀 없었던 질문—예를 들어, 만든 문장을 번역해 달라는 요청—에도 정확히 답했습니다.”

그 순간은 아직도 부정하는 이들이 많지만, 깊은 언어 모델이 단순한 앵무새가 아니라는 사실을 보여주었습니다.

강화 학습이 적용되지 않은 순수 언어 모델은 불안정하고—조현병처럼—성격이 자주 바뀌며 일관성 없는 대화를 생성합니다. 행동 미세조정(예: RLHF)은 모델을 안정화시키고 추론 능력을 향상시켜, 우리가 매일 사용하는 AI 동료들을 만들어 냈습니다.

Prediction, all t

he way down

신경망이 마스터 알고리즘으로 작동하는 방식은?

지능의 핵심은 예측이다:

• 피질 컬럼은 다음 입력을 예측한다.
• 시각 시스템은 다음 시각 장면을 예측한다.
• 언어 시스템은 우리가 듣거나 말할 다음 단어를 예측한다.

Claude와 같은 대형 언어 모델(LLM)은 앞선 문맥을 바탕으로 다음 토큰을 예측한다. 이 단일 연산을 규모화하면 다음을 얻을 수 있다:

• 지각(시각, 청각)
• 계획 및 추론(예측을 연결함)
• 행동(코드 생성, 로봇 제어)

따라서 예측만으로도 일반 지능을 충분히 구현할 수 있다.

TL;DR

• 2015년 Domingos는 AI “부족” 다섯 가지를 정의했다.
• 2025년까지 연결주의 부족—신경망—이 마스터 알고리즘임이 입증되었다.
• 규모(모델 크기·데이터·학습 방법)를 확대하면 단순 예측기가 언어, 추론, 지각, 창조까지 가능한 보편 학습기로 변한다.

마스터 알고리즘은 이미 여기 있으며, 그것은 신경망이다.

문제 해결을 위해 토큰 문자열을 사용하는 것은, 여러분과 내가 비슷한 문제를 풀 때 생성하는 (대부분 단어 형태인) 생각의 흐름과 근본적으로 다르지 않다.

강화 학습은 네트워크가 이러한 예측 문자열을 유용한 방향—훈련 중 성공했던 방향—으로 흐르게 만든다. 인간은(현재 LLM과 달리) 훈련이 지속적인 과정이므로, 스스로의 신경망을 끊임없이 조정해 예측 흐름을 더 성공적으로 만든다. 그러나 순간‑순간으로 보면, 여전히 네트워크 각 층에서 다음을 예측하고 있을 뿐이다.

AI‑Complete 문제

우리는 이제 일부 문제를 Agüera y Arcas가 AI‑complete라 부른다는 것을 이해한다. AI‑complete 문제를 해결하려면 그 문제가 나타내는 세계를 실제로 이해해야 하며, 얕은 표면 특징만으로는 불가능하다. 예시:

• 다음 단어 예측 – 단어 의미를 이해하지 않으면 불가능.
• 언어 번역 – 사전 항목을 찾아보는 것만으로는 할 수 없다.
• 비디오 다음 프레임 예측 – 객체 행동, 물리 법칙 등에 대한 지식이 필요.
• 사진·비디오 캡션 생성 – 시각적 이해와 언어적 표현이 모두 요구된다.

충분히 큰 신경망에 충분한 학습 데이터를 제공하면, 결국 여러분이 주는 거의 모든 문제를 해결할 수 있다. 따라서 AI‑complete 문제—즉 세계를 이해해야만 풀 수 있는 문제—를 주면, 신경망은 (언젠가) 세계를 이해하게 된다.

그 이해가 완벽한가?
물론 아니다. 하지만 인간도 마찬가지다.
Source

그래서 AI 연구는 여기까지…

하하, 농담이에요! LLM은 일반 지능이며 이미 어떤 면에서는 인간보다 더 똑똑하다.

• 제한점 – “학습”과 “추론”은 완전히 별개의 과정이다. 우리가 매일 사용하는 LLM은 경험으로부터 학습하지 않으며, 경험을 문맥 창에 압축할 수 있을 때만 어느 정도 반영한다.

• 지속 학습 – 지속 학습을 도입하면 모델이 연습을 통해 작업을 개선할 수 있게 된다. 하지만 여전히 해결해야 할 질문이 많다:

  1. 새로운 지식을 습득하면서 기존 지식을 너무 많이 잊지 않으려면 어떻게 해야 할까?
  2. AI의 성격을 시간에 따라 안정적으로 유지하려면 어떻게 해야 할까?
  3. 의미 있는 수준으로 빠르게 새로운 것을 배우려면 어떻게 해야 할까?

• 신경망 vs. 고전 AI – 신경망이 형편없는 분야가 실제로 존재한다. 아이러니하게도, 그 분야가 지난 80년간 AI 연구가 집중해 온 영역이다: 게임 플레이, 깊은 탐색, 복잡한 논리 추론, 최적화 등. 고전적인 (GOFAI 혹은 “Good Old‑Fashioned AI”) 알고리즘은 종종 이러한 작업을 더 빠르고 효율적으로 수행한다. 미래의 발전은 두 접근 방식을 통합해 양쪽의 장점을 모두 활용하는 방향으로 나아가야 할 것이다.

ds.

Outlook

이것은 단지 무작위 샘플링일 뿐이며, 훨씬 더 많은 연구 방향이 열려 있습니다. 우리는 지능의 코드를 풀었습니다—이제 지능이 무엇인지와 기계에서 그것을 어떻게 구현할 수 있는지 알게 되었습니다. 하지만 이것은 빙산의 일각에 불과합니다. 이는 지혜의 시작일 뿐, 끝이 아닙니다.

앞으로 5~10년은 매우 흥미진진할 것입니다. 꽉 잡으세요!