Show HN: MacMind – 1989년 Macintosh의 HyperCard에서 Transformer neural network

Source: Hacker News

Overview

저는 1989년식 Macintosh에서 HyperCard를 이용해 트랜스포머를 학습시켰습니다—총 1,216개의 파라미터를 사용했습니다. 시간이 좀 걸렸지만, 정상적으로 동작합니다.

Implementation

MacMind는 임베딩, 위치 인코딩, 셀프‑어텐션, 역전파, 그리고 경사 하강법을 모두 포함한 완전한 트랜스포머 신경망이며, 1987년에 Apple이 HyperCard와 함께 제공한 스크립트 언어인 HyperTalk으로 전부 구현되었습니다. 모든 코드 라인은 HyperCard 스크립트 편집기 안에서 읽을 수 있으며, 버튼을 옵션‑클릭하면 실제 수식을 확인할 수 있습니다.

Task

이 네트워크는 푸리에 변환(Fast Fourier Transform, FFT)의 첫 단계인 비트‑리버설 순열을 학습하도록 훈련되었습니다. 모델은 따로 정의된 공식이 없으며, 순수히 어텐션과 반복적인 시도‑오류 과정을 통해 위치 패턴을 스스로 발견합니다. 193번째 학습 단계에서 정확도는 50 %, 75 %, 100 % 사이를 오가며 진동하다가, 마치 공이 그릇 안으로 굴러 들어가듯 수렴에 이르게 됩니다.

Persistence

전체 “지능”은 HyperCard 스택의 숨겨진 필드에 저장된 1,216개의 숫자로 구성됩니다. 파일을 저장하고, 프로그램을 종료한 뒤 다시 열어도 훈련된 모델이 그대로 유지되며, System 7부터 Mac OS 9까지 모든 시스템에서 작동합니다.

Motivation

전 물리학 전공자로서 FFT는 익숙합니다—신호 처리, 양자 역학, 파동 분석의 핵심에 자리하고 있죠. 저는 AI가 본질적으로 수학이며 마법이 아니라는 점을 보여주기 위해, 그리고 기본 알고리즘(역전파와 어텐션)이 최신 TPU 클러스터든 1989년식 68030 프로세서든 동일하게 작동한다는 것을 증명하기 위해 이 프로젝트를 만들었습니다.

Availability

레포지토리에는 다음이 포함되어 있습니다:

• 사전 훈련된 스택 (step 1,000)
• 직접 훈련할 수 있는 빈 스택
• 수학적 검증을 위한 Python/NumPy 레퍼런스 구현

Comments on Hacker News (Points: 11)