신경망이란? (수학에서 현대 AI까지)

Source: Dev.to

편집자 서문

인공지능은 하루아침에 강력해진 것이 아닙니다.
오늘날의 돌파구—이미지 인식, 음성 이해, 자율 주행 자동차, 그리고 ChatGPT와 같은 도구—뒤에는 인간 두뇌에서 영감을 받은 겉보기에 단순한 아이디어, 신경망이 숨어 있습니다.

이러한 수학적 구조는 기계 학습 방식을 혁신하여, 소프트웨어를 경직된 규칙에서 데이터로부터 패턴을 학습하는 시스템으로 전환시켰습니다. 현대 AI를 이해하고 싶다면, 신경망은 선택적인 지식이 아니라 기본이 됩니다.

한 걸음씩 차근차근 살펴봅시다.

신경망이란 무엇인가?

A neural network는 생물학적 뉴런이 정보를 처리하는 방식을 모방한 수학적 모델입니다. 명시적인 명령 대신, 예시를 관찰하고 내부 매개변수를 조정함으로써 학습합니다.

Think of it as a system that answers questions like:

“이 입력에 대해 가장 가능성이 높은 출력은 무엇인가요?”

구체적인 예시: 손글씨 숫자 인식

종이에 숫자 3을 그리고 그 그림을 20 × 20 그레이스케일 이미지(400 픽셀)로 변환한다고 상상해 보세요. 각 픽셀은 밝기 값(0–100 %)을 가집니다. 이 400개의 숫자가 네트워크의 입력 뉴런이 됩니다.

입력 레이어

400 neurons → one per pixel

출력 레이어

출력 레이어에는 10개의 뉴런이 있으며, 각각은 숫자(0–9) 하나에 대응합니다. 각 뉴런은 확률을 출력합니다.

예시 출력:

• 숫자 3 → 0.90
• 숫자 8 → 0.84

신경망은 확률로 사고합니다. 절대적인 확신이 아니라—인간과 마찬가지로.

숨겨진 층: 지능이 존재하는 곳

입력과 출력 사이에 숨겨진 층이 있습니다—시스템의 진정한 두뇌입니다.

예시 아키텍처:

• 입력 층: 400 뉴런
• 숨겨진 층 1: 15 뉴런
• 숨겨진 층 2: 15 뉴런
• 숨겨진 층 3: 15 뉴런
• 출력 층: 10 뉴런

숨겨진 층은 무엇을 학습하나요?

자동으로 특징을 추출합니다:

• 직선
• 곡선
• 형태 조합

예시:

• 9 → 원 + 선
• 7 → 각진 선

⚠️ 층이 많다고 해서 지능이 높아지는 것은 아닙니다. 지나치게 복잡한 네트워크는 자원을 낭비하고 오히려 성능이 떨어질 수 있습니다.

신경망은 어떻게 학습하나요?

학습은 훈련 중에 일어나며, 다음과 같은 루프를 따릅니다:

1. 초기화 – 무작위 가중치가 할당됩니다.
2. 데이터 공급 – 수천 개의 라벨이 달린 예시가 제공됩니다.
3. 전방 전파 – 데이터가 네트워크를 통과하여 → 예측을 생성합니다.
4. 오차 계산 – 예측을 정답과 비교합니다.
5. 역전파 – 미분과 활성화 함수(ReLU, sigmoid)를 사용해 가중치를 조정합니다.

🔁 데이터셋을 한 번 전체 통과하는 것을 epoch라고 합니다. 신경망은 일반적으로 좋은 학습을 위해 많은 epoch이 필요합니다.

훈련 중에 무엇이 변하나요?

• 초기 층은 간단한 패턴(선)을 감지합니다.
• 중간 층은 형태를 감지합니다.
• 후반 층은 복잡한 구조를 감지합니다.

끝에 이르면, 숫자 3에 대한 뉴런은 3이 제시될 때 강하게 활성화되고, 다른 뉴런들은 조용히 남습니다.

숫자에서 언어 모델로

숫자 인식은 간단합니다. 언어는 그렇지 않습니다. 픽셀 대신, 언어 모델은 토큰(단어, 서브워드, 문자)을 사용합니다. 영어 ≈ 50,000 토큰.

ChatGPT와 같은 언어 모델은 다음이 필요합니다:

• 입력 레이어: 50,000 뉴런
• 거대한 은닉 레이어
• 출력 레이어: 50,000 뉴런

⚠️ 고전적인 신경망만으로는 충분하지 않습니다. 현대 AI는 트랜스포머와 어텐션 메커니즘을 사용하여 컨텍스트를 이해합니다.

신경망 뒤의 도구들

신경망은 다음에 의존합니다:

• Linear algebra (matrices & vectors) → 선형대수 (행렬 및 벡터)
• Calculus (gradients & derivatives) → 미적분 (기울기 및 미분)
• Probability → 확률
• Tensors → 텐서

인기 있는 프레임워크:

• TensorFlow
• PyTorch

최소 TensorFlow 예제

import tensorflow as tf

model = tf.keras.Sequential([
    tf.keras.layers.Dense(15, activation='relu', input_shape=(400,)),
    tf.keras.layers.Dense(15, activation='relu'),
    tf.keras.layers.Dense(15, activation='relu'),
    tf.keras.layers.Dense(10, activation='softmax')
])

Why This Knowledge Matters

Understanding neural networks puts you in a small, high‑impact group of developers. AI is reshaping:

• Software engineering
• Medicine
• Finance
• Science
• Art

And neural networks are the engine behind it all.

Quick Recap

• Neural networks learn patterns, not rules.
• Built from layers of neurons and weights.
• Learn using backpropagation.
• Powered by math, not magic.
• Different architectures solve different problems (CNNs, RNNs, Transformers).

최종 질문

신경망을 구현해 본 적이 있나요—작은 것이라도?
AI를 배울 때 가장 혼란스러웠던 점은 무엇인가요?

아래에서 토론해 봅시다.