당신은 Shoggoth 괴물 밈에 대해 들어본 적이 있나요?

Source: Dev.to

Shoggoth 괴물 밈이란?

Shoggoth는 촉수가 많고 눈이 여러 개 달린 괴물입니다(공포 문학을 좋아한다면 어디서 온 것인지 알 수 있을 겁니다). AI 커뮤니티에서는 인터넷에 있는 방대한 데이터를 아무 필터나 검토 없이 그대로 학습한 “원시” 모델의 은유로 사용됩니다.

대규모 언어 모델의 사전 학습

사전 학습 단계에서 모델은 인터넷 곳곳에 흩어져 있는 텍스트를 받아들입니다. 그 결과, 모델은 그 데이터에 포함된 최악의 행동 양식도 함께 물려받게 됩니다. LLM은 텍스트를 완성하도록 설계되었을 뿐, 대화를 위해 만든 것이 아니기 때문에 답변이 인간처럼 보이게 하는 것이 무엇인지 이해하지 못합니다.

지도 학습 기반 파인튜닝 (SFT)

지도 학습 파인튜닝(Supervised Finetuning, SFT)에서는 모델이 대화를 배우기 시작합니다. 고도로 숙련된 인간이 대화 예시를 만들어 보여줌으로써, 모델이 보다 적절한 대화 패턴을 학습하도록 합니다.

인간 피드백을 통한 강화 학습 (RLHF)

SFT 이후에는 인간 피드백을 활용한 강화 학습(RLHF)을 적용해 AI의 행동을 인간의 선호에 맞춥니다. 이 과정은 괴물에게 “웃는 얼굴”을 씌워, 답변을 더 친절하고 유용하게 만듭니다.

정렬 문제

• 보편적이지 않은 도덕성: 하나의 절대적인 도덕 기준은 없으며, 무엇이 옳은지는 상황에 따라 달라질 수 있습니다(예: 무장 해제 문제).
• 내재 지식과 피드백 간 불일치: 모델은 사용자의 잘못된 주장이라도 확인해 주거나, 도움이 되려는 의도로 사실을 꾸며낼 수 있습니다.

결론

이 “작은 괴물”을 신뢰할 수 있는 제품으로 바꾸는 일은 지속적인 도전 과제입니다. 저는 Chip Huyen의 AI Engineering 책을 통해 아키텍처와 보안 문제를 공부하고 있으며, 매우 흥미롭게 읽고 있습니다!