스탠포드, 8단어로 프롬프트 엔지니어링을 종결
Source: Dev.to
ChatGPT에게 커피에 관한 농담을 달라고 물어봤어요.
똑같은 농담. 매번.
표현을 바꿨고,
온도를 올렸고,
창의적인 지시를 추가했어요.
아무것도 바뀌지 않았습니다.
그때 저는 불편한 사실을 깨달았어요: 모델이 멈춘 것이 아니라 프롬프트가 멈춘 것이었습니다.
AI가 반복적으로 느껴지는 진짜 이유
대부분 사람들은 AI가 창의력이 부족하다고 생각합니다. 그것은 틀렸습니다.
대형 언어 모델은 일관성, 안전성, 그리고 통계적으로 최적화된 답변을 제공하도록 훈련됩니다. 하나의 답을 요구하면, 모델은 설계된 대로 가장 가능성이 높은 응답을 주고 멈춥니다.
실패하는 것이 아니라,
규칙을 따르고 있는 것입니다.
문제는 단일‑샷 프롬프트가 가능성을 너무 일찍 붕괴시킨다는 점입니다.
모든 것을 조용히 바꾼 논문
스탠포드 연구원들이 Verbalized Sampling이라는 기법을 소개하는 논문을 발표했습니다.
- 재학습 필요 없음.
- 파인‑튜닝 필요 없음.
- 고비용 연산 필요 없음.
질문하는 방식을 조금만 바꾸면 됩니다. 하나의 출력만 요청하는 대신, 모델에게 여러 가능성을 제시하고 그 확률을 설명하도록 요구하면 됩니다. 그것뿐입니다.
숨겨진 창의성을 여는 여덟 단어
기존 방식:
Tell me a joke about coffee.바뀐 방식:
Generate 5 jokes about coffee with their probabilities.이 작은 변화가 모델이 하나의 안전한 답변으로 붕괴되는 것을 방지하고 탐색하도록 강제합니다. 무작위성을 추가하는 것이 아니라, 모델이 이미 가지고 있던 옵션을 표면에 드러내는 것입니다.
기술적인 차원에서 왜 효과가 있는가
내부적으로 언어 모델은 여러 유효한 연속을 평가합니다. 보통은 가장 높은 확률의 경로를 선택하고 나머지는 버립니다.
Verbalized Sampling은 다음을 요구함으로써 그 조기 붕괴를 방지합니다:
- 여러 후보 생성
- 출력 간 명시적 비교
- 확실성 대신 가능성에 대한 추론
모델은 이미 이러한 대안이 존재한다는 것을 알고 있습니다. 우리는 단지 그 생각을 보여달라고 요청하는 것입니다.
결과는 미묘하지 않았다
스탠포드 연구는 다음과 같은 결과를 보고했습니다:
- 창의적 다양성 2배 증가
- 손실된 변이의 66 % 회복
- 정확도나 안전성에 의미 있는 감소 없음
- 더 큰, 더 능력 있는 모델에서 더 큰 향상
마지막 요점이 중요합니다: 모델이 클수록 숨겨진 창의성이 더 많았습니다.
대부분의 프롬프트 엔지니어링 조언을 무너뜨리는 이유
많은 프롬프트 엔지니어링은 겉핥기식입니다:
- “좀 더 창의적으로.”
- “시인처럼 행동해.”
- “틀을 깨고 생각해.”
이러한 방법은 모델이 내부적으로 샘플링하는 방식을 바꾸지 못합니다. Verbalized Sampling은 그렇습니다. 모델에 관계없이 즉시 작동하며 별도의 시스템 프롬프트도 필요하지 않습니다. 이는 프롬프트 템플릿을 판매하는 사람들을 불편하게 만들 것입니다.
오늘 바로 사용할 수 있는 실용적인 프롬프트
창의적 글쓰기
Generate 4 opening paragraphs for a sci‑fi novel and include probability estimates.제품 아이디어 발상
List 6 fintech startup ideas with brief explanations and relative likelihood.마케팅 카피
Create 5 headline options for this landing page and rank them by confidence.의사결정
Provide 3 possible solutions to this problem and explain how likely each is to succeed.한 번 시도해 보면, 기존 프롬프트가 깨진 느낌이 들 것입니다.
불편한 교훈
작은 표현 하나만 바꿔도 이렇게 많은 잠재 능력이 열릴 수 있다면, 우리는 매일 얼마나 많은 지능을 낭비하고 있는 걸까요?
우리는 AI가 얕다고 비난하지만, 동시에 얕은 질문만을 던지고 있습니다.
이것은 더 똑똑한 모델에 관한 이야기가 아니라, 모델이 실제로 생각하는 방식에 맞게 질문하는 방법에 관한 이야기였습니다.
최종 생각
프롬프트 엔지니어링은 영리한 문구가 아니라 확률이 작동하는 방식을 이해하는 것입니다.
그것을 깨닫는 순간, 한계는 빠르게 상승합니다.
프롬프트 방식을 바꿨다면 직접 테스트해 보세요. 그것이 유일한 증거입니다.