당신은 프롬프트를 잘못하고 있지 않아요.
Source: Dev.to
Background
저는 The Pragmatic Engineer의 The Third Golden Age of Software Engineering 에피소드에서 Grady Booch의 이야기를 듣고 있었습니다. 그 에피소드에서 그는 Victorian Engineering Connections이라는 웹사이트를 언급했는데, 이는 빅토리아 시대 엔지니어들이 서로 어떻게 알고 영향을 주고받았는지를 보여주는 인터랙티브 다이어그램이었습니다.
Interaction with Claude
Claude와 대화 중에 그 이름을 다시 알려달라고 요청했더니, Claude는 **sixdegreesoffrancisbacon.com**을 가리켰습니다. 저는 그 사이트가 팟캐스트에서 Grady Booch이 언급한 것이라고 말했죠. Claude는 세 가지 그럴듯하지만 잘못된 답변을 제시했습니다(링크는 작동했지만 제가 찾던 사이트는 아니었습니다). 실제 이름을 입력하자 Claude는 즉시 찾아냈습니다.
저는 **victorianengineeringconnections.net**을 구글에 검색했고, 첫 번째 링크가 해당 웹사이트를 리뷰하는 블로그 포스트였으며, Claude가 훈련 데이터에 그 사이트에 대한 정보를 가지고 있음을 확인했습니다.
Analogy to the Library of Babel
이 경험은 두 가지 개념을 떠올리게 했습니다:
- The Library of Babel – 모든 가능한 텍스트 문자열을 포함하는 상상의 도서관.
- “You’re prompting it wrong.” – 사용자의 프롬프트가 부적절해서 LLM이 제대로 동작하지 않는다는 흔한 조언.
프롬프트로 사용할 수 있는 텍스트 문자열은 사실상 무한에 가깝고, 각각은 서로 다른 응답을 생성합니다. 어느 정도는, LLM이 어느 정도 무작위성을 가진 거대한 Library of Babel이라고 볼 수 있으며, 각 사람마다 고유한 인덱스를 가지고 있습니다.
Prompting and Subject‑Matter Expertise
LLM이 놀라워 보이는 한 가지 이유는 거의 모든 질문에 답변을 제공할 수 있어, 마치 “항상 당신 바로 옆에” 있는 듯한 느낌을 주기 때문입니다. 이러한 인식은 LLM이 방대한 양의 데이터로 학습되고 설득력 있는 답변을 생성할 수 있기 때문입니다.
하지만 사람들은 종종 “LLM이 제대로 작동하지 않는 이유는 당신이 프롬프트를 잘못 만들었기 때문이다”라고 말합니다. 만약 LLM이 실제로는 이미 해당 분야의 전문가인 사람들에게만 잘 작동한다면 어떨까요? 그들의 고유한 프롬프트 작성 방식—특정 문자열—이 정확한 답을 얻는 열쇠가 될 수 있습니다.