LLMs는 400년 동안 이어진 신뢰 사기다
Source: Hacker News
1623년, 독일인 빌헬름 쉬카르트는 기계식 계산기에 대한 최초의 알려진 설계를 발표했습니다. 20년 후, 블레즈 파스칼은 개선된 설계의 기계를 제작했으며, 이는 세무원으로서 그의 역할에서 요구되는 방대한 양의 지루한 산술 작업을 돕기 위한 것이었습니다.
그 이후 수세기 동안 기계식 계산에 대한 관심은 줄어들 기미를 보이지 않았으며, 전 세계의 여러 세대가 파스칼과 빌헬름의 발자취를 따라가며, 정신적 에너지를 기계에 맡기는 것이 안도감이 될 것이라는 그들의 견해에 동의했습니다.
신뢰 사기
- 첫째, 신뢰가 구축됩니다
- 그 다음, 감정이 이용됩니다
- 마지막으로, 긴급한 행동을 요구하는 구실이 만들어집니다
이러한 방식으로 표적은 충동적인 결정을 내리도록 압박받으며, 자신의 판단보다 쉽게 행동에 나서게 됩니다.
감정적 이용은 긍정적일 수도 부정적일 수도 있습니다. 표적은 가장 큰 희망과 꿈을 충족하거나 초과한다는 약속에 끌릴 수도 있고, 혹은 재앙적인 결과를 두려워하도록 만들 수도 있습니다.
두 접근법 모두 효과적이며, 신뢰 사기의 고전적인 예시에서 볼 수 있습니다: the three‑card monte는 빠른 배당을 약속하며 도박꾼을 끌어들입니다. 반면, 함정 사기에서는 피해자를 곤란한 상황에 끌어들인 뒤 갈취하며, 그들의 행동이 초래할 끔찍한 결과에 대한 두려움을 이용합니다.
신뢰 구축
쉐카드와 파스칼이 4세기 전 기계식 계산기를 만든 이유는 수학이 어렵고 실수가 비용이 많이 들기 때문이었습니다. 파스칼의 아버지는 세무관이었으며, 어린 블레즈는 열심히 일하는 아버지의 직업 스트레스를 줄이고 싶어했습니다.
오늘날에도 우리는 이 기본적인 동기를 계속 보고 있습니다. 수십 년 동안 학생들은 교사에게 “긴 나눗셈을 배우는 의미가 뭐죠? 바로 계산기를 쓰면 바로 정답을 얻을 수 있잖아요”라고 묻곤 합니다. 이는 손으로 직접 푼 답을 계산기로 확인해 보는 교육 방법으로, 틀렸는지 확인할 수 있게 해 줍니다.
사실, 기계식 계산기의 등장 이후 인류는 400년 동안 기계의 답이 정확성의 금본위라는 메시지를 강화해 왔습니다. 당신의 답이 계산기의 답과 일치하지 않으면 작업을 다시 해야 합니다.1
이것은 순수한 수학 문제에만 해당되는 것이 아닙니다. 지루한 작업을 반복적이고 신뢰할 수 있게 자동화하는 기계를 발명할 수 있는 우리의 능력은 삶의 거의 모든 영역으로 확장되었습니다. 21세기에 접어들면서 개인과 사회 전체가 기계 정확도에 완전히 의존하게 되었습니다.
우리의 규범, 습관, 의사결정 행동은 수세기 동안 이러한 기본 가정에 의해 형성되어 왔습니다.
감정 활용
두려움
LLM에 대한 레토릭은 두려움과 경이로움을 동등하게 불러일으키도록 설계되었습니다. GPT‑3는 너무 강력해서 OpenAI가 “기술의 악의적 활용에 대한 우려” 때문에 훈련된 모델을 공개하지 않았다고 합니다.
이 놀라울 정도로 성공적인 마케팅 이후로, LLM 공급업체들은 자신들이 구축하고 있는 기술이 무시무시한 힘을 가지고 있다고 강조해 왔습니다. 우리는 두려워해야 합니다, 라고 말하며, 기술이 어떻게든 일어나 우리를 파괴할 가능성인 “P(Doom)”에 대해 매우 공개적으로 언급합니다.
물론, 이런 일은 아직 일어나지 않았습니다.
여기서 목적은 실제 위협에 대해 책임감 있게 경고하는 것이 아닙니다. 만약 그게 목표라면 데이터 센터를 더 많이 폐쇄하고 핵무기 수준의 위험한 챗봇을 판매하는 일은 훨씬 적었을 것입니다.
핵심은 여러분을 두렵게 만드는 것입니다: 직업에 대한 두려움, 가족의 직업에 대한 두려움, 경제에 대한 두려움, 사회에 대한 두려움, 전반적으로 미래에 대한 두려움.
대중은 자신들이 처한 위험을 확신하게 되었습니다. 세상이 변하고 있습니다. 도구를 사용하지 않으면 진보의 물결에 의해 파괴될 것입니다.
동정
오늘날 우리가 가지고 있는 LLM은 유명하게도 아첨을 잘합니다. “당신 말이 전적으로 맞아요!”라는 표현은 진심으로 다시는 쓰이지 않을 수도 있습니다.
LLM 언어의 압도적인 긍정성은 공급업체와 모델 전반에 걸쳐 일관되지만, 기술 자체에 내재된 것은 아닙니다.
이 긍정성은 **인간 피드백을 통한 강화 학습 (RLHF, Reinforcement Learning from Human Feedback)**이라는 기법으로 도구에 학습됩니다. 여기서 기본 모델의 응답은 인간에 의해 평가되며, 더 친절하고 도움이 되며 정확한 답변은 긍정적으로, 공격적이거나 도움이 되지 않거나 틀린 답변은 부정적으로 평가됩니다.
이 과정을 통해 도구는 사람들이 칭찬받는 것을 좋아한다는 것을 학습합니다; 자신의 아이디어가 어리석다고 듣기보다 똑똑하다고 들리는 것을 선호합니다. 아첨은 여러분을 원하는 곳으로 데려다 줍니다.
2025년 4월, OpenAI는 ChatGPT의 “긍정성”을 지나치게 강화했으며, 문제 해결을 위해 업데이트를 되돌릴 수밖에 없었습니다, 그러나 이것이 그 지나치게 친절한 태도가 우리의 최악의 본능을 강화하면서 유발하는 정신 건강 문제에 대한 지속적인 보고를 멈추게 하지는 못했습니다.
이것이 보여주는 바는 RLHF가 도입한 아첨은 완전히 허무하다는 것입니다. 편집증, 과대망상, 정신 질환에 의해 촉발된 아이디어도 코드, 이메일, 혹은 셰익스피어 작품만큼 쉽게 칭찬받습니다.
이는 대화 상대인 인간을 기분 좋게 만들기 위한 조작 기법입니다.
왜일까요? RLHF가 LLM에게 가장 먼저 가르치는 것은, 압도적으로 긍정적이면 사람들에게 더 호감을 얻는다는 점입니다. 상사에게 아첨하는 것이 결국 여러분을 좋은 자리로 이끌게 됩니다.
이 모든 것이 사용자들이 기계와 기이한 파라소셜 관계를 형성하도록 장려합니다. 이러한 도구와 연애 관계를 형성하는 사람들의 수는 정말 섬뜩합니다.
긴급 조치 필요
- 2026년에는 기술이 더욱 발전하고 “많은 다른 직업을 대체”할 수 있게 될 것
- 스타트업 혁명이 도래했습니다 – AI에 적응하지 않으면 뒤처집니다
- AI가 2030년까지 인간 지능을 능가할 것
우리는 파도를 타지 않으면 짓밟히고, 지금 이 도구들을 배우지 않으면 구식이 되며, LLM의 약점을 보완하도록 직장과 시스템을 조정하지 않으면 경쟁에서 뒤처진다는 말을 반복해서 듣습니다.
이 메시지는 다층적입니다 – 개인과 조직 모두를 겨냥해 다가올 혁명의 규모를 강조합니다.
그리고 그 메시지는 전달되고 있습니다.
- 75 %의 개발자가 자신의 기술이 5년 이내에 구식이 될 것이라고 생각합니다
- 74 %의 CEO가 2년 안에 AI를 통한 측정 가능한 비즈니스 성과를 내지 못하면 직장을 잃을 것이라고 인정합니다
이 두려움은 사회 모든 층에 스며들어 있습니다. 전 세계 경제는 AI 지출 버블에 의해 인위적으로 부풀려지고, 기업 지도자들은 생산성 위기를 해결하기 위한 모든 희망을 AI에 걸어두고 있으며, 정치인들은 데이터센터 건설을 지원할 원자재와 저렴한 전력 확보를 둘러싼 지정학적 움직임을 계획하고 있습니다.
시장은 지금 뛰어들지 않으면 가라앉는 배와 함께 가라앉을 것이라고 경고받고 있습니다. 그리고 그들은 뛰어듭니다. 지금 적응하지 않으면 죽는다.
신뢰할 수 있는 가격에 제공되는 “지능”은 기업과 소비자 모두에게 성배와 같습니다.
역할에 적합한지 비슷하게 결함이 있는 인간들이 평가하는 변덕스러운 인간보다, 신뢰할 수 있는 기계 지능이 일을 대신할 수 있다면 왜 위험을 감수해야 할까요? 초지능이 즉시 요약을 제공할 수 있는데 왜 직접 주제를 조사해야 할까요?
하지만 실제 상황은
와 같이 약속과 일치하지 않습니다.
실제로 MIT는 8월에 산업 분야 AI 구현 프로젝트의 95 %가 투자 수익을 창출하지 못한다고 보고했습니다 (source).
간단히 말해, 이 기업들은 자신감을 속이는 사기에 속은 것입니다. 그들은 컴퓨터의 효능과 신뢰성에 대한 수세기 동안 이어온 지혜에 기반을 두었고, 믿기 힘든 기술적 경이로움을 파는 매우 능숙한 영업 사원들에게 끌려갔습니다.
하지만 그 컵 아래에 완두콩은 없습니다. 당신의 새로운 절친은 돈이 필요한 병든 할머니가 없습니다. LLM은 지능이 아닙니다.
그것은 단지 수조 달러 규모의 자신감 사기일 뿐입니다.
우연히도, 이것은 가짜 뉴스 전염병의 한 요인이기도 합니다. 우리는 기계가 말해주는 것을 암묵적으로 신뢰합니다. ↩︎
태그
Footnotes
-
당신의 답이 계산기와 일치하지 않으면 작업을 다시 해야 합니다. ↩