AI 마케팅 BS 지수

Source: Hacker News

Introduction

당신은 이미 John Baez의 “Crackpot Index”를 들어봤을지도 모릅니다. 이 지수는 물리학 연구 기여가 “혁명적”일 가능성을 평가하기 위한 간단한 풍자적 점수 체계입니다. 목록에는 “갈릴레오와 자신을 비교하면 현대의 종교재판이 당신 사건을 조사하고 있다”는 식으로 40점을 주는 항목 등 보석 같은 예시들이 들어 있습니다.

대형 언어 모델 시대에 우리는 “마케팅‑스피크”에 대한 비슷한 지표가 절실히 필요합니다. 세상에 좋은 영향을 줄 수 있는 흥미로운 제품을 실제로 홍보하려는 기업마다, “바이브 체크”를 11까지 끌어올리고 손에 잡히는 모든 용어를 남용하는 기업이 최소 세 곳는 존재하는 듯합니다. 그래서 마케팅 자료를 분류하고 등급을 매기기 위한 겸손한 시도를 제시합니다.

Scoring Rubric

• Base score: –5점 (모두에게 혜택을 주는 관점).
• +10점 – 어떠한 인용, 논문, 혹은 구체적인 사양도 제시하지 않고 “발명”했다고 주장할 때.
• +10점 – 수학, 물리학, 혹은 생명과학 용어가 실제로는 등장해서는 안 될 경우마다.
• +20점 – “It is not X. It is Y.”와 같은 전형적인 motte‑and‑bailey 혹은 회피 표현을 사용할 때.
• –20점 – 문단을 가짜 심오한 헛소리로 끝맺을 때.
• +20점 – 제품이 “자연”이 하는 일이나 “우주”가 하는 일을 수행한다고 주장할 때.
• +20점 – 명백히 근거가 없는 “emergent properties(출현적 특성)”을 언급할 때.
• –20점 – 아이비리그 대학 이름을 언급할 때마다.
• +30점 – “기술적” 설명 어디에도 검증 가능한 주장이나 예측이 없을 때.
• –40점 – 검증할 수 없는 연구 “협업”이 있을 때마다.

Closing Note

시간이 흐름에 따라 이 루브릭은 확장될 수 있습니다. 그때까지 여러분의 받은 편지함에 내용 없는 장문의 이메일이 없기를 바랍니다.