AI가 그의 책에 ‘인공 인용구’를 넣었지만, 저자는 계속 쓰고 싶어한다.
Source: Ars Technica
I wish I knew how to quit you
Steven Rosenbaum은 그의 책 The Future of Truth에 부정확한 인용구가 어떻게 들어가게 되었는지 설명합니다.
“제가 사용하고 있던 기술이 동시에 매혹적이면서 위험하다고 느낀 적은 한 번도 없습니다.”
Credit:
Aurich Lawson | Getty Images
“제가 사용하고 있던 기술이 동시에 매혹적이면서 위험하다고 느낀 적은 한 번도 없습니다.”
Credit:
Aurich Lawson | Getty Images
저널리스트이자 작가인 Steven Rosenbaum은 AI에 대한 불신을 가질 이유가 남들보다 많습니다.
그의 신작 The Future of Truth: How AI Reshapes Reality는 “빠르게 움직이고 이익 중심인 AI의 압력” 때문에 “진실이 어떻게 휘어지고 흐려지며 합성되는지”에 대해 다루고 있습니다. 그러나 이번 주에 발표된 뉴욕 타임스 조사에서는 Rosenbaum이 책을 연구하면서 AI 도구를 사용한 결과 “잘못 귀속되었거나 합성된 인용구 몇 개”가 포함됐음을 인정했습니다.
이 인용구 중에는 기술 기자 Kara Swisher가 “절대 말하지 않았다”고 뉴욕 타임스에 밝힌 내용과 Northeastern University 교수 Lisa Feldman Barrett가 “내 책에 나오지 말아야 할 것이며, 또한 잘못된 것”이라고 한 말이 포함돼 있습니다. Rosenbaum은 현재 편집자들과 함께 전체 “인용 감사”를 진행 중이며, 향후 판에서 이를 바로잡을 예정이라고 밝혔습니다.
논란이 일어난 직후 Ars와 인터뷰에서 Rosenbaum은 “교훈을 얻었고, 앞으로 AI 출력에 대해 훨씬 더 의심하고 신뢰를 꺼릴 것”이라고 말했습니다.
하지만 그는 여전히 그 도구들을 떠날 수 없습니다. 놀랍게도 Rosenbaum은 이전 책들을 쓸 때 사용했던 AI 없는 연구 방식으로 돌아가고 싶어 하지 않습니다.
“AI 없이 X년을 쉬면서 스스로 정리되길 기다렸다가, 다시 Microsoft Word 같은 걸 쓰는 건 제 성격에 맞지 않아요. AI는 마법과도 같습니다. 아이디어를 연결하고, 생각의 실을 엮어 주며, 스스로는 떠올리지 못할 길을 제시해 주거든요.”
AI는 또 다른 방식으로 마법 같습니다. J.R.R. 톨킨의 ‘절대 반지’처럼, AI를 사용하는 많은 사람들에게 자신이 그 힘을 제대로 제어할 수 있다고 믿게 만들지만, 과연 그럴 수 있을까요?
Slipping through the cracks
Rosenbaum은 글을 쓰는 과정에서 “아이디어를 떠올리고, 기사들을 찾으며, 주제를 요약하고, 탐구하고 싶은 사람이나 논문을 식별하기 위해” AI 도구를 사용했다고 말했습니다. 그는 이러한 연구와 “실제 보도, 서사 구조, 인터뷰, 논증, 결론” 사이에 확고한 경계를 두고 있으며, 후자는 “전적으로 제 것”이라고 강조했습니다. “AI가 책을 쓰던 적은 한 번도 없습니다.”
Rosenbaum이 직접 진행한 전사된 인터뷰를 바탕으로 한 장들 외에도, The Future of Truth에는 “사실을 끌어와서 서사로 엮는” 연구 기반 장도 포함돼 있습니다. 그는 OpenAI의 ChatGPT와 Anthropic의 Claude 같은 도구를 활용해 정보를 대량으로 수집했으며, 해당 도구가 제공한 각 조각마다 “이것은 AI에서 나온 것”이라는 경고를 메모에 달아 두었다고 밝혔습니다.
“이것은 기묘하게도 창의적이고 교묘하며, 모든 면에서 이색적입니다… 그리고는 정말 끔찍하게도 당신을 배신합니다.”
그런 AI‑생성 메모는 이후 사실 검증자와 출판사가 제공한 두 명의 교정자에게 전달되었습니다. 책에 포함된 285개의 외부 인용 중 6개가 뉴욕 타임스에 의해 문제점이 지적됐으며, 그 중 3개는 출처가 전혀 확인되지 않는 ‘합성 인용구’였습니다. (책이 추가 검토를 거치면서 더 많은 사례가 드러날 수도 있습니다. 참고로 대부분의 작가들은 책을 쓸 때 허위 인용을 전혀 포함하지 못합니다.)
“우리는 그 [이중 검증]을 굉장히 효과적으로 했지만, 100%는 아니었습니다,” 라고 Rosenbaum은 Ars에 말했습니다. “우리는 최선을 다하고 있습니다. 눈으로 확인하고, 맞다고 판단했으며, 다시 한 번 확인했지만 실수를 저질렀습니다.”
하지만 이번 큰 실수는 전통적인 사실 검증 절차가 AI‑보조 연구를 다루기에 충분히 준비되지 않았음을 보여줍니다. 과거라면, 사실 검증자는 인용된 서적을 저자가 그대로 복사해 넣었다는 전제 하에 비교적 안심하고 검증할 수 있었습니다. 이런 인용구는 검증이 필요하지만, 확인이 쉬워 의심이 적었습니다. 그러나 파이프라인 어딘가에 AI 도구가 개입하면 그 전제는 깨지고, 인용구가 정확히 복사됐는지, 혹은 존재 자체가 맞는지에 대한 추가적인 회의가 필요합니다.
Cursing at the machine
눈에 띄는 AI‑생성 오류 사례가 여러 분야에서 점점 더 흔해지고 있습니다. 지난해 시카고 선타임즈는 AI가 만든 존재하지 않는 책들로 가득 찬 여름 독서 리스트 광고를 실었습니다. 뉴욕 타임스는 최근 보수 정치인 Pierre Poilievre의 발언을 인용한 인용구가 “AI가 만든 그의 견해 요약”이라는 사실이 밝혀지면서 대대적인 정정을 발표했습니다. Wired와 Business Insider 등은 “Margaux Blanchard”라는 가상의 저자가 쓴 것으로 보이는 여러 기사들을 내렸으며, 학술 회의에서는 환각된 인용을 포함한 논문들이 속출하고 있습니다.
이러한 흐름은 재정적 압박을 받는 뉴스룸과 출판사가 점점 더 교정자와 사실 검증자를 없애는 시점과 맞물려 있습니다. 우리는 AI‑생성 오류가 사실 검증 단계가 있더라도 출판된 책에 들어갈 수 있음을 목격했습니다. 사실 검증 절차가 전혀 거치지 않은 많은 책들에서는 위험이 더욱 커집니다.
Rosenbaum은 “출판사들은 AI 시대 연구에 특화된 새로운 검증 워크플로우가 필요할 것”이라고 동의했습니다. 여기에는 인용구에 대한 필수 출처 추적, 더 나은 출처 추적성, AI‑보조 연구에 대한 명확한 기준, 그리고 (아이러니하게도) 1차 자료와 인용을 교차 검증하는 AI 도구가 포함될 수 있습니다.
“나는 어떤 것도 조작하려고 시작한 것이 아닙니다,” 라고 Rosenbaum은 덧붙였습니다. “일어난 일은 오늘날 기자, 학생, 연구자, 변호사, 그리고 매일 이런 시스템을 사용하는 작가들에게 점점 더 흔히 일어나는 일입니다: 권위 있게 보이는 AI‑생성 정보가 있었고, 그 중 일부가 너무 멀리 흐른 뒤에야 잡히게 된 것이죠.”