우리는 깔때기를 만들고 그 아래에 서 있다.

Source: Dev.to

그 그림이 모든 것을 말해준다. 위쪽에 로봇 한 줄이 있다: 타자기에 해머를 두드리는 로봇, 풍경을 그리는 로봇, 프린터에서 이미지를 뱉어내는 로봇. 그 아래에는 모든 것을 운반해 가는 컨베이어 벨트가 있다. 그리고 맨 아래—호스로 직접 머리에 연결된—사람들이 앉아 있다. 태블릿, 폰, 노트북, 눈이 튀어나오고, 입가에 흐르는 침줄. 소비하고 있다. 멈춤도, 질문도, 눈 깜빡임도 없다.
과장이다. 풍자다. 그리고 불편할 정도로 정확하다.

왜 오늘날 이 그림이 사실인지가 아니라, 우리가 얼마나 그와 거리가 먼지—그리고 어느 방향으로 흐르고 있는지가 문제다.
아무도 어느 날 아침에 “생각을 멈추겠다”고 결심하지 않는다. 그것은 작고, 완전히 합리적인 단계들을 통해 일어난다.
긴 글을 읽는 대신 요약본을 찾는다—시간이 없으니. 자료를 찾아 비교하는 대신 질문하고 가장 먼저 떠오른 답을 받아들인다—그 답이 자신감 있게 들리니까. 문제를 이해하려고 애쓰기보다 해결책을 생성한다—작동하니깐, 왜 더 파고들어야 하지?
각 단계는 그 자체로는 타당해 보인다. 문제는 전체 합이다. 능동적인 탐색이 점점 수동적인 섭취로 변한다. “이해했어”가 “가졌어”가 된다. 그리고 그 두 문장 사이에는 깊은 골이 생긴다.

그리고 불편한 부분: 인간이 만든 것과 기계가 만든 것을 구분하는 선이 날마다 얇아지고 있다. 기사, 포스트, 이미지, 코드 조각, 그 아래 댓글—누가 썼을까? 점점 더 우리는 알 수 없게 되고, 더 나아가 묻는 일조차 멈춘다.

이것은 추상적인 철학이 아니다. 두 가지 구체적인 차원을 가진다.

첫 번째는 개인적인 차원—기술 퇴화. 사용하지 않는 근육은 약해진다. 디버깅, 설계, 의사결정을 5년 동안 도구에 맡기면, 스스로 조용히 해내던 능력은 문을 나가버린다. 하루아침에 사라지는 건 아니지만, 급히 필요할 때 비로소 그 부재를 깨닫게 된다. 핵심은 도구 사용을 중단하라는 것이 아니라, 도구가 헛소리를 할 때 이를 감별할 능력을 잃지 말라는 것이다.

두 번째는 시스템적인 차원—그리고 더 무섭다. 모델은 데이터를 학습한다. 그런데 인터넷상의 데이터가 점점 모델 자체가 만들어낸 것들로 채워지고 있다. 루프가 형성된다: AI가 인간 작업이 아닌 다른 AI의 출력으로 훈련된다. 연구자들은 이를 “모델 붕괴(model collapse)”라 부른다—복사본의 복사본이 되면서 매 세대마다 다양성과 품질이 조금씩 사라지는 현상, 마치 사진을 다시 찍는 것과 같다. Shumailov 등(2024)이 Nature에 발표한 바에 따르면, 생성 모델을 자체 출력에 재귀적으로 학습시킬 경우 원본 데이터 분포의 꼬리—희귀하고 특이한 경우—가 가장 먼저 사라지고, 그 퇴화가 복합적으로 진행된다. 인간이 만든 원본, 즉 불완전하고 비정형적인 실제 데이터는 대체될 수 없는 연료이다. 그런데 우리는 그 공급을 점점 멈추고 있다.

거기에 품질을 판단하는 능력도 동시에 약화되고 있다면, 불쾌한 조합이 된다: 기계는 점점 더 나쁜 콘텐츠를 만들고, 사람은 그 변화를 감지하지 못한다. 퍼널은 양쪽 끝에서 동시에 좁아진다.

공정한 주의점: 이 연구가 모두에게 일치하는 의견은 아니다. Gerstgrasser 등(2024)의 후속 연구는 실제 데이터와 합성 데이터를 동시에 축적하면 붕괴를 피할 수 있다고 주장한다—하나를 완전히 대체하는 것이 아니라 두 데이터를 병합하는 것이 핵심이며, 가장 파괴적인 시나리오는 실제 데이터가 완전히 사라지는 경우인데, 이는 현실 세계에서는 일어나지 않는다. 따라서 모델 붕괴는 관리해야 할 실제 위험으로 보되, 예언으로 받아들이지는 말아야 한다. 이것이 바로 요점이다.

이 이야기가 타자기 이후에 발명된 모든 것을 거부하는 루다이트의 설교처럼 들릴 수도 있겠지만—그렇지 않다.

이 도구들은 훌륭하다. 나는 이 글의 구조를 모델과 함께 워크숍하고, 문구의 절반을 다듬었다. 그렇다고 부인한다면 위선일 뿐이다. 질문은 “사용하라, 아니면 쓰지 말라”가 아니라 “어떻게 사용할 것인가”이다.

한 가지 구분이 도움이 된다: 도구와 보철물. 도구는 당신이 할 수 있는 범위를 확장한다—속도를 높이고, 더 멀리 도달하게 하며, 중요한 일에 손을 자유롭게 한다. 보철물은 당신이 더 이상 할 수 없게 된 것을 대신한다. 망치는 도구다. 건강한 다리를 “이 다리는 보행 보조 없이는 못 걸어”라고 믿게 만든 목발은 보철물이다.

같은 모델, 같은 프롬프트도 상황에 따라 두 가지가 될 수 있다—전적으로 당신 머릿속에 달려 있다. “이 해결책이 왜 실패했는지 설명해 줘, 다음엔 스스로 찾아볼 수 있게”는 도구다. “생각할 필요 없이 통과할 수 있는 무언가를 줘”는 보철물의 첫 번째 단계다. 외관상으로는 구분이 안 되지만, 차이는 내부에 있다.

여기 영웅적인 저항은 없다. 단지 로봇 의자 위에 머무르게 하는 몇 가지 습관일 뿐이다.

검증. 자신감 있는 어조가 진실을 보증하지 않는다. 무언가를 도입하기 전—특히 매끄럽고 완성된 것처럼 보일 때—원본과 대조해 보라. 5초의 의심이 수동적인 수혜자와 당신을 구분한다.

똑똑하게 질문하고, 무작정 삼키지 말라. AI는 뛰어난 사고 파트너이지만 사고 자체를 대체하기엔 형편없다. “뭐가 빠졌지?”, “왜 안 되는 거지?”, “반론은 뭐가 있을까?” 같은 질문에 활용하라—그냥 생각 자체를 없애는 답을 얻기 위해 쓰지는 말라.

소비보다 창조. 이것이 아마 가장 중요한 습관이다. 원본을 만들고, 구축하고, 디자인하는 사람은 그 희귀한 인간 원료를 시스템에 다시 공급한다. 오늘날 제작자가 되는 것은 단순히 채널에 머무는 것을 넘어 거의 정치적인 행위다. 그리고 이것이 퇴화를 방지하는 유일한 확실한 방어책이다: 쓰는 근육은 약해지지 않는다.

그 그림은 예언이 아니다. 경고일 뿐이며, 경고의 유일한 목적은 피할 수 있다는 점이다.

위의 로봇과 아래 호스에 연결된 사람들은 역사가 우리를 두 가지 필연적인 범주로 나누는 것이 아니다. 선택이다. 그리고 좋은 점은 이 선택이 세대마다 한 번씩 새로워지는 것이 아니라, 매일, 매 프롬프트, 매 기사, 매가 읽히든 요약되든, 매 창작이든 혹은 단순히 삼켜지는 순간마다 새로워진다는 것이다.

퍼널은 존재한다. 중요한 질문은 당신이 그 아래에 서 있는가, 아니면 그것을 운영하고 있는가이다.

Shumailov, I., Shumaylov, Z., Zhao, Y., Papernot, N., Anderson, R., & Gal, Y. (2024). AI models collapse when trained on recursively generated data. Nature, 631(8022), 755–759. doi:10.1038/s41586-024-07566-y. Earlier preprint: The Curse of Recursion: Training on Generated Data Makes Models Forget, arXiv:2305.17493. Counterpoint: Gerstgrasser et al. (2024), Is Model Collapse Inevitable? Breaking the Curse of Recursion by Accumulating Real and Synthetic Data, arXiv:2404.01413. ↩