코드 라인, 더 좋은 홍보 담당자 영입.
출처: Hacker News
15년 전 이야기입니다(잠시만 참아 주세요, 저는 90년대 후반부터 이 업계에 있었고, 대부분의 좋은 이야기가 이렇게 시작됩니다). SaaS 회사에 시니어 개발자 두 명이 있습니다. 그 중 한 명은 다른 사람보다 40% 더 많은 코드를 작성합니다. 그 개발자가 더 뛰어난가요? 비즈니스에 더 큰 영향을 미치나요? 다른 사람은 이력서를 다듬어야 할까요?
당연히 그렇지 않습니다. 실제로 배포된 것이 무엇인지 알고 싶을 겁니다. 고객에게, 매출에, 신뢰성에 어떤 영향을 미쳤는지 말이죠. 코드 라인 수, PR 개수… 우리는 수십 년 동안 이런 지표들이 개발자를 평가하는 전형적인 나쁜 방법이라는 것을 배워왔고, 오늘날 그것을 제안하는 자체가 웃음거리가 될 정도입니다.
그렇다면… 올해 업계가 광고판에 내걸고 있는 말은 다음과 같습니다:
Google: 새 코드의 75%가 AI로 생성됨
Anthropic: 머지된 프로덕션 코드의 약 80%가 Claude에 의해 작성됨 , 그리고 엔지니어들은 “분기당 8배 더 많은 코드를 배포”합니다.
OpenAI: 대략 80% 라고 합니다.
Cursor: “하루에 1억 라인 이상의 엔터프라이즈 코드가 작성됨”
모두 볼륨(양) 주장입니다. “AI가 작성한 코드 비율”은 단지 더 나은 홍보자를 가진 코드 라인 수에 불과합니다. (이 초안을 편집하고 있는 회의적인 나는, 이 모든 것이 AI 공급업체라는 점이 우연이 아니라는 점을 지적하고 싶습니다. 채택을 부추기는 것이 매우 중요하기 때문이죠.)
우리는 결과를 주장하곤 했습니다
몇 년 전으로 돌아가면, 헤드라인 수치는 규모가 아니라 종류가 달랐습니다. GitHub의 대표 주장은 개발자들이 Copilot을 사용해 작업을 55% 더 빠르게 완료한다는 것이었습니다. 그 연구에 대해 뭐든지 비판할 수 있지만(많은 비판이 있었습니다), 이는 결과 주장입니다. 대담하고, 반증 가능하며, 가치에 관한 것이죠. 만약 틀렸다면, 틀렸다는 것을 증명할 수 있었습니다.
2026년의 주장은 실패할 수 없습니다. 이것이 바로 그들의 천재성입니다. “우리 코드의 75%가 AI로 작성됐다”는 사실일 수도 있고, 더 나아질수록(더 빠른 배포, 더 적은 사고, 더 행복한 고객 등) 계속 증가할 것입니다. 볼륨 수치는 채택이 정체되지 않는 한 실망만 줄 뿐이며, 채택 자체는 대부분이 동의하는 현실입니다. 📈
그래서 주장은 점점 커지면서 말은 적어졌습니다. 그 사이에 무슨 일이 있었을까요?
광고판에 올리지 않는 부분
결과에 대한 증거가 복잡해졌습니다. 바로 그게 일어난 일입니다.
가장 강력한 채택 긍정 결과는 아직도 Cui 등입니다; 5,000명 이상의 개발자를 대상으로 작업 완료율이 26% 상승했으며, 특히 주니어 개발자에게 큰 이득이 있었습니다. 이는 크게 논쟁의 여지가 없습니다. 하지만 그 뒤에 GitClear 은 Copilot 채택이 깊어질수록 코드 churn이 증가하고 리팩터링이 붕괴되는 현상을 보여주었습니다. 이어서 METR 은 많은 이가 인용한 연구를 발표했는데, 경험 많은 오픈소스 개발자들이 자신의 코드베이스에서 AI를 사용할 때 19% 느려졌으며, 자신은 20% 빠르다고 믿었습니다.
하지만! 잠깐만요… 2026년 2월 METR은 사실을 뒤집었습니다: 후속 추정치는 속도 향상으로 바뀌었고(오차 범위가 Moto Guzzi에 짐을 싣고 달릴 정도로 넓었으며!), 연구 설계 자체를 포기했습니다—왜냐하면 개발자들이 이제 AI 없이 작업을 거부하고, 에이전시 작업에 대한 시간을 신뢰성 있게 자체 보고할 수 없게 되었기 때문입니다. 최신 입장은 “AI가 2026년에 개발자를 가속화할 가능성이 높으며, 우리는 더 이상 정확히 얼마나 가속화됐는지 깨끗하게 측정할 수 없다”는 것입니다.
한편 기업 차원에서는 NBER가 6,000명 정도의 임원을 대상으로 한 조사에서 **69%**의 기업이 AI를 적극 활용하고 있지만, 약 9할이 생산성에 눈에 띄는 영향을 보고하지 못했다고 합니다. 여러 연구를 종합하면 조직 차원에서 10% 정도의 이득이 있다는 결론에 도달합니다. 전혀 없는 것은 아니며, 여전히 꽤 유용합니다. 하지만 “개발자가 더 이상 필요 없다”는 수준은 아닙니다.
그리고 아직도 “19% 느려졌다”고 인용하는 회의론자라면, 당신도 선택 편향을 하고 있는 겁니다. 연구는 계속 업데이트되고; 업계는 단순히 무엇을 셈하는지를 바꾼 것뿐입니다.
허영 지표, 이제는 AI 버전
AI 공급업체 주장만이 전부는 아닙니다. Carnegie Mellon의 SEI와 Accenture가 최근에 발표한 AI 채택 성숙도 모델은 다섯 단계, 여덟 차원으로 구성되며 “95%의 조직이 수익을 보지 못한다”는 통계에 기반해 마케팅됩니다. Steve Yegge의 “AI 지원 개발의 8단계” 역시 사용 중인 도구와 감독 정도에 따라 등급을 매깁니다. 그리고 모든 도구 공급업체는 이제 “우리 제품을 더 많이 사용하라”는 것이 보통 최상위 단계인 성숙도 사다리를 내놓습니다. 이 사다리들은 채택 강도를 측정하고 이를 ‘성숙도’라고 부릅니다. 같은 대체, 포장은 더 깔끔하게.
이 장르 전체에서 내가 가장 좋아하는 데이터 포인트는 Augment가 219명의 엔지니어링 리더를 대상으로 “AI‑네이티브 엔지니어링”을 정의하도록 설문했을 때, 219가지 다른 답변이 나왔다는 점입니다. 🫠
그리고 양쪽 끝을 잡고 있는 상금은 Anthropic에게 돌아갔습니다. 그들은 “8배 더 많은 코드를 배포했다”는 주장과 함께, 연간 가장 엄격한 연구 중 하나인 RCT를 발표했는데, AI 지원 개발자들이 방금 배포한 코드에 대한 이해도가 17% 낮게 평가되었으며, 통계적으로 유의미한 생산성 향상은 없었습니다. 저는 매일 Claude를 사용합니다(이 글을 쓰기 위해 읽은 링크의 절반을 추천해 주었으니 아이러니가 사라지지는 않지만). 제품 자체는 정말 훌륭하고, 연구팀은 데이터를 업데이트하고 마케팅팀은 볼륨을 세고 있습니다. 두 가지가 동시에 존재한다는 것이 바로 요점입니다.
내가 실제로 신경 쓰는 이유
이 숫자들은 장식이 아닙니다. 예산, 성과 기대치, 인력 계획을 움직입니다. 2026년 2월, Jack Dorsey는 Block 직원의 40% 이상을 해고했습니다(4,000명 이상). AI를 명시적인 핵심 논리로 삼아 “우리가 만들고 있는 도구를 쓰는 훨씬 작은 팀이 더 많이, 더 잘 할 수 있다”는