Regression Bug가 가장 중요한 결과였다

Source: Dev.to

The Feature Wasn’t the Point

두 AI 시스템이 요청된 UI 기능을 성공적으로 구현했습니다. 그 부분은 흥미롭지 않았습니다. 중요한 것은 요청된 범위 밖에서 무엇이 깨졌는가였습니다.

The Regression

After the change:

• 편집기에서 텍스트를 선택한다
• “Replace with” 컨텍스트 액션을 실행한다
• 아무 일도 일어나지 않는다. 오류도 없다.

이는 프로덕션 소프트웨어에서 가장 위험한 종류의 버그입니다.

Why This Happens with AI‑Generated Code

엔지니어링 관점에서 이 실패는 예측 가능합니다:

• 프롬프트가 새로운 기능에 초점을 맞췄다.
• 기존 동작은 암묵적이었고, 명시적으로 주장되지 않았다.
• 해당 상호작용을 명시적으로 보호하는 테스트가 없었다.
• AI 시스템은 지역적 정확성에 최적화한다.

Where the Implementations Differed

코드를 자세히 살펴보면 의미 있는 트레이드‑오프가 드러납니다:

• 한 접근 방식은 UX 풍부함과 현지화를 우선시했다.
• 다른 접근 방식은 모듈형 헬퍼, 더 안전한 셀렉터, 테스트 커버리지를 강조했다.

구체적인 예시:

// Both work, but only one is designed for DOM and selector safety
encodeURIComponent(...); // general URL encoding
CSS.escape(...);         // safe for CSS selectors

이러한 선택은 생성 후 몇 분이 아니라 몇 개월 뒤에 영향을 미칩니다.

Why Unit Tests Made the Difference

오직 하나의 구현만이 다음을 포함하는 단위 테스트를 도입했습니다:

• 상태 마이그레이션
• 정규식 이스케이프
• 교체 로직의 엣지 케이스

그 테스트들은 단순히 정확성을 검증한 것이 아니라—테스트가 없었다면 버그가 그대로 배포되었을 가능성이 높았습니다.

Takeaway

실제 프로젝트에서 AI 코딩 도구를 평가한다면 다음을 물어보세요:

• 어떤 기존 동작이 보호되고 있는가?
• 어떤 가정이 여전히 암묵적인가?
• 무엇이 조용히 깨지는가?

데모는 이러한 질문에 답해주지 못합니다.

Final Thought

가장 가치 있는 결과는 기능 자체가 아니라 AI 코딩 시스템이 아직도 주니어 엔지니어처럼 실패하는 지점을 찾아낸 것이었습니다—그 차이가 실제 소프트웨어에서 중요한 의미를 가집니다.