대부분의 사람들은 AI를 구글처럼 사용한다. 그래서 별로다.

Source: Dev.to

The Initial Experience

첫 달 동안 나는 Copilot을 야망은 있지만 가드레일이 없는 주니어 엔지니어처럼 대했습니다. 요청하지도 않은 코드를 작성했습니다. 함수 중간에 Copilot은 앞서 나가—새 메서드를 만들고, 전체 클래스를 제안하고, 자신을 증명하고 싶어 하는 주니어처럼 주도적으로 행동했습니다.

The Breaking Point

리팩터링 중 Copilot이 우리 스타일 가이드를 무시하고 R와 T라는 변수를 만들며, 이미 추상화한 로직을 중복 생성하고, 추상을 인식하지 못하고 같은 패턴을 세 번 반복했습니다. 테스트가 깨졌지만 Copilot은 신경 쓰지 않았습니다—나는 그것에게 신경 쓰는 법을 가르치지 않았으니까요. 올바르게 작성하는 데 20분이면 충분했을 일을 정리하는 데 두 시간을 소비했습니다.

Shifting the Approach

나는 프롬프트를 주고 과도한 출력을 받은 뒤 다시 다듬는, 즉 AI 출력물을 편집하는 데 더 많은 시간을 쓰고 있다는 것을 깨달았습니다. 문제는 AI가 아니라 답변을 기대하고 시스템을 정의하지 않은 제 기대였습니다.

나는 나쁜 출력을 프롬프트만으로 해결하려는 시도를 멈추고 AI가 끌어오는 “뇌”를 바꾸었습니다. 엔지니어링 표준을 담은 마크다운 파일을 만들었습니다: 요구사항 작성 방법, 스코핑 전에 묻는 질문들, 유저 스토리와 작업의 차이, 트레이드‑오프에 대한 사고 방식, 추상화보다 중복을 선호할 때, 그리고 우리 코드베이스에서 “깨끗함”이 의미하는 바 등.

Encoding Standards

그 이후 에이전트가 코드를 생성할 때 즉흥적으로 만들지 않고, 우리가 정의한 패턴을 실행했습니다. 이제는 주니어 엔지니어에게 프롬프트를 주는 것이 아니라, 시니어 엔지니어를 오케스트레이션하는 것이었습니다. 시니어 엔지니어는 패턴을 인식하고, 언제 추상화할지 알고, 문서화되지 않은 문화적 제약을 이해하기 때문에 더 좋은 코드를 씁니다. 이런 것을 AI에 프롬프트만으로 넣을 수는 없으며, 직접 인코딩해야 합니다.

우리는 이러한 표준을 스킬, 규칙, 에이전트, 훅으로 구현했습니다. BA 페르소나, 솔루션 아키텍트, 코드 리뷰 프로세스, QA 등을 위한 마크다운 파일을 두었습니다. 에이전트가 스펙을 생성하거나 코드를 작성할 때 이 파일들을 참조해 정의된 패턴을 실행하고 즉흥적인 행동을 하지 않습니다.

Scaling Through Systems Thinking

예전 제약은 인력 부족이었습니다: “우리는 사람이 부족해.” 새로운 제약은 알고리즘 품질—판단을 얼마나 잘 인코딩했는가, 좋은 것이 무엇인지 정의했는가 입니다. 프린시플 엔지니어와 아키텍트는 중간 수준 개발자보다 AI를 더 빠르고 깊게 도입하고 있습니다. 이는 그들이 더 기술적이라기보다 시스템적으로 사고하기 때문입니다.

• 중간 수준 엔지니어는 AI를 페어 프로그래머처럼 사용합니다: 프롬프트 → 리뷰 → 수용 → 반복.
• 아키텍트는 AI를 인프라처럼 다룹니다: 패턴 정의 → 제약 인코딩 → 시스템에 실행을 맡김.

Observations on Adoption

• 프린시플 엔지니어와 아키텍트는 AI 사용량이 더 높습니다.
• 그들은 시스템적으로 사고해 사고를 기하급수적으로 확장합니다.
• 비용은 장인의 손실이 아니라 새로운 기술—오케스트레이션—을 배우는 것입니다. 코딩이나 프롬프트가 아니라 말이죠.

에이전트를 연결하는 방법, 인간 판단을 삽입할 위치, 표준을 위반하지 않을 정도로 엄격하면서도 놀라움을 줄 수 있을 정도로 유연하게 인코딩하는 방법을 이해하는 것이 새로운 역량입니다.

Rethinking AI Interaction

엔지니어가 AI와 마주쳤을 때 프롬프트를 다시 시도하나요, 아니면 아키텍처를 다시 설계하나요? 더 나은 단어로 AI를 조정하려고 하나요, 아니면 AI가 끌어오는 것을 바꾸나요? 첫 번째 접근은 선형적으로 확장됩니다(프롬프트 하나, 출력 하나, 수정 하나). 두 번째는 기하급수적으로 확장됩니다(시스템을 한 번 정의하면 영원히 실행).

대부분의 사람들은 인터페이스가 제안하는 대로 AI를 구글처럼 사용합니다: 입력 → 수용 → 이동. 이는 진행처럼 보이지만, 진행은 검색 속도가 아니라 레버리지입니다. 구글은 답을 제공하고, 시니어 엔지니어는 시스템을 제공합니다. 여러분은 어느 쪽을 실행하고 있나요?