회의록으로 Kiro를 리더십 코치로 만들다

Source: Dev.to

플랫폼 팀의 엔지니어링 매니저로서 나는 10명의 엔지니어를 관리하고 있다. 인원을 더 채용하고 있다. 나는 매주 1:1 미팅을 진행하고, 기술 의사결정 회의를 주재하며, 후보자를 스크리닝하고, 회고를 진행하고, 수십 개의 AWS 계정을 아우르는 플랫폼의 전달을 따라잡아야 한다.
시간이 부족해 기술 문제에 집중할 수 없는 것보다 더 큰 문제는, 기술적인 부분 자체가 실제 도전 과제가 아니라는 점이다. 엔지니어링 매니저가 되면서 마주하게 되는 덜 눈에 띄는 문제는 엔지니어링 매니저에게 필요한 스킬이 훌륭한 엔지니어가 되게 했던 스킬과 근본적으로 다르며, 이를 잘못했을 때 알려주는 컴파일러나 단위 테스트가 없다는 것이다. 피드백 루프가 없거나 매우 느리다(그리고 그 사실을 깨달았을 때, 팀은 이미 침묵하거나 당신에게 의존하게 된다. 왜냐하면 당신이 주요 입력이자 병목이기 때문이다).

시니어 혹은 스태프 엔지니어일 때는 커뮤니케이션 스킬을 서서히 개발한다. 아이디어를 제시하고, 다른 사람에게 정중히 도전하며, 결과를 요약하고, 담당자를 지정한다. 기술적인 딥다이브에 참여하고, 후보자의 기술 깊이를 탐색하면서 편안하게 만든다. 이러한 스킬은 가치가 있으며, 좋은 개인 기여자는 수년 동안 이를 발전시킨다. 하지만 당신이 뛰어난 거만한 사람이 되지 않는 한, 이것들은 부차적인 역할을 할 뿐이다—당신을 정의하는 것은 여전히 기술 깊이이다.

하지만 EM(엔지니어링 매니저)이 되면 게임이 바뀐다. 이제 당신은 “방 안에서 가장 똑똑한 사람”이 아니며, 점점 더 그래서는 안 된다.
당신의 일은 방향을 제시하고, 다른 사람들이 문제를 해결할 수 있는 공간을 만들며, 결정을 촉진하는 것이지, 답을 제공하는 것이 아니다.

이것은 어렵다. 특히 예전에는 당신이 답을 가지고 있었기 때문이다. 직함이 바뀐다고 해서 즉시 뛰어들고 싶은 충동이 사라지는 것은 아니다.
그리고 인터뷰? 퍼실리테이션? 효과적인 피드백 제공? 이 모든 것은 개인 기여자로서 체계적으로 훈련하지 않은 전혀 다른 근육이다.

나는 몇 년 전 Toastmasters International에서 구조화된 커뮤니케이션과 리더십 연습을 통해 이러한 스킬 중 일부를 배웠다.

하지만 아직 배워야 할 것이 많다는 걸 안다. 그리고 관리에서의 피드백 루프는 고통스럽게 느리다: 나쁜 회의를 진행하고 나서 결정이 고착되지 않을 때 몇 주 뒤에야 깨닫는다. 평범한 인터뷰를 진행하고 세 번의 채용 후에야 패턴을 인식한다. “도움이 되고 싶다”는 이유로 최고의 퍼포머를 마이크로매니지하고, 그들이 탈진하기 시작할 때야 비로소 연결 고리를 찾는다.

최근 우리는 Google Meet으로 전환했고, Gemini가 회의를 자동으로 전사한다(우리가 전사하고 싶은 회의만 전사하여, 메모 대신 토론에 집중할 수 있다). 또한 채용 파이프라인에 새로운 도구를 도입해 인터뷰 전사를 생성한다.

지난 10개월 동안 나는 AI를 모든 것에 활용하려고 스스로를 밀어붙였다—진정한 호기심 때문이기도 하고, 번아웃과 컨텍스트 스위칭을 방어하기 위한 방편이기도 했다(이 시리즈는 그 여정의 결과물이다).

나는 방금 진행한 스크리닝 인터뷰 전사를 Kiro에 입력하고, 내 인터뷰 기술에 대한 솔직한 피드백을 요청했다.

그 결과는 예상 외로 유용했다. “오픈 질문을 하라”는 일반적인 조언이 아니라, 구체적인 타임스탬프와 이유, 그리고 다른 방식으로 해야 할 구체적인 제안이었다:

• “당신의 소개는 3분 넘게 거의 끊임없이 말했습니다. 팀 구조, 제품 로드맵, 진행 중인 프로젝트를 하나의 질문도 하기 전에 설명했죠. 후보자가 말을 시작할 때쯤이면 이미 몇 분 동안 수동 상태였고, 에너지와 즉흥성이 사라졌습니다. 목표: 90초. 이름, 역할, 인터뷰 형식을 말하고 바로 후보자에게 돌려 주세요. 나머지는 대화 중에 자연스럽게 나오게 하면 됩니다.”
• “38:52에 당신은 ‘솔직히 관리형 서비스를 좋아합니다. AWS에 맡길수록 우리가 직접 관리해야 할 일은 적어집니다’라고 자신의 접근 방식을 공유했습니다. 이는 후보자에게 ‘정답’이 무엇인지 암시하는 셈이죠. 후보자가 진심으로 동의했는지, 당신의 선호를 그대로 따라 하는지 알 수 없습니다. 기술적 의견은 게이트 결정 후에만 제시하세요.”
• “22:14에 후보자가 표면적인 답변을 했을 때, 당신은 ‘네, 물론, 전적으로 이해합니다’라며 침묵을 메웠습니다. 이는 탐구하기 전에 검증하는 행동이죠. 침묵은 효과적이었습니다—그들은 곧 더 자세히 설명하려고 했습니다. 다음엔 5초를 세고, 그들이 빈틈을 메우게 하세요.”

하지만 비판만 있던 것은 아니다. 잘 작동한 부분도 강조해 주었다:

• “11:21‑13:47 구간에서 뛰어난 지속적인 탐구가 있었습니다. 후보자가 보안 가드레일을 일반적으로 설명했을 때, 구체적인 예시를 요구했고, 후보자가 제시하지 못하자 다시 구체적으로 재구성해 물었습니다. 후보자가 명확히 ‘제시할 수 없습니다’라고 말할 때까지 진행을 멈추지 않은 점이 정확한 기법이었습니다—두 번 밀어붙이고, 답을 받아들이며, 구출하지 마세요. 전환을 우아하게 관리해 후보자가 인터뷰 내내 솔직함을 유지하도록 했습니다.”
• “15:18에 후보자가 질문을 오해했을 때, 당신은 구체적인 시나리오로 다시 말했습니다. 불만이 보이지 않았습니다.”

이러한 피드백은 시간, 세부 사항에 대한 주의, 직접적인 의사 전달 의지가 있는 동료 관찰자가 제공할 수 있는 수준이다.

Toastmasters에서는 발표 중에 서로 다른 사람들이 움직임, 눈 맞춤, 목소리 톤, 내용 구조, 참여도 등을 관찰하고, 이후에 공개적으로 공유한다. 이는 피드백을 공개적으로 주는 훌륭한 훈련이 된다. 하지만 직장에서 기술 회의나 인터뷰 중에는 이런 일이 거의 일어나지 않는다—동료가 명백히 잘못했을 때만 피드백을 주려는 경우가 대부분이다.

첫 번째 실험 이후, 나는 두 개의 Kiro 스티어링 파일을 만들었다—AI를 특화된 평가자로 전환하는 구조화된 지시문이다.

이 스티어링 파일은 내 인터뷰 접근 방식, 알려진 패턴(소개가 너무 길다, 스스로 질문에 답한다, 침묵을 검증으로 메운다) 그리고 구조화된 평가 프레임워크를 알고 있다.

전사를 입력하면 다음을 출력한다:

• 질문 기법 분석 – 사양 기반, 행동/STAR, 엣지 케이스, 직접, 유도, 자기 답변 질문의 개수를 계산
• 시그널 품질 평가 – 각 주제별로 강한 시그널, 보통 시그널, 오염/무시그널 여부
• 패턴 추적 – 알려진 약점이 개선되고 있는가? 지속되는 패턴은?
• 5 C 추출 – 실제로 Competence(역량), Confidence(자신감), Communication(소통), Character(인성), Culture(문화)를 평가했는가?
• 게이트 결정 품질 – 충분한 기술 시그널을 얻어 go/no‑go 결정을 자신 있게 내렸는가?

모든 Kiro 피드백을 특정 폴더에 보관하고 있기 때문에, 스티어링 파일을 사용해 인터뷰 전반에 걸친 패턴을 추적하고 추세선을 확인할 수 있다.

아래는 스티어링 파일의 핵심 부분이다—단순히 마크다운 형식이다:

---
inclusion: manual
---

# 면접관 평가자

인터뷰 전사가 주어지면 **면접관**을 평가한다. 후보자는 평가 대상이 아니다. 세션 간 패턴을 추적한다.

## 지시사항

- 타임스탬프와 정확한 인용구를 포함한 구체적인 피드백을 제공한다.
- 이전 세션의 알려진 패턴과 비교한다.
- 후보자를 평가하지 않는다.

## 개인 패턴 추적

| 패턴 | 확인 항목 |
|---|---|
| 소개 길이 (목표: <90초)