나는 AI code review tool을 검증하기 위해 48시간을 스스로에게 주었다. 내가 만든 방법은 이렇다.

Source: Dev.to

Idea

간단한 질문을 시험해보고 싶었습니다: 열어 놓은 모든 풀 리퀘스트에 즉시 AI 코드 리뷰가 달린다면 어떨까요?
인간 리뷰어를 대체하는 것이 아니라—동료가 검토하기 전에 눈에 띄는 문제들을 잡아내는 첫 번째 단계입니다.

Build in 48 Hours

저는 48시간 안에 이를 만들고, 배포하고, 실제로 누군가에게 유용한지 확인해 보기로 했습니다.

How It Works

CodeReview.ai는 GitHub App입니다. 레포지토리에 설치한 뒤 PR이 열릴 때마다 다음을 수행합니다:

1. GitHub으로부터 웹훅을 받습니다.
2. GitHub API를 통해 diff를 가져옵니다.
3. GPT‑3.5‑turbo에 코드 리뷰 프롬프트와 함께 diff를 보냅니다.
4. 몇 초 안에 PR 코멘트로 리뷰를 게시합니다.

그게 전부—대시보드도, 설정 파일도, 요금제도 없습니다. 설치하고 바로 사용하세요.

Tech Stack

• TypeScript – 엔드‑투‑엔드 코드.
• Vercel serverless functions – 웹훅 핸들러.
• Octokit – GitHub API 호출.
• OpenAI API (GPT‑3.5‑turbo) – 리뷰 생성.
• PostHog – 설치 및 사용량 추적.
• Static HTML + Tailwind – 랜딩 페이지.

전체 시스템은 두 개의 API 라우트로 구성됩니다: 하나는 GitHub 웹훅용, 다른 하나는 대기자 명단(sign‑up)용.

Success Metrics

계속 진행할지 결정하기 위해 네 가지 지표를 설정했습니다:

4개 중 3개를 달성하면 개발을 이어가고, 그렇지 않으면 중단합니다.

Limitations

• Diff는 8,000자로 잘라서 처리합니다; 큰 PR은 전체를 커버하지 못합니다.
• GPT‑3.5‑turbo는 빠르고 저렴하지만 GPT‑4만큼 날카롭지는 않으며, 리뷰 깊이에 한계가 있습니다.
• 설치당 하루 50개 리뷰로 제한해 OpenAI 비용을 관리합니다(저는 1인 개발자입니다).

Try It Out

• Landing page:
• Install the GitHub App:

설치 후 도움이 되기보다 불편하다고 느끼시면 언제든지 알려 주세요. 이번 스프린트의 핵심은 바로 그 점을 확인하는 것입니다.