두 AI에게 내 robots.txt를 검토하게 했더니 — SEO와 과도한 최적화에 대해 배운 점

Source: Dev.to

The Setup

저는 현재 SemesterExam.com을 만들고 있습니다. 이 플랫폼은 학기별 공학 노트를 제공하죠.

배포 전에 robots.txt를 최종 확정했습니다:

• 개인 라우트 차단 (/api, /admin, /auth)
• 추적 파라미터 차단 (utm, fbclid 등)
• Googlebot-Image 허용
• AI 크롤러 차단
• 올바른 사이트맵 참조 추가

모든 것이 프로덕션 준비가 된 것처럼 보였지만, 두 AI에게 검토를 요청했습니다.

What Claude Said

“This is superior. Production‑ready. No changes needed.”

자신감 넘치고, 직접적이며, 명확했습니다.

What ChatGPT Said

“It’s good. But those extra rules don’t boost SEO. They just improve clarity.”

좀 더 미묘하고, 약간 비판적이면서도 여전히 긍정적이었습니다.

Who Was Right?

두 사람 모두 맞았습니다. 그리고 그때부터 이야기가 흥미로워졌습니다.

The Technical Reality

• 별도의 Googlebot 규칙이 순위에 마법처럼 영향을 주지는 않습니다.
• User-agent: * 가 이미 무언가를 허용하고 있다면, 구글은 그것을 따릅니다.
• 봇‑특화 차단은 명확성을 높일 뿐, SEO 파워를 높이지는 않습니다.
• 깔끔한 구조 ≠ 더 나은 성능.

즉, 제 설정은 프로덕션에 적합했지만 “우수하다”고 말할 수는 없었습니다. 단지 잘 구조화돼 있었을 뿐이며, 그 차이가 중요합니다.

The Bigger Lesson

대부분의 개발자는 여기서 멈춥니다:

“AI가 좋다고 했어.”

진정한 엔지니어링은 여기서 시작합니다:

“왜 좋은 거지?”

AI 검증은 유용합니다. AI 확인은 강력합니다. 다음 사이의 차이를 이해해야 합니다:

• 안심을 구함
• 이해를 구함

그 15분짜리 robots.txt 논쟁은 수시간에 걸친 수동 SEO 튜토리얼보다 더 많은 것을 가르쳐 주었습니다.

Why This Matters for Developers

2026년 현재, AI는 다음을 할 수 있습니다:

• 코드 검토
• 최적화 제안
• 개선점 탐지

하지만 동시에:

• 혜택을 과장
• “우수함” 같은 강한 표현 사용
• 실제보다 더 큰 영향을 주는 듯 보이게 함

이를 질문하지 않으면, AI의 자신감은 그대로 물려받게 되고, 그 논리는 물려받지 못합니다.

Final Thought

공개적으로 작업하면서 천천히 검증하는 습관을 갖게 되었습니다. 때때로 최고의 최적화는 규칙을 더 추가하는 것이 아니라, 이미 가진 규칙을 이해하는 데 있습니다.

What’s a time you caught AI — or yourself — overstating something?