我让两个 AI 检查我的 robots.txt —— 它们教会我关于 SEO 与过度优化的内容

Source: Dev.to

设置

我正在构建 SemesterExam.com，一个提供按学期划分的工程笔记的平台。

在部署之前，我完成了 robots.txt 的编写：

• 阻止私有路径（/api、/admin、/auth）
• 防止爬取跟踪参数（utm、fbclid 等）
• 允许 Googlebot-Image
• 阻止 AI 爬虫
• 添加了正确的站点地图引用

一切看起来已经可以投入生产，但我让两个 AI 来审查它。

Claude 的评价

“这很出色。已准备好投产。无需更改。”

自信、直接、清晰。

ChatGPT 的评价

“还不错。但这些额外的规则并不会提升 SEO，只是提高了可读性。”

更为细致，稍带批评，仍然是正面的评价。

谁是对的？

两者都是对的。这正是有趣之处。

技术现实

• 单独的 Googlebot 规则并不会神奇地提升排名。
• 如果 User-agent: * 已经允许某项内容，Google 会遵循它。
• 额外的针对特定爬虫的阻止规则提升了可读性，而非 SEO 效果。
• 干净的结构 ≠ 更好的性能。

换句话说，我的配置已经可以投入生产，但它并不是“卓越”。它只是结构良好，而这一区别是重要的。

更大的教训

大多数开发者停留在：

“AI 说它不错。”

真正的工程思考从这里开始：

“它为什么好？”

AI 验证是有用的，AI 验证（verification）更具力量。两者之间的区别在于：

• 寻求安慰
• 寻求理解

那场 15 分钟的 robots.txt 争论教会我的，远胜于数小时的被动 SEO 教程。

为什么这对开发者很重要

在 2026 年，AI 可以：

• 审查代码
• 提出优化建议
• 检测改进点

但它也可能：

• 夸大收益
• 使用诸如 “卓越” 之类的强势语言
• 让某件事听起来比实际更有冲击力

如果你不去质疑它，你继承的只是它的自信——而不是它的推理。

最后思考

公开构建迫使我放慢脚步，认真验证每件事。有时最好的优化不是添加更多规则，而是理解已有的规则。

你有没有遇到过 AI（或自己）夸大了某件事的时刻？