LLMs 在用户先定义验收标准时表现最佳
Source: Dev.to
为什么接受标准对 LLM 项目很重要
曾经有没有过这样的时刻：你正准备投入一个新技术项目，却在心里想，“我到底想实现什么？” 我也有过这种经历。在探索大型语言模型（LLM）时，有一点始终在提醒我：先明确接受标准，它们能让模型表现最佳。这就像在没有地图的情况下在城市里导航——你可能会到达某个地方，但很可能不是你想去的目的地。
GPS 类比
为 AI 项目定义成功的样子会极大影响最终结果。那些从第一天起就对成功指标有清晰愿景的团队，往往会看到项目“顺利启动”，而其他团队则可能偏离轨道。把接受标准想象成项目的 GPS；没有它，你只是在四处徘徊。
个人故事：从混乱到清晰
我曾经在没有设定明确目标的情况下投入到一个生成式 AI 项目中。我的目标是创建一个能够进行真实对话的聊天机器人。经过无数小时的工作后，我意识到机器人虽然能说出机智的单句，却常常偏离到荒谬的内容。
直到我坐下来并定义具体标准——例如至少保持三轮交流的上下文——项目才真正展现出希望。
详细示例
- 目标： 使用 OpenAI 的 GPT‑3 构建客户支持聊天机器人。
- 验收标准：
- 正确处理 ≥ 80 % 的用户查询。
- 保持友好的语气。
- 在不跑题的前提下解决查询。
在设定这些标准后，我结合了 few‑shot prompting 和 reinforcement learning from human feedback (RLHF)。通过不断依据标准进行测试，我得以迭代提升性能。
# Sample function to interact with the OpenAI API
from openai import OpenAI
def get_response(prompt: str) -> str:
response = OpenAI.Completion.create(
engine="text-davinci-003",
prompt=prompt,
max_tokens=150,
n=1,
stop=None,
temperature=0.7,
)
return response.choices[0].text.strip()
# Example usage
user_query = "How can I track my order?"
bot_response = get_response(user_query)
print(f"Bot: {bot_response}")每当机器人未能满足某项标准时，我就会调整提示词或添加更多训练数据。过程很艰苦，但最终成功实现这些响应的满足感值得付出。
平衡灵活性与严谨性
您的准则应当是 灵活但立足于现实。我曾见到团队变得过于僵化，结果陷入挑剔细节的比赛，而不是高效的工作流。把握好这种平衡至关重要。
- 将验收准则视为一个 活文档，随项目演进而不断更新。
- 让准则随模型的学习而成长——就像孩子学走路一样。
边缘案例意识
在一次情感分析项目中，我设定了很高的准确率目标，却忽视了细微的语言（讽刺、反讽）。模型无法区分讽刺和真诚的赞扬，导致结果令人失望。经验教训是：验收准则必须考虑边缘案例。
Practical Tips for Drafting Acceptance Criteria
- 在编写任何代码之前先写好接受标准。
- 使用可视化工具（例如 Figma、Miro）来绘制。
- 将团队成员纳入讨论——多元视角能丰富标准。
- 包含 伦理考量（公平性、透明度），尤其是针对大型语言模型（LLMs）。
展望未来
大型语言模型正处于变得更加情境化和自适应的临界点。能力越大，责任越大——定义包含公平性和透明度的接受标准将至关重要。
让我们联系
如果你喜欢这篇文章，让我们继续交流！
- LinkedIn: 在 LinkedIn 上与我联系
- GitHub: 查看我的 GitHub 项目
- YouTube: 和我一起掌握 DSA！– 数据结构与算法教程 🚀
- Portfolio: 访问我的作品集
LeetCode 练习
我每天解答 LeetCode 题目，并在我的 GitHub 仓库分享解答，涵盖：
- Blind 75 题目
- NeetCode 150 题目
- Striver’s 450 题目
如果你也每天刷 LeetCode 题目，欢迎一起贡献。如果你在某题上卡住了，咱们一起协作。
🚀 让我们一起学习成长！
欢迎查看我的解答并加入我们的旅程。
LeetCode 题解
LeetCode 个人资料
📚 喜爱阅读？
如果你是书籍爱好者，我写了一部你可能会喜欢的奇幻小说系列：
《Manas传奇：远古之谜》 – 一部将印度神话与现代冒险融合的史诗三部曲。
- 不死战士、古老秘密，以及跨越千年的探险。
- 讲述 Manas，一个命运与 《摩诃婆罗多》 相连的年轻人。他踏上恢复神圣的萨拉斯瓦蒂河并对抗威胁世界的黑暗力量的旅程。
你可以在 Amazon Kindle（亦可通过 Kindle Unlimited）上找到该系列：
Buy on Amazon Kindle
感谢阅读！如有任何问题或想讨论技术、书籍或其他话题，欢迎随时联系。