AI Agents如何从屏幕录制中学习

Source: Dev.to

Introduction

我们正目睹 AI 代理获取能力方式的根本性转变。过去是通过编写代码来定义代理能做什么，而现在我们通过简单的屏幕录制来向它们展示。这彻底改变了自动化的全部概念。

Traditional Automation

数十年来，自动化意味着编写脚本：

• 网页抓取需要解析 HTML
• 表单填写需要识别字段选择器
• 数据提取需要脆弱的 XPath 表达式

每一次 UI 变动都会打破你的自动化，导致维护噩梦。昨天还能运行的脚本，今天可能因为按钮位置移动或 CSS 类名更改而失效。

Example of a recorded script

// Click at coordinates (120, 340)
// Type "username" into field #user-input
// Click button with class .submit-btn

SkillForge Approach

如果 AI 代理能够像人类一样——通过观看和模仿来学习，会怎样？SkillForge 让这成为可能。

1. Record yourself performing any web‑based task.
2. AI extracts the workflow, understanding goals and context.
3. Generate a SKILL.md file describing the capability.
4. Deploy to any compatible agent framework.

AI 不仅仅是记录点击——它理解意图。

SkillForge captures understanding

## Authenticate User
- Locate the login form
- Enter credentials in username/password fields
- Click the primary submit button
- Wait for dashboard to load

当 UI 变化时，第一种方法会失效。第二种则会自适应。

Converging Trends

三大趋势让此时此刻成为最佳时机：

1. AI Vision Models – 对 UI 元素的稳健视觉感知。
2. Semantic Understanding – 把握动作背后的意图。
3. Framework Maturity – 标准化的代理运行时和技能格式。

这些共同促成了一种新方法：代理通过示范而非规格说明来学习。

Use Cases

Customer Support

• 录制退款处理 → 代理自动处理退款。

Sales Operations

• 录制线索资格审查 → 代理 24/7 进行线索资格审查。

Finance

• 录制费用报销提交 → 代理提交报表。

Marketing

• 录制活动分析 → 代理生成每周报告。

每个场景只需一次录制。无需编码。无需维护。只要意图。

Getting Started

• 🔗 Product Hunt – SkillForge
• 🌐 SkillForge website

上传屏幕录制，获取 SKILL.md 文件，并部署到你的代理上。

Conclusion

我们正从：

“编写详细规格”

转向：

“给我看你想要的”

这就是 AI 代理开发的民主化。领域专家可以在没有工程支持的情况下创建能力。知道该做什么 与 让 AI 去做 之间的鸿沟正在消失。

你会教你的代理什么？