[Paper] 我们能在执行机器学习代理之前进行预测吗？

Source: arXiv - 2601.05930v1

Source: …

概述

本文解决了自主机器学习代理中的一个根本瓶颈：它们必须在真实世界中执行每一个假设，才能学习该假设是否有效，这使得整个循环既缓慢又成本高昂。通过训练大型语言模型（LLM）预测实验结果（基于已验证的数据分析报告），作者用即时推理取代了许多昂贵的执行，从而在不牺牲准确性的前提下实现了显著的加速。

关键贡献

• 以数据为中心的解决方案偏好形式化： 定义了一项新的预测任务，要求代理在任何实际执行之前选择两个候选解决方案中更好的一个。
• 大规模基准： 整理了 18,438 对成对解决方案比较的语料库，每对都标注了来源于真实执行的真实偏好。
• 预测‑然后‑验证框架（FOREAGENT）： 引入了一个代理循环，首先使用大语言模型（LLM）预测首选方案，然后仅执行排名最高的候选方案进行验证。
• 实证验证： 表明在提供 已验证数据分析报告 的情况下，LLM 能达到 61.5 % 的准确率（远高于随机水平），且置信分数校准良好。
• 性能提升： FOREAGENT 的收敛速度比传统的生成‑执行‑反馈流水线快 约 6 倍，并在最终解决方案质量上比纯执行基线提升 +6 %。

方法论

1. 数据收集与标注

   • 作者收集了一套多样的科学和工程任务，其中代理会提出多个解决方案候选（例如实验方案、算法微调）。
   • 对于每个任务，他们在真实环境中执行这两个候选方案，记录结果，并标记出哪个候选更优，从而生成成对比较数据集。

2. 预测的提示工程

   • 每一次比较都会连同 已验证的数据分析报告（即先前执行所收集数据的简要摘要）一起呈现给 LLM。
   • 提示要求模型预测哪个候选表现更好，返回二元选择及置信度分数。

3. 训练与校准

   • 不需要微调；作者依赖 上下文学习（in‑context learning）并提供少量示例。
   • 他们使用 temperature scaling 和 Platt scaling 将模型的置信度与实际成功率对齐。

4. FOREAGENT 循环

   • 预测： 使用 LLM 对所有生成的候选进行排序。
   • 执行‑验证： 只运行排名最高的候选（若置信度低则运行少量子集）。
   • 反馈： 将新的执行结果纳入数据分析报告，以供下一轮迭代使用。

结果与发现

• LLM 的预测 显著优于随机，并提供可靠的置信度估计，使得代理能够决定何时需要进行验证步骤。
• 通过跳过大部分昂贵的执行，FOREAGENT 将总运行时间降低了约六倍，同时仍能提升最终结果。

实际意义

• 加速科学自动化： 使用机器人平台的实验室可以缩短实验周期，释放资源用于更多探索性工作。
• 成本效益高的 AI 驱动优化： 依赖 A/B 测试或超参数搜索的公司可以用廉价的模型预测取代大量物理实验，从而大幅降低云计算费用。
• 开发者快速原型： 在构建能够建议代码更改、配置调优或设计替代方案的 AI 代理时，预测‑验证循环可以快速筛选出有前景的候选方案，避免昂贵的构建或部署。
• 基于置信度的决策： 经过校准的置信度分数让工程师可以设定风险阈值（例如，仅在置信度低于 80% 时进行验证），从而在速度与安全之间进行权衡。

限制与未来工作

• 领域覆盖： 该基准聚焦于拥有明确量化指标的任务；若扩展到更主观的领域（例如 UI 设计），可能需要更丰富的反馈信号。
• 依赖高质量分析报告： 预测准确性取决于已验证数据分析报告的完整性；噪声或不完整的报告会降低性能。
• 大模型的可扩展性： 虽然上下文学习避免了微调，但大型模型仍然产生不小的推理成本；未来工作可以探索蒸馏模型或专用模型用于边缘部署。
• 迭代学习： 当前循环并未使用新的验证数据更新大模型本身；引入持续学习可能随时间进一步提升预测的忠实度。

作者承诺即将发布代码和数据集，请关注仓库以获取动手实验并将其潜在集成到您自己的自主代理流水线中。

作者

• Jingsheng Zheng
• Jintian Zhang
• Yujie Luo
• Yuren Mao
• Yunjun Gao
• Lun Du
• Huajun Chen
• Ningyu Zhang

论文信息

• arXiv ID: 2601.05930v1
• 分类: cs.CL, cs.AI, cs.LG, cs.MA
• 发布日期: 2026年1月9日
• PDF: 下载 PDF