[Paper] Proto-ML：用于 ML 解决方案原型设计的 IDE

Source: arXiv - 2602.21734v1

概述

本文介绍了 Proto‑ML，一个专为机器学习（ML）原型开发而构建的集成开发环境（IDE），它能够简化整个原型生命周期。通过将实现、分析和知识管理工具相结合，Proto‑ML 解决了工作流碎片化、利益相关者可视性差以及可复用工件丢失等长期痛点。

关键贡献

• 统一的 IDE 架构 由三个可互换的扩展包组成（实现、分析、知识管理）。
• 结构化文档模型 捕获设计决策、评估标准以及利益相关者反馈，直接与代码并列。
• 跨项目知识复用 机制（模板库、可搜索的来源记录），让团队能够使用已验证的组件快速启动新原型。
• 以利益相关者为中心的评估 功能，将质量指标和需求检查清单呈现给非技术贡献者。
• 初步可用性研究 显示原型开发速度和感知透明度都有可衡量的提升。

方法论

作者将 Proto‑ML 构建为一套主流 IDE（如 VS Code）的插件。每个插件都会添加一个轻量级的 UI 面板：

1. 原型实现捆绑包 – 标准代码编辑器，加上用于常见机器学习任务（数据加载、模型定义、训练循环）的脚手架生成器。
2. 分析捆绑包 – 集成自动化检查（例如数据漂移检测、模型性能仪表板），并允许用户定义自定义质量标准。
3. 知识管理捆绑包 – 在项目范围的知识图谱中记录工件（数据集、超参数、评估报告）；支持标签、版本控制以及跨项目搜索。

团队在一小批数据科学家和领域专家（约 8 名参与者）中评估了该系统，参与者使用 Proto‑ML 构建了情感分析原型。他们测量了任务完成时间、创建的文档工件数量，并通过问卷收集了定性反馈。

结果与发现

• 30 % reduction 在平均时间上相比使用独立工具的基线工作流，缩短至达到“first viable prototype”。
• 参与者产出 twice as many documented evaluation checkpoints，表明可追溯性更丰富。
• 85 % of users 报告称 knowledge‑management view 帮助他们定位本来会重新构建的可复用组件。
• 利益相关者（非技术产品负责人）感到 more included，并引用 visual quality‑criteria dashboard 作为通向技术工作的桥梁。

实际意义

• 更快的迭代周期：开发团队可以在不切换笔记本、CLI 脚本和外部仪表板的情况下快速创建并评估原型。
• 降低重复工作：组织可以构建一个持续更新的经过验证的预处理流水线、模型架构和评估脚本目录，新项目能够即时导入。
• 更好的治理与合规：内置的文档和来源追踪简化了受监管领域（金融、医疗）的审计追踪。
• 跨职能协作：产品经理、UX 设计师和数据工程师都可以查看并评论同一套工件，提前统一预期。
• 工具无关的可扩展性：由于这些捆绑包是插件，团队可以在现有技术栈（Jupyter、PyCharm 等）旁边使用 Proto‑ML，而不必被迫迁移到单一平台。

限制与未来工作

• 小规模用户研究：评估仅涉及有限数量的参与者和单一使用案例，因此更广泛的可推广性尚未得到验证。
• 集成深度：当前原型对某些外部服务（例如基于云的数据存储）仍需手动配置，这可能阻碍在大规模流水线中的采用。
• 知识图谱的可扩展性：随着工件库的增长，搜索和检索性能可能下降；作者计划探索更稳健的索引策略。
• 扩展利益相关者功能：未来工作包括更丰富的基于角色的访问控制以及为非技术受众自动生成技术工件摘要。

Proto‑ML 提供了一个有前景的步骤，使机器学习原型设计成为一项一流的协作活动——将常常混乱、孤立的过程转变为可重复、透明的工作流，开发者和产品团队都可以信赖。

作者

• Selin Coban
• Miguel Perez
• Horst Lichter

论文信息

• arXiv ID: 2602.21734v1
• 分类: cs.SE
• 出版日期: 2026年2月25日
• PDF: 下载 PDF