“ChatGPT for spreadsheets”帮助更快解决困难的工程挑战

Source: MIT News - AI

Source: …

AI‑增强的贝叶斯优化用于工程挑战

许多工程难题归结为同一个头疼的问题——可调节的参数太多，而可测试的机会太少。无论是调节电网还是设计更安全的车辆，每一次评估都可能代价高昂，而且可能有数百个变量会产生影响。

以汽车安全设计为例。工程师必须整合成千上万的部件，许多设计选择都会影响车辆在碰撞中的表现。传统的优化工具在寻找最佳组合时可能会捉襟见肘。

MIT 的研究人员开发了一种新方法，重新思考一种经典方法——贝叶斯优化，如何用于解决拥有数百个变量的问题。在对现实工程风格基准（如电力系统优化）的测试中，该方法找到了比常用方法快 10 到 100 倍的最佳解。

他们的技术利用了在表格数据上训练的基础模型，该模型能够自动识别对提升性能最关键的变量，并重复该过程以不断逼近更好的解。基础模型是通过海量通用数据集训练的巨大人工智能系统，这使得它们能够适应不同的应用场景。

研究中的表格基础模型不需要在求解过程中不断重新训练，从而提升了优化过程的效率。该技术在更复杂的问题上还能实现更大的加速，因此在材料开发或药物发现等高需求领域尤其有用。

“现代 AI 和机器学习模型可以从根本上改变工程师和科学家创建复杂系统的方式。我们提出了一种算法，它不仅能够解决高维问题，而且是可复用的，可应用于许多问题而无需从头开始，” Rosen Yu 说，他是计算科学与工程的研究生，也是这篇论文的第一作者。

Yu 与 Cyril Picard（前 MIT 博士后与研究科学家）以及 Faez Ahmed（机械工程副教授、MIT 计算科学与工程中心核心成员）共同署名了该论文。该研究将在国际学习表征会议（International Conference on Learning Representations）上进行报告。

改进已验证的方法

当科学家们试图解决一个多方面的问题，但评估成功的手段又非常昂贵——比如通过碰撞测试来了解每种设计的优劣——他们常常会使用一种行之有效的方法——贝叶斯优化。这种迭代方法通过构建代理模型来估计下一步该探索什么，同时考虑预测的不确定性，从而找到复杂系统的最佳配置。

然而，代理模型必须在每一次迭代后重新训练，当潜在解的空间非常庞大时，这很快会变得计算上不可行。此外，每当科学家想要处理不同情景时，都需要从头开始构建一个新模型。

为了解决这两个缺点，MIT 的研究人员在贝叶斯优化算法中使用了一种称为 表格基础模型 的生成式 AI 系统作为代理模型。

“表格基础模型就像是电子表格的 ChatGPT。这些模型的输入和输出都是表格数据，而在工程领域，这种数据比语言更常见、更常用，”余说。

就像 ChatGPT、Claude、Gemini 等大型语言模型一样，该模型已经 在海量表格数据上进行预训练。这使得它能够很好地应对各种预测问题。此外，该模型可以 直接部署，无需任何重新训练。

为了让他们的系统在优化时更准确、更高效，研究人员采用了一种技巧，使模型能够识别设计空间中对解影响最大的特征。

“一辆车可能有 300 项设计指标，但如果你的目标是提升某些安全参数，并不是所有指标都是最佳设计的主要驱动因素。我们的算法可以智能地挑选出最关键的特征进行关注，”余说。

该方法通过使用表格基础模型估计哪些变量（或变量组合）对结果影响最大，然后将搜索重点放在这些高影响变量上，而不是浪费时间均等地探索所有变量。例如，如果前部防撞区的尺寸显著增大并且车辆的安全评级提升，那么该特征很可能在提升中发挥了作用。

Source: …

更大的问题，更好的解决方案

他们面临的最大挑战之一是为此任务找到最佳的表格基础模型，余说。随后他们必须以一种方式将其与贝叶斯优化算法相连接，使其能够识别最突出的设计特征。

“寻找最突出的维度是数学和计算机科学中的一个众所周知的问题，但想出一种利用表格基础模型特性的办法却是一个真正的挑战，”余说。

在算法框架搭建完成后，研究人员通过将其方法与五种最先进的优化算法进行比较来测试该方法。

• 在 60 个基准问题 中，包括电网设计和汽车碰撞测试等现实情境，他们的方法始终比其他算法 快 10 到 100 倍，并找到最佳解。

“当优化问题的维度越来越多时，我们的算法真正发挥了优势，”余补充道。

他们的方法 并未 在所有问题上超越基线——例如机器人路径规划——这可能是因为该场景在模型的训练数据中代表性不足，余说。

未来，研究人员希望研究能够提升表格基础模型性能的方法。他们还想将该技术应用于 数千甚至 … 的问题。

“从更高层面来看，这项工作指向了一个更广泛的转变：将基础模型不仅用于感知或语言，而是作为科学和工程工具中的算法引擎，使得贝叶斯优化等经典方法能够扩展到以前不可行的规模，”Ahmed 说。

“本工作中提出的方法，即将预训练基础模型与高维贝叶斯优化相结合，是一种创造性且有前景的方式，能够降低基于仿真的设计对大量数据的需求。总体而言，这项工作是朝着让先进的设计优化更易获取、更易在真实环境中应用的实用且有力的一步，”未参与本研究的西北大学工程设计威尔逊‑库克教授、机械工程系系主任魏陈说。