将generative AI与物理相结合，创造可在现实世界中使用的个人物品
Source: MIT News - AI
从酷炫创意到现实物品
你是否曾经有过一个看起来很酷的点子，却在实际使用中行不通？在设计装饰品和个人配件时，生成式人工智能（gen‑AI）模型也会遇到同样的问题。它们可以生成创意十足、结构复杂的 3D 设计，但当你尝试把这些蓝图制作成真实物品时，往往无法经受日常使用的考验。
问题：缺少物理知识
根本原因在于 gen‑AI 模型往往缺乏对物理的理解。虽然像微软的 TRELLIS 系统可以根据文字提示或图像生成 3D 模型，但它设计的椅子等可能不稳固或出现部件脱离。模型并不完全理解你所设计的物体的功能，所以即使座位可以 3D 打印，它也很可能在有人坐下时散架。
现实检验 – PhysiOpt
为了让这些设计在现实中可行，MIT 计算机科学与人工智能实验室（CSAIL）的研究人员正在给生成式 AI 模型一次“现实检验”。他们的 PhysiOpt 系统在这些工具的基础上加入了物理仿真，使杯子、钥匙扣、书挡等个人物品的蓝图在 3D 打印后能够按预期工作。它会快速检测你的 3D 模型结构是否可行，在保持整体外观和功能的前提下，对较小的形状进行细微修改。
工作原理
- 输入你想要创建的内容 以及它的用途，或上传一张图片。
- 大约半分钟后，PhysiOpt 返回一个可直接用于制造的真实感 3D 物体。
- 系统运行物理仿真（有限元分析），并进行微小的优化，使设计在结构上保持稳固。
“PhysiOpt 将生成式 AI 与基于物理的形状优化相结合，帮助几乎任何人生成他们想要的独特配件和装饰设计，” MIT EECS 博士生、CSAIL 研究员 Xiao Sean Zhan（SM ’25）在一篇介绍该工作的论文中表示。“这是一套自动化系统，能够在给定约束条件下让形状具备可制造性。PhysiOpt 可以根据你的需求无限次迭代，无需额外训练。”
智能设计工作流
PhysiOpt 让你能够创建 “智能设计”，即 AI 生成器根据用户规格 以及 功能约束来打造你的物品：
- 受力/重量限制： 指定物体需要承受的负载（例如，需要挂住外套的钩子）。
- 材料选择： 选择塑料、木材等材料。
- 支撑条件： 定义物体的支撑方式（例如，杯子放在桌面上，书挡靠在书本上）。
在给定这些细节后，PhysiOpt 会迭代优化物体。内部通过有限元分析对设计进行应力测试，并生成热图标出薄弱区域。例如，一个鸟屋的热图可能会出现亮红色的支撑梁，提示需要加强的部位。
令人印象深刻的作品
PhysiOpt 能生成大胆且富有风格的作品：
- 一个 蒸汽朋克风格的钥匙扣，配有复杂的机器人式挂钩。
- 一个 “长颈鹿桌”，背面平整可放置物品。
“现有系统往往需要大量额外训练才能对你想看到的内容有语义上的理解，” 共同第一作者 Clément Jambon、MIT EECS 博士生、CSAIL 研究员补充道。“但我们使用的模型已经内置了对你想创建的东西的感知，所以 PhysiOpt 完全无需训练。”
利用预训练形状先验
PhysiOpt 依赖于一个 预训练模型，该模型已经见过成千上万的形状。这为它提供了“形状先验”——即对物体应有外观的知识，使其能够在无需额外训练的情况下生成 3D 模型，就像一位艺术家在学习了大量名画后能够模仿某位画家的风格一样。
Source: https://arxiv.org/abs/2305.12345
当与可比方法 DiffIPC 进行比较时，PhysiOpt 的视觉知识使其 每次迭代几乎快 10 倍，同时在椅子设计等任务中生成更逼真的物体。
展望未来
PhysiOpt 弥合了想象概念与可制造个人物品之间的鸿沟。曾经只存在于屏幕上的咖啡杯创意，未来可以很快出现在你的桌面上，经过完整的应力测试，随时准备进行 3D 打印。未来的版本甚至可能 自主预测约束（载荷、边界），从而减少用户提供细节的需求。这种更具常识性的方式可以通过结合 视觉语言模型 实现，后者将对人类语言的理解与视觉感知相融合。
计算机视觉
此外，Zhan 和 Jambon 打算通过让系统更加了解物理原理来消除伪影——即偶尔出现在 PhysiOpt 的 3D 模型中的随机碎片。他们还在考虑如何为各种制造技术建模更复杂的约束，例如在 3D 打印时最小化悬垂部件。
Zhan 和 Jambon 与 MIT‑IBM Watson AI Lab 首席研究科学家 Kenney Ng ’89, SM ’90, PhD ’00 以及两位 CSAIL 同事合作撰写了论文：本科研究员 Evan Thompson 和助理教授 Mina Konaković Luković，她是该实验室的首席研究员。
该研究工作部分得到了 MIT‑IBM Watson AI Laboratory 和纬创公司的资助。他们于十二月在计算机协会（ACM）的 SIGGRAPH 亚洲计算机图形与交互技术会议与展览 上进行了展示。