[Paper] MindPilot：闭环视觉刺激优化用于脑调制的 EEG 引导 Diffusion

Source: arXiv - 2602.10552v1

概述

本文提出了 MindPilot，一种开创性的闭环系统，利用非侵入式 EEG 记录来引导生成式图像模型生成能够诱发期望脑部反应的图片。通过将大脑视为黑箱“奖励函数”，MindPilot 在无需显式梯度或侵入式记录的情况下迭代优化视觉刺激，为实用的双向脑机接口（BCI）在视觉认知和情感调节方面打开了大门。

关键贡献

• 首次非侵入式 EEG 引导的图像合成，能够使用自然场景图片，而非仅限于简单的闪烁或侵入性信号。
• 伪模型引导框架，将嘈杂的、不可微分的 EEG 反馈转换为可用于基于扩散的生成模型的优化信号。
• 闭环验证，在模拟环境和真实人类实验中均展示了对目标语义和情感状态的快速收敛。
• 已展示的应用 包括心理匹配（寻找与用户内部概念相匹配的图像）和情绪调节任务（驱动 EEG 平静或唤醒的指标）。
• 开源实现 与可复现的基准，用于未来基于 EEG 的生成研究。

方法论

1. 脑‑奖励黑箱 – 在观看生成图像时记录参与者的 EEG。提取特定 EEG 特征（例如事件相关电位、α/β 波段的谱功率），并将其视为标量“奖励”，表示图像与目标脑状态的匹配程度。
2. 伪模型引导 – 由于 EEG 反馈噪声大且不可微分，作者训练一个轻量级的代理模型（回归网络），从扩散生成器的潜在代码预测奖励。该代理提供类似梯度的优化方向。
3. 迭代闭环循环
   • 生成 使用扩散模型（如 Stable Diffusion）并给定潜在向量的图像。
   • 呈现 将图像展示给参与者并记录 EEG。
   • 提取 目标 EEG 特征并计算奖励。
   • 更新 使用新的（潜在向量，奖励）对来更新代理模型。
   • 优化 使用代理的梯度估计来优化潜在向量，为下一轮产生更精细的图像。
4. 停止准则 – 当奖励趋于平稳或达到预设阈值时循环停止，通常在 5–10 次迭代后。

该方法规避了显式标注或强化学习奖励塑形的需求；反馈直接由大脑提供。

结果与发现

这些结果表明，MindPilot 能够在头皮 EEG 的固有变异性下，可靠地收敛到产生所需神经特征的图像。

实际意义

• 个性化内容生成 – 平台可以根据用户当前的心理状态定制视觉媒体（广告、UI 主题、VR 环境），无需显式调查。
• 神经反馈与心理健康 – 治疗师可以使用 EEG 引导的意象帮助患者以更具参与感、数据驱动的方式实现目标情感状态（例如，降低焦虑）。
• 辅助性脑机接口 – 无法表达偏好的用户（如锁定综合征患者）可以通过引导图像生成向他们内部想象的内容“沟通”。
• 创意工具 – 艺术家和设计师可以利用脑反馈循环探索与潜意识共鸣的全新美学。
• 研究平台 – 提供可重复使用的管线用于研究大脑‑刺激关系，加速认知神经科学和情感计算实验。

限制与未来工作

• EEG噪声与个体差异 – 系统依赖相对干净的记录；运动伪影或低密度帽子会降低性能。
• 特征集有限 – 仅探索了少量EEG标记；更丰富的多模态信号（例如眼动追踪、心率）可能提升鲁棒性。
• 实时优化的可扩展性 – 虽然扩散模型速度快，但代理训练步骤会增加延迟；更高效的引导方式（例如潜空间贝叶斯优化）是一个待探索的方向。
• 跨任务的泛化能力 – 当前演示聚焦于语义匹配和简单情感状态；要扩展到复杂认知任务（例如记忆回忆），需要更深入的特征工程。

未来工作旨在整合更高密度的EEG，探索跨模态反馈，并向社区开放框架，以促进更广泛的脑机接口应用。

作者

• Dongyang Li
• Kunpeng Xie
• Mingyang Wu
• Yiwei Kong
• Jiahua Tang
• Haoyang Qin
• Chen Wei
• Quanying Liu

论文信息

• arXiv ID: 2602.10552v1
• 分类: cs.NE
• 发表时间: 2026年2月11日
• PDF: Download PDF