[Paper] 在多智能体环境中学习可控且多样的玩家行为

Source: arXiv - 2512.10835v1

概览

一种新的强化学习框架让 AI 代理在多人游戏中采用 可控且多样的玩法风格——无需任何人类游戏录像。通过将玩家行为视为连续的“行为空间”中的一点，该方法使开发者能够使用单一训练好的策略，将代理引导至任意期望的攻击性、机动性、合作性等混合风格。

关键贡献

• 行为空间公式化： 将玩家风格定义为 N 维 连续向量，实现极端风格之间的平滑插值（例如，胆小 ↔ 激进）。
• 自监督行为塑形： 在训练期间，代理同时接收其当前行为向量和一个 目标 向量；奖励与代理将两者距离缩小的程度成正比。
• 单策略解决方案： 一个基于 PPO 的多代理策略即可复现 任何 可达风格，免去为每种玩法单独训练模型的需求。
• 无需人类数据： 该方法完全基于模拟游戏进行，规避了昂贵的数据收集流水线。
• 实证验证： 在自定义的 Unity 多人竞技场中，该方法相较仅优化胜率的基线显著提升了行为多样性，并且能够可靠地达到预设的行为目标。

方法论

1. 定义行为向量 b ∈ ℝⁿ（例如，[aggressiveness, mobility, cooperativeness]）。

2. 均匀采样目标向量，从包含真实人类风格子空间的有界区域中抽取。

3. 扩展观测空间： 每个代理同时看到其当前行为统计（由近期动作计算）和采样得到的目标向量。

4. 奖励塑形：

   [ r = \frac{|b_{\text{prev}} - b_{\text{target}}| - |b_{\text{curr}} - b_{\text{target}}|}{|b_{\text{prev}} - b_{\text{target}}|} ]

   当代理向目标风格靠近时给予正奖励，且该奖励与胜负结果无关。

5. 训练： 在多代理环境中使用近端策略优化（PPO），所有代理共享同一网络参数。

6. 推理： 测试时，将任意期望的行为向量输入策略；代理的动作将自然驱动其统计向该向量靠拢。

整个流水线完全自包含：无需外部标签、无需单独的模仿学习阶段，也不需要针对每种风格的微调。

结果与发现

从定性上看，开发者观察到代理可以“即时调节”：只需将防御向量切换为攻击向量，Unity 演示中的 AI 定位和交战模式便会立刻改变。

实际意义

• 自动化游戏测试 – 快速生成具有特定风格的机器人（例如，“高机动狙击手”），用于压力测试关卡设计或平衡性改动。
• 动态难度调整 – 实时根据玩家水平调节 AI 的攻击性，无需重新训练。
• 类人 NPC – 在开放世界中填充具备多样人格的角色，仍遵守游戏规则，提升沉浸感。
• 在线匹配支持 – 用模仿离线玩家风格的机器人替代掉线玩家，保持团队动态。
• 可扩展内容流水线 – 一次训练覆盖整个风格光谱，降低存储和维护多个 AI 模型的成本。

对开发者而言，唯一的额外工作是定义对其游戏重要的行为维度，并将相应统计信息暴露给 RL 代理。

局限性与未来工作

• 行为空间设计 仍需人工完成；维度选择不当会导致风格模糊或不可实现。
• 该方法假设 统计代理（如击杀-死亡比率代表攻击性）能够充分捕捉预期行为，但在更细腻的特质上可能不成立。
• 实验仅在单一 Unity 竞技场中进行；泛化到更大、更复杂的游戏（如 MOBA 或 FPS 地图）尚未验证。
• 未来研究可探索 层次化行为向量、自动发现有意义维度，以及结合人类在环微调以实现更丰富的个性。

作者

• Atahan Cilan
• Atay Özgövde

论文信息

• arXiv ID: 2512.10835v1
• 分类: cs.LG
• 发布日期: 2025 年 12 月 11 日
• PDF: Download PDF