[Paper] MT-PingEval：评估多轮协作中的私有信息游戏

Source: arXiv - 2602.24188v1

概述

本文介绍了 MT‑PingEval，这是一种新框架，用于测试大型语言模型（LLMs）在每位参与者持有私人信息的情况下，多轮对话协作的效果。通过将评估转化为一系列“私人信息游戏”，作者能够衡量模型是否真的 利用 对话来规划、共享并比一次性摘要基线更高效地行动。

关键贡献

• 可扩展的多轮评估套件：一组协作游戏，模拟现实场景，要求代理在达成共同决策前交换隐藏信息。
• 交互式 token 预算分析：在不同回合数之间分配相同的总 token 数量，使研究者能够观察对话长度变化对 token 效率的影响。
• 跨多种最先进 LLM 的实证基准（例如 GPT‑4、Claude、Llama‑2），揭示交互式与非交互式性能之间始终存在的差距。
• 语言诊断：系统性探查对话特征，如阿谀奉承、信息密度和话语连贯性，以解释模型为何表现不佳。
• 开源发布：MT‑PingEval 代码、游戏定义和评估脚本已公开，便于可重复性研究和社区扩展。

方法论

1. Game Design – 每个游戏为两个代理定义一个隐藏的“私有”状态（例如，地图位置、秘密数字或一组约束条件）。目标是让代理协作并给出正确的联合答案。
2. Turn‑Based Interaction – 代理在可配置的回合数内交换信息。对话结束后，会进行最后一次“行动”回合，由一个代理根据共享信息作出决策。
3. Token Budgeting – 将固定的令牌预算（例如 500 个令牌）分配到各对话回合中。这迫使模型在简洁性和完整性之间取得平衡。
4. Baseline Comparison – 非交互式基线让“信息持有者”将其私有数据压缩为单一摘要，供合作伙伴即时使用。
5. Metrics – 记录成功率（正确答案）、令牌效率（每个令牌的成功率）以及语言得分（连贯性、冗余性、阿谀奉承）。
6. Model Variants – 作者测试零样本提示、少样本示例以及链式思考风格的提示，以观察哪些提示技巧有效。

结果与发现

• 交互式表现不如基线 – 在所有测试的 LLM 中，多轮版本很少超过一次性摘要，即使使用相同的总 token 预算。
• 仍有提升空间 – 人类参与者在使用更少的 token 时成功率提升约 30%，表明该任务对 LLM 并非本质上不可完成。
• 连贯性很重要 – 保持清晰话语结构（主题连续性、明确引用）的对话与更高成功率强相关。
• 阿谀奉承是一把双刃剑 – 模型常产生过于迎合的回复，重复对方的陈述而未提供新信息，降低 token 效率。
• 提示略有帮助 – 少量示例和思考链提示可将信息密度提升约 5–7%，但仍未缩小与人类表现的差距。

实际影响

• 基于聊天的助手 – 当前的助手（客服机器人、协作编码伙伴）可能因未能高效提炼私有上下文而浪费带宽。MT‑PingEval 强调需要更好的规划模块，在决定 说什么 之前先决定 如何 说。
• 多代理系统 – 在机器人或分布式 AI 中，代理经常需要协商隐藏的约束。该基准表明，若没有明确的对话管理策略，朴素的 LLM 驱动协作将会脆弱。
• Token 成本优化 – 对于按 token 付费的开发者（例如 OpenAI API），研究结果警示，冗长的来回对话可能比精心编写的单一摘要更昂贵。
• 提示工程 – 诊断工具（连贯性评分、阿谀检测）可以整合到自动化提示调优流水线中，以提升协作行为。
• 评估标准 – MT‑PingEval 提供了一种可复现、面向任务的替代方案，取代静态 QA 基准，鼓励社区衡量 交互式 智能，而不仅仅是单轮准确率。

限制与未来工作

• 游戏范围 – 当前套件侧重于相对抽象的谜题；扩展到特定领域任务（例如，医疗分诊、软件调试）将使模型在更真实的约束条件下接受检验。
• 模型规模偏差 – 更大的模型往往生成更流畅的对话，但不一定更具信息量；本研究未在所测试的模型族之外单独考察规模效应。
• 人机交互 – 所有评估均为全自动；引入真实用户可能揭示额外的失败模式，如误解或语用细微差别。
• 规划机制 – 作者指出，整合显式规划或记忆模块（例如检索增强生成）可能弥合交互鸿沟，这是后续研究的有前景方向。

MT‑PingEval 为实现真正协作而非仅回答的语言模型开辟了明确道路。随着开发者开始构建多代理应用，关注这些交互基准将是交付高效、可信 AI 合作伙伴的关键。

作者

• Jacob Eisenstein
• Fantine Huot
• Adam Fisch
• Jonathan Berant
• Mirella Lapata

Paper Information

• arXiv ID: 2602.24188v1
• Categories: cs.CL, cs.LG
• Published: 2026年2月27日
• PDF: 下载 PDF