· ai
[Paper] 构造性电路放大：通过针对性子网络更新提升LLMs的数学推理
先前研究调查大型语言模型（LLMs）的内部工作原理时，发现了稀疏子网络，通常称为 circuits，负责执行……
-
- · ai
[Paper] 探索 vs. 利用：通过 Clipping、Entropy 和 虚假奖励 重新思考 RLVR
本文研究了在可验证奖励（RLVR）强化学习框架中探索‑利用的权衡，这一框架用于提升推理的……
- · ai
[Paper] 后置水印在语言模型改写中的效果如何？
生成时文本水印将统计信号嵌入文本，以实现对 AI 生成内容的可追溯性。我们探索 *post-hoc watermarking*，其中 LLM…
- · ai
[Paper] 上下文代数
我们研究当 transformer 被训练用于在序列上求解算术时出现的机制，这些序列中的 token 是其含义由…决定的变量。
- · ai
[Paper] 新闻 AI 的历史训练数据中种族偏见的影响
AI 技术已迅速进入涉及大规模文本语料库的商业和研究应用领域，包括 computational journalism 研究和新闻……
- · ai
[Paper] Multimodal RewardBench 2：评估用于交错文本和图像的 Omni Reward Models
奖励模型（RMs）对于训练大型语言模型（LLMs）至关重要，但在处理交错图像和文本序列的 omni models 方面仍未得到充分研究。
- · ai
[Paper] AdaSearch：在大语言模型中通过强化学习平衡参数化知识与搜索
通过强化学习（RL）为大型语言模型（LLMs）配备搜索引擎已成为构建搜索代理的有效方法。Howe...
- · ai
[Paper] LLMCache：层级式缓存策略以加速 Transformer 推理中的复用
基于Transformer的语言模型在广泛任务上取得了显著的性能，但其高推理延迟带来了显著的挑战……
- · ai
[Paper] 韵律和文本传达了什么？刻画有意义信息在多个通道中的分布方式
Prosody——语言的旋律——传递关键信息，这些信息常常未被词语或文本捕获。在本文中，我们提出了一种信息‑...
- · ai
[Paper] 主题建模 黑箱优化
在潜在狄利克雷分配（LDA）中选择主题数 T 是一个关键的设计决策，它会强烈影响统计拟合度和可解释性……
- · ai
[Paper] 预测概念解码器：训练可扩展的端到端可解释性助手
解释神经网络的内部激活可以提供更忠实的行为解释，但由于其复杂结构，这一过程十分困难……
- · ai
[Paper] Activation Oracles：训练与评估 LLM 作为通用激活解释器
大型语言模型（LLM）激活一直以来都极其难以理解，大多数现有技术都使用复杂、专门的方法来解释……