· ai
[Paper] 词语破碎，性能受损：分词对LLMs性能的影响
Tokenization 是训练任何 Large Language Model (LLM) 的第一步，在此步骤中，文本会根据模型的固定 vocabulary 被拆分成一系列 token。
-
- · ai
【论文】SWE‑RM：针对软件工程代理的无执行反馈
基于执行的反馈（如单元测试）在通过测试时缩放（TTS）和强化学习（RL）开发编码代理时被广泛使用。T...
- · ai
[Paper] 在验证中使用稀疏计算加速投机解码
Speculative decoding 通过并行验证多个 draft token 加速 autoregressive language model 的推理。然而，verification stage 往往会出现 …
- · ai
[Paper] 可解释的法规预测：基于注意力模型和 LLM Prompting
在本文中，我们探讨自动法规预测的问题，即对于给定的案件描述，预测一组相关法规的子集。Her...
- · ai
[2025指南] AI驱动的广告解决方案用于营销自动化
Creative Fatigue – 2025年广告表现的沉默杀手 当 manual editors 每周只能输出 3 个视频时，top‑performance marketers 正在生成…
- · ai
机器学习“降临节日历”第24天：Excel 中的文本 Transformers
对 Transformers 如何使用自注意力将静态词嵌入转化为上下文表示进行直观、一步步的讲解，并通过简单的例子进行说明。
- · ai
[Paper] 通过量化不确定性优化 Masked Diffusion Models 中的解码路径
Masked Diffusion Models（MDMs）提供灵活的非自回归生成，但这种自由带来了一个挑战：最终输出质量对……高度敏感。
- · ai
[Paper] C2LLM 技术报告：通过自适应交叉注意力池化实现代码检索的新前沿
我们提出 C2LLM——Contrastive Code Large Language Models，这是一个包含 0.5B 和 7B 规模的代码嵌入模型系列。基于 Qwen-2.5-Coder 骨干，...
- · ai
[Paper] 你的推理基准可能并未测试推理：揭示抽象推理基准中的感知瓶颈
像抽象与推理语料库（ARC）和 ARC-AGI 这样的推理基准被广泛用于评估人工智能的进展，并且常常 ...
- · ai
[Paper] 测量 LLM 评估中的所有噪声
从噪声中分离信号是实验科学的核心。将成熟的统计方法有效地应用于 LLM evals 需要考虑……
- · ai
[论文] 并行标记预测语言模型
我们提出了并行令牌预测（Parallel Token Prediction，PTP），这是一种用于语言模型中并行序列生成的通用框架。PTP 联合预测多个相互依赖的 t...
- · ai
[Paper] SMART SLM：结构化记忆与推理Transformer，小型语言模型用于精准文档辅助
Engineering Manuals（EM）的用户发现阅读 EM 很困难，因为它们篇幅很长，格式密集，包含书面文档、逐步 …