[Paper] T3D:通过轨迹自蒸馏与直接判别优化实现少步 Diffusion 语言模型
Diffusion large language models (DLLMs) 有潜力通过并行解码多个 token 来实现快速文本生成。然而,在实践中,它们的 i...
4662 posts from this source
Diffusion large language models (DLLMs) 有潜力通过并行解码多个 token 来实现快速文本生成。然而,在实践中,它们的 i...
通过 symbolic, interpretable formulas 解释观测到的现象是科学的根本目标。最近,large language models (LLMs) 已经出现作为…
我们研究噪声投影到等距群作用的正交方向上的 Langevin dynamics。引入此数学模型是为了提供新的 …
尽管 speech recognition systems 在 standard benchmarks 上实现了低 word error rates,但它们在实际部署中的短小、高风险 utterances 往往会失败。
延迟敏感的语音应用(例如实时转录、语音指令和实时翻译)需要低的 time-to-first-token (TTFT) 和高的 transc...
数据混合——确定来自不同领域的数据比例——是训练语言模型(LMs)的首要关注点。虽然现有的混合方法……
高效的长上下文处理仍然是当代大型语言模型(LLMs)的关键挑战,尤其在资源受限的环境中。因此……
监督微调(SFT)在计算上高效,但相比强化学习(RL)通常会导致较差的泛化能力。这一差距主要是…
当前用于图像生成和编辑的统一多模态模型通常依赖于大规模参数(例如 >10B),导致训练成本高昂……
AI模型在文本推理方面已经取得了state-of-the-art的成果;然而,它们在对空间和关系结构进行推理的能力仍然是一个关键的……
网络攻击的快速演变持续推动未知(zero-day)威胁的出现,对网络入侵检测构成了重大挑战。
高质量的3D纹理生成仍然是一个根本性的挑战,因为当前主流的 multi-view diffusion pipelines 所固有的视角不一致性。...
为大型语言模型(LLMs)提供服务可以通过在多个设备上并行化模型本身和输入请求而获得巨大的收益,但传入的工作负载……
AI coding agents 正日益为软件开发做出贡献,但它们对移动开发的影响却很少得到实证关注。在这…
现代基于容器的微服务通过快速部署周期不断演进,但 CI/CD 流水线仍很少衡量能耗,尽管已有先前的研究……
已知 Performance antipatterns 会降低 microservice-based systems 的响应性,但它们对 energy consumption 的影响仍然大多未被探索。
TLA+ 中的模型检查提供了强大的正确性保证,但从业者在解释 counterexamples 时仍然面临重大挑战,unders...
多智能体系统正日益协调多个专门的语言模型来解决复杂的现实问题,通常在共享的上下文中调用它们……
已经提出了几种基于深度学习(DL)的技术来自动化代码审查。然而,目前尚不清楚这些方法在推荐方面的有效程度……
大型语言模型(LLMs)在自动代码生成方面表现出卓越的能力。虽然在主流语言上效果显著,但在……方面可能表现不佳。
在 binary classification 系统中,decision thresholds 将 model scores 转换为 actions。选择合适的 thresholds 依赖于 t 的具体分布……
在分布式系统中,设计一个同时具备准确性、可用性和可扩展性的 rate limiter 是一个根本性的挑战,主要原因是……
边缘设备的激增迫切需要能够在严格的计算约束下实时检测恶意软件的安全解决方案。
当前对神经系统中记忆的研究方法依赖于基于相似性的检索:给定一个 query,找到最具表征相似性的存储状态。这…
两相流中的界面动力学支配动量、热和质量传递,但在实验上仍然难以测量。传统技术面临……
近期在机器人学习方面的进展引起了人们对能够最终接近人类水平能力的平台的极大兴趣。这种兴趣,c...
在 chain-of-thought 数据上进行 Supervised fine-tuning (SFT) 是推理语言模型的关键后训练步骤。标准的机器学习直觉表明…
欧氏距离在小波散射变换系数(称为路径)之间提供了用于感知质量评估的有信息的梯度……
统一多模态模型(UMMs)在视觉生成方面取得了显著进展。然而,现有基准主要评估结晶智力,……
投影(或降维)方法 P 旨在将高维数据映射到通常的二维散点图,以进行可视化探索。逆投影方法…
表格基础模型,例如 TabPFNv2 和 TabICL,最近在预测基准中取代了梯度提升树,展示了……
在大型语言模型(LLM)开发中,主流范式是先对基础模型进行预训练,然后进行进一步的训练以提升性能和模型……
扩散语言模型通过迭代细化生成文本,这一过程通常计算效率低下,因为许多标记在达到稳定状态后……
我们研究在给定的有限线段以及具有有限正半径的圆上,对 n 台移动机器人群的 min-sum uniform coverage problem,其中……
随着大型多模态模型的快速发展,可靠的judge和critic模型已成为开放式评估和preference alignment的关键。
自动生成 agentic 工作流——可执行的 operator 图或代码,用于编排推理、验证和修复——已成为一种实用的……
误信息检测是一项关键任务,能够显著受益于外部知识的整合,就像人工事实核查一样。在本...
Flow-matching 模型在图像和视频生成方面提供了最先进的保真度,但其固有的顺序去噪过程使其速度较慢。Existin...
基于强化学习(RL)的后训练用于显式链式思考(例如 GRPO)提升了多模态大规模推理模型的推理能力。
大型语言模型(LLMs)中的错位指的是未能同时满足安全、价值和文化维度的要求,导致模型产生偏离预期的行为。
Biometric footstep recognition,基于人们在行走时脚下独特的压力模式,是一个新兴领域,应用正日益增长……
大型语言模型(LLMs)展示了强大的通用推理和语言理解能力,但在受严格形式约束的领域中,它们的性能会下降。
我们提出了 PuriLight,一个轻量且高效的框架,用于自监督单目深度估计,以应对计算效率方面的双重挑战……
多任务策略搜索是一个具有挑战性的问题,因为策略需要在训练案例之外进行泛化。课程学习已被证明是有效的……
最近的研究表明,当 LLMs 被适当地提示和配置时,它们表现出混合的结果。这类结果往往能够达到或超过 baseline...
软件漏洞检测(SVD)是现代系统中的关键挑战。大型语言模型(LLMs)提供自然语言解释以及预…
大型语言模型(LLMs)正日益被集成到软件系统中,催生了一类新系统,称为 LLMware。超越传统……
大型语言模型(LLM)代理在自动化教学系统设计(ISD)方面展现出有希望的潜力,教学系统设计是一种系统化的教育开发方法……