[Paper] 动量进一步约束了随机稳定性边缘的Sharpness
最近的研究表明,(stochastic) gradient descent 会自组织到接近不稳定边界的区域,从而塑造了优化过程以及所找到的解。Momentum...
最近的研究表明,(stochastic) gradient descent 会自组织到接近不稳定边界的区域,从而塑造了优化过程以及所找到的解。Momentum...
我们提出 UMI-3D,这是一种多模态扩展的 Universal Manipulation Interface(UMI),用于在具身操作中实现稳健且可扩展的数据收集。虽然 …
On-policy knowledge distillation (OPD) 在其自身的 rollouts 上,在来自 teacher 的 token‑level supervision 下训练 student。并非所有 token 位置的重要性相同……
我们引入 Multistage Conditional Compositional Optimization(MCCO)作为一种在不确定性下进行决策的新范式,它结合了多阶段……
在编程语言中,解析和重写引用是基础工作。受真实的反编译任务的启发,我们将引用重写抽象为 t...
公平性在算法决策中通常在预测空间中定义,其中预测性能——用作决策者(DM)效用的代理……
生成式人工智能的最新进展,尤其是大型语言模型(LLMs),激发了人们对自动化或协助Bu...的日益兴趣。
Diffusion language models 最近作为标准语言模型的主要替代方案出现,原因是它们具备 bidirectional attention 和并行…
软件工程中的情感分析侧重于理解软件制品中表达的情感。先前的研究指出了其局限性。
我们提出了一种新颖的 end-to-end 隐私保护框架,由三个高效的 protocols 实现,适用于不同的部署场景,覆盖了输入和…
露天采矿调度是一个复杂的现实世界优化问题,涉及不确定的经济价值和动态变化的资源容量。Evol...
现代 GPU 工作负载,尤其是大语言模型(LLM)推理,受到 kernel launch 开销和粗粒度同步的限制,这限制了 inter‑kernel 并行性。
Direct Preference Optimization(DPO)的有效性取决于能够反映多模态任务中关键质量差异的偏好数据。存在……
系统日志的爆炸性增长使得流式压缩变得必不可少,然而现有的日志异常检测(LAD)方法会产生严重的预处理开销……
Energy Conserving Descent (ECD) 算法最近由 De Luca 与 Silverstein(2022)提出,作为一种全局非凸优化方法。不同于梯度……
Computed tomography (CT) enterography 是评估炎症性肠病 (IBD) 的主要成像方式,但最佳的表征选择仍有待确定。
AI驱动的教育平台在个性化方面取得了一定进展,但大多数仍受限于静态适应——预定义的测验、统一的进度、……
On-policy distillation (OPD) 已成为大语言模型后训练的核心技术,但其训练动态仍然了解不足。这……
On-policy distillation (OPD) 已经成为大语言模型的一种高效的后训练范式。然而,标准的 OPD 需要实时的教师推理……
Instruction-tuned 大型语言模型产生有帮助、结构化的响应,但当受到微不足道的约束时,这种帮助性有多稳健?我们展示了简…
逻辑漏洞在软件中源于 program logic 的缺陷,而不是 memory safety,这可能导致关键的 security failures。虽然现有的 …
预测 longitudinal data 中的 counterfactual outcomes,尤其是当 sequential treatment decisions 严重依赖于不断演变的 patient states 时,既关键又极具挑战性。
执行准确率(EX),一种广泛用于评估自然语言转SQL(NL2SQL)解决方案有效性的指标,正变得越来越不可靠……
自主 AI 代理正迅速从实验工具转变为运营基础设施,预计 80% 的企业应用将……
在 deep learning 优化中,平衡收敛速度、泛化能力和计算效率仍然是一个核心挑战。First-order gradient…
在深度学习中被引用最多的校准结果——在 CIFAR-100 上的 post-temperature-scaling ECE 为 0.012(Guo et al., 2017)——低于统计噪声的...
传统的固定深度架构通过增加训练 FLOPs 来提升质量,通常通过增加参数化(parameterization),但代价是更高的内存……
二进制反编译是一项关键的逆向工程任务,旨在从已剥离的可执行文件中重建高级源代码。虽然 Large Language Model...
多语言基准指导前沿模型的开发。然而,前沿模型报告的多语言评估结构类似于流行的...
大型语言模型(LLMs)越来越依赖显式推理来解决编码任务,但评估此类推理的质量仍然具有挑战性。Ex...
流式数据驱动优化(SDDO)问题在许多应用中出现,这些应用中数据持续到达,且优化环境随时间演变……
vibe coding 的出现,这是一种范式,非技术用户通过自然语言指示大型语言模型(LLMs)生成可执行代码,预…
我们系统性地测量了七种策略,以在小型本地模型可以作为前置分流层的情况下,减少云端 LLM 的 token 使用量。
我们研究在网络上进行去中心化学习的情形,其中数据分布在各节点上,没有中心协调者。Random walk learning 是一种基于 token 的方法……
深度神经网络尽管具有很高的准确率,但往往表现出置信度校准不足,限制了它们在高风险应用中的可靠性。当前的…
我们提出 (Experience‑Modulated Biologically‑inspired Emergent Reasoning),一种混合认知架构,重新组织大型语言模型之间的关系……
现代机器学习方法已被提出用于检测外星样本中的生命,利用其区分生物性与非生物性样本的能力。
自主离网光伏系统的稳定运行要求依赖遵循大气热力学的太阳能预测算法。Cont...
Tool-augmented Large Language Model (LLM) agents 已经展示了在自动化复杂、多步骤真实世界任务方面的惊人能力,但仍然存在脆弱性……
对 open-play soccer tactics 的建模是一项艰巨的挑战,因为比赛具有 stochastic、multi-agent 的特性。现有的计算方法通常 p...
Kullback-Leibler (KL) divergence 是信息论中的一个基本概念,用于量化两个概率分布之间的差异。在 the co...
通用一阶方法(GFOM)是一类灵活的迭代算法,通过矩阵‑向量乘法和逐元素非线性操作来更新状态向量。
随着高性能计算和 AI 工作负载日益依赖 GPU,保持在快速演进的硬件代际中的高性能……
云原生架构是关于构建和运行可扩展的微服务应用,以充分利用云环境。托管的 Kubernetes …
问题:Intelligence ≠ Empathy 现代 AI 在海量数据集上进行训练,并通过诸如 reinforcement learning from human feedback 等技术进行精炼。Mo...
厌倦了花费数小时手动测量照片、查找材料价格并计算报价吗?对于handyman业务来说,这类后台工作是一个主要的痛点……
在上一篇文章 https://dev.to/rijultp/understanding-transformers-part-4-introduction-to-self-attention-45bg 中,我们探讨了 self‑attention 概念用于 t...
图像分类听起来很容易,直到你记得计算机从不直接看到“对象”。它只看到像素数组。本文解释了这为何使得 k‑NN 成为一种…