arXiv

现代机器学习（ML）训练和推理现在跨越数十到数万块 GPU，在此过程中，网络故障由于恢复缓慢会浪费 10%–15% 的 GPU 小时。常见的 ne...

本研究提出了一个概念框架和针对基于大型语言模型（LLM）的建筑能源管理系统（BEMS）AI 代理的原型评估，以……

检索增强生成（RAG）对所选上下文的质量高度敏感，但标准的 top‑k 检索往往返回冗余或近似重复的…

判别式分类方法常常学习到在分布内有效的捷径，但在轻微的分布转移下就会失效。这种失效模式源于...

Transformer 语言模型通过将语言建模为一系列 token 来生成惊人自然的文本。然而，仅仅依赖表层共现……

二元选择，通常用于人类反馈强化学习（RLHF），仅传达偏好的方向。一个人可能会选择苹果而不是……

本文的目标是为深度梯度流方法（DGFMs）在求解（高维…）中的应用提供坚实的数学基础。

在过去的几年里，memes 已经从仅仅是幽默交流的媒介演变为一种让用户能够自由表达各种情感的方式，……

扩散语言模型（DLMs）已成为一种有前景的替代自回归模型的方案，可通过并行标记生成实现更快的推理。我们提供...

我们提出了 FoundationSLAM，一个基于学习的单目稠密 SLAM 系统，旨在解决先前基于光流的方法中缺乏几何一致性的问题……

Lifelong person Re-IDentification (L-ReID) 利用顺序收集的数据持续训练和更新 ReID 模型，关注整体性能……

我们引入了一阶迭代优化算法的基本不等式，构建了一个简单且通用的框架，将隐式和显式方法联系起来……

对法律文档进行分类是一项挑战，除了它们的专业词汇外，有时它们可能非常冗长。这意味着将完整文档输入到 T...

真实的视觉模拟无处不在，但它们的创建需要计算时间、渲染以及专业的动画知识。Open-vocabulary 视觉效果...

视觉语言模型（VLMs）正日益被采用为具身代理的核心推理模块。现有基准在 i... 下评估它们的能力。

我们引入了一种用于 possibilistic reasoning 与 fuzzy formal contexts 的 two‑sort weighted modal logic。该逻辑的语法包括两类加权模态……

序列结构是自然认知和行为多个领域的关键特征，例如语言、运动和决策。同样，它也是……

我们使用大型语言模型（LLMs）来揭示来自各种来源的英文文本中的长程结构。许多情况下的条件熵或码长……

准确且可解释的作物病害诊断对农业决策至关重要，然而现有方法往往依赖于成本高昂的监督式 fine‑tuning……

搜索相关性在网络电子商务中发挥核心作用。虽然大语言模型（LLMs）在相关性任务上已显示出显著成果，但现有的基准……

铁路票务系统是最重要的公共服务基础设施之一。在假期等高峰期，它常常面临挑战……

我们展示了对大型语言模型（LLMs）进行迭代部署，每个模型都在用户从前一个模型部署中精心策划的数据上进行微调，能够……

现代云原生系统日益依赖多集群部署，以支持可扩展性、弹性和地理分布。然而，现有的 re...

将量子计算扩展到单个设备之外，需要将多个量子处理单元（QPUs）联网成一个一致的量子‑HPC 系统。我们提出了Mod…

Web3 技术的去中心化架构为反洗钱（Anti-Money Laundering）和反恐怖主义融资（Counter-Financing of Terrorism）合规带来了根本性的挑战。Trad...

测量 function similarity 来检测 bugs 是有效的，但与 bugs 无关的语句可能会因噪声干扰而影响性能……

神经架构搜索（NAS），它自动化深度神经网络（DNN）的架构设计过程，已受到越来越多的关注。多模态...

深度神经网络（DNN）仍然易受对抗性攻击的影响，当在输入图像中添加特定扰动时，会导致误分类。这种...

海马体似乎在大脑中实现了两个核心但高度不同的功能：长期记忆检索以及规划和空间导航。Naivel...

随着大规模模型的发展，传统的 distributed bilevel optimization algorithms 无法直接在 low-resource clients 上应用。关键是……

量子软件工程（QSE）对于确保混合量子‑经典系统的可靠性和可维护性至关重要，然而关于……的实证证据仍然不足。

随着 Software Engineering 进入其新纪元（SE 3.0），AI coding agents 越来越多地自动化软件开发工作流。然而，仍不清楚具体……

自动化程序修复（APR）旨在自动为有缺陷的程序生成正确的补丁。最近利用大语言模型（LLMs）的方法已经…

LLM-based software engineering 正在影响现代软件开发。除了正确性之外，先前的研究还考察了软件的性能。

对大规模软件和硬件系统进行全自动验证可以说是形式化方法的圣杯。大型语言模型（LLMs）最近…

大型语言模型（LLMs）在代码生成方面取得了显著进展，这在很大程度上得益于高质量代码数据集的可用性，从而实现了有效的预训练。然而，现有的代码语料库通常是从公共代码仓库（例如 GitHub）收集的，可能包含大量低质量或噪声代码，这会削弱 LLM 的性能。本文提出了一种新颖的方法，能够自动过滤大规模代码语料库中的低质量代码，从而提升 LLM 训练数据的质量。我们的方法结合了静态分析、动态测试以及社区反馈信号来评估代码质量。具体而言，首先使用静态分析工具检测语法错误、潜在 bug 和代码异味；随后在沙箱环境中运行代码，并利用自动生成的测试用例评估运行时行为和正确性；最后，结合原始仓库的社区反馈，如 star 数、fork 数和 issue 解决率，进一步细化质量评估。我们在 1000 万个 Python 仓库的数据集上评估了过滤流水线，结果表明，在 HumanEval 基准上，使用过滤后数据集训练的模型相较于使用未过滤数据集训练的模型，pass@1 分数提升最高可达 15%。此外，我们还进行消融实验，量化了过滤方法中每个组件的贡献。研究结果表明，系统化的代码质量过滤能够显著提升 LLM 在代码生成任务上的预训练效果。

大型语言模型（LLMs）可以根据自然语言提示生成复杂的源代码。然而，LLMs 可能会生成偏离用户期望的输出。

我们提出一种 genetic programming 方法，自动发现用于 discrete ordinates 求解的 neutron transport 问题的收敛加速方法。

随着大语言模型（LLMs）和基础模型的规模扩大，checkpoint/restore 已成为训练和推理的关键模式。借助 3D 并行（tensor、pipeline、data），...

循环网络通常使用时间反向传播（BPTT）进行训练。然而，BPTT 需要存储网络中所有状态的历史以及 t...

房地产行业仍然高度依赖手工文件处理和验证，使得流程低效且易受欺诈。本文提出...

Transformer-based large language models (LLMs) 已经在广泛的实际应用中展示了显著的潜力。然而，长上下文推理……

实时视频分析（LVA）在大规模摄像头群中持续运行，但使用现代视觉模型的推理成本仍然很高。为了解决这个问题，动态 m...

联邦学习（FL）使移动边缘设备作为客户端，能够协作训练去中心化模型，同时确保本地数据隐私。H...

仿真优化（SO）经常面临噪声评估、高计算成本以及复杂的多模态搜索景观的挑战。本文介绍……

现实世界的约束多目标优化问题 (CMOPs) 通常包含多个约束，理解并利用它们之间的耦合……

在许多实验任务中，ocular fixations 和 saccades 的特性高度随机，它们的统计数据常被用作各种 … 的代理。

基于扩散的 video super-resolution（VSR）方法能够实现强大的感知质量，但由于依赖于……，在对延迟敏感的场景中仍不实用。