[Paper] 同构 GPU 上对慢节点容忍且具弹性的 DL 训练
尽管同构 GPU 基础的深度学习(DL)训练非常流行,但拖慢节点(stragglers)的普遍性、原因和影响,以及现有方法的有效性……
3337 posts from this source
尽管同构 GPU 基础的深度学习(DL)训练非常流行,但拖慢节点(stragglers)的普遍性、原因和影响,以及现有方法的有效性……
大型语言模型(LLMs)在代码生成方面表现出色,但Chain-of-Thought(CoT)提示的帮助机制仍不清楚。
等变神经网络将对称性编码为归纳偏置,并在广泛领域中取得了强大的经验性能。然而,它们的表达能力……
我们描述了 SynthPix,这是一种用于粒子图像测速 (PIV) 的合成图像生成器,重点关注在加速器上的性能和并行性,实现了……
有效的日志异常检测对于维持大规模 IT 基础设施的可靠性至关重要。Transformer‑based 模型需要大量资源……
系统工程正从文档中心转向模型驱动的方法,资产正变得越来越数字化。虽然数字化…
量子电路设计是实现复杂真实世界数据上的实用量子机器学习的关键瓶颈。我们提出了一种自动化框架,能够发现……
任务调度是云计算中的一项关键研究挑战,云计算是一项在各行业广泛采用的变革性技术。虽然已有大量的调度 …
工作流挖掘从事件日志中发现层次化的过程树,但仍不清楚为何这些模型满足或违反逻辑属性,或如何……
可穿戴系统的眼动追踪需要低延迟和毫瓦级功耗,但传统的基于帧的 pipelines 在运动模糊和高 compute 方面表现不佳……
背景。基于LLM的自主代理在软件工程中依赖大型专有模型,限制了本地部署。这激发了对小型语言模型的兴趣。
多种科学和工程研究领域处理大规模相互作用的 delay differential equations 系统中的离散、带时间戳的变化。Simulat...
在共享 GPU 集群中部署多个模型有望提升大语言模型(LLM)服务的资源效率。现有的多 LLM …
向量搜索是现代信息检索系统的基础,包括检索增强生成(RAG)流水线和针对非结构化文本的搜索引擎……
组织对计算机网络的依赖是通过网络可编程性实现的,而网络可编程性通常通过 Service Function Chaining 来实现。这些 c...
如今,视觉智能工具已经无处不在,提供了各种便利和可能性。然而,这些工具的计算需求很高,...
我们提出了一种新颖的 predict-then-optimize 框架用于 maritime search operations,该框架将 trajectory forecasting 与 UAV deployment optimization 相结合——一个端...
Bug fixing 是软件开发过程中的关键活动。在诸如 JIRA 的问题跟踪系统中,每个 bug 报告都会被分配一个优先级,以 i...
自动算法设计领域已经通过诸如 EoH、FunSearch 和 Reevo 等框架得到了推进。然而,它们仅关注算法进化,忽视……
高性能 GPU kernel 优化仍然是现代机器学习工作负载中一项关键但劳动密集的任务。虽然 Triton,这个领域特定的…
我们将最近的 256 SSE 向量工作扩展到 512 AVX,实现了四倍加速。我们使用 MAGPIE(Machine Automated General Performance Improvement via Evolution of ...)。
基于大型语言模型(LLMs)的 Agentic AI 系统在自动化复杂工作流方面具有巨大的潜力,涵盖从软件开发到客户支持等领域。
最近在 diffusion transformers 方面的进展使视频生成模型能够从文本或图像生成高质量的视频片段。然而,world model...
新视角合成(Novel View Synthesis,NVS)传统上依赖于具有显式3D归纳偏置的模型,并结合来自Structure-from-Motion的已知相机参数……
理解并重建来自 video 的动态场景的复杂几何和运动仍然是 computer vision 中的一项艰巨挑战。本文介绍…
我们引入了两个新的基准 REST 和 REST+(Render-Equivalence Stress Tests),以实现对多模态大型模型中跨模态不一致性的系统评估。
文本感知图像恢复(TAIR)旨在从包含退化文本内容的低质量输入中恢复高质量图像。虽然扩散模型……
人类视频演示为学习机器人策略提供了丰富的训练数据,但仅靠视频无法捕捉对 mast... 至关重要的丰富接触信号。
量子误差校正(QEC)解码面临着一个基本的准确性‑效率权衡。像最小权重完美匹配(MWPM)这样的经典方法表现出……
夜间环境对基于相机的感知构成了重大挑战,因为现有方法被动地依赖场景光照。我们引入 Lighting-...
在 empirical software engineering (SE) 研究中,研究人员在决定如何处理数据、使用何种操作化以及选择哪些……方面拥有相当大的自由。
从单张图像生成高质量、纹理化的 3D 场景仍然是视觉和图形学中的一个根本性挑战。最近的 image-to-3D 生成器能够恢复 re...
内容感知布局生成是图形设计自动化中的关键任务,专注于创建视觉上吸引人的元素排列,使其无缝……
机器学习(ML)为发现可持续聚合物材料提供了一条强有力的途径,但由于缺乏大规模、高质量的……,进展受限。
Kernel density estimation 是机器学习、Bayesian inference、stochastic dynamics 和 signal processing 等众多算法的关键组成部分……
虽然 Large Language Models (LLMs) 的 scaling laws 传统上侧重于 proxy metrics 如 pretraining loss,但预测 downstream task performance 一直是……
检索增强生成(RAG)通过将输出基于检索到的证据进行 grounding,提升了大语言模型(LLMs)的事实性,但忠实性仍可能出现失败……
Visual reasoning 具有挑战性,需要精确的 object grounding 并理解复杂的 spatial relationships。现有方法分为两大类:...
旋转不变性对于无人机航拍影像中的精确对象级分割至关重要,因为目标可能具有任意方向并呈现细微的…
工业维护正被 Internet of Things 和 edge computing 改造,产生连续的数据流,需要实时、适应性的决策……
space AI 的崛起正通过灾害检测、边境监视和气候监测等应用,重塑政府和产业,...
视觉语言模型(VLMs)正崭露头角,成为遥感领域强大的通用工具,能够在多样任务中整合信息并实现……
真实世界的数据集通常表现出随时间变化的动态特征,其特征是数据分布的演变。忽视这种现象,通常称为概念…
大型语言模型(LLMs)最近在生成高质量表格合成数据方面表现出显著的性能。实际中,主要有两种方法……
图像字幕(Image captioning)在许多领域至关重要,包括帮助视障人士、改进内容管理系统以及提升人机交互……
LLM agents 在复杂的交互任务中被广泛部署,但隐私约束常常阻止在动态环境中进行集中式优化和协同进化。
开发知识问答(Dev Knowledge QA)任务旨在为软件开发过程中提出的寻求知识的问题提供自然语言答案。
在训练过程中逐步增加 Transformers 的深度不仅可以降低训练成本,还能提升推理性能,正如 MIDAS 所展示的那样……