[论文] 二的幂量化感知训练 (PoT‑QAT) 在大语言模型 (LLMs) 中
在大型语言模型(LLMs)中,参数数量在过去几年呈指数增长,例如,从 GPT-2 的 15 亿参数增长到 175 billion。
4750 posts from this source
在大型语言模型(LLMs)中,参数数量在过去几年呈指数增长,例如,从 GPT-2 的 15 亿参数增长到 175 billion。
随着全球城市化的不断增长,交通基础设施的高效管理对交通部门和城市规划者至关重要。它是必需的……
PDF 是互联网上使用量第二大的文档类型(仅次于 HTML)。然而,现有的 QA 数据集通常从文本来源开始,或仅针对特定的 …
基础分割模型,例如 Segment Anything Model(SAM),通过大规模预训练展现出强大的零样本泛化能力,但适应 th...
基于聚合物的长效注射剂(LAIs)通过实现受控药物递送,已彻底改变了慢性疾病的治疗,从而降低了给药频率……
现代身份和信任系统在最需要它们的环境中崩溃:灾区、断开或受损的网络,以及对抗性的…
我们提出了 SER 建模语言,用于自动验证并发程序的可串行化,即检查程序的每一次并发执行是否满足串行化要求……
功能验证日益依赖基于断言的验证(Assertion-Based Verification,ABV),它已成为验证硬件设计的关键方法,原因在于其高效性……
卷积神经网络(CNN)是视觉识别的标准方法,因为它们能够从原始像素中学习层次化表示……
基于指令的图像编辑是生成式 AI 中发展最快的领域之一。过去一年里,该领域已经达到新的水平,出现了数十个……
代码覆盖率分析已成为软件开发中的标准方法,有助于评估测试套件的有效性,识别未…
自回归大型语言模型在众多基准测试中取得了强劲的结果,但解码仍然受到序列依赖的延迟限制,取决于 p…
Quantum computation 是本质上混合的,快速的经典对 qubit operators 的操作对于确保量子软件的可扩展性是必要的。我们介绍…
可解释人工智能(XAI)方法,如 SHAP 和 LIME,生成数值特征归因,这对非专家用户仍然难以理解。先前的工作已经表明 L...
编译器对于软件的性能和正确执行至关重要,并在各个科学学科中具有普遍的相关性。尽管如此,...
本文提出了一种由 LLM 驱动的工作流,以支持 Software Defined Vehicle(SDV)软件开发,涵盖安全感知系统拓扑等方面。
阿拉伯语的特点是拥有丰富的地区方言网络,这些方言在语音和词汇上有显著差异,反映了地理和…
我们正进入一个混合时代,在这个时代中,人类开发者和 AI 编码代理在同一个代码库中协同工作。虽然业界长期以来一直在为人类优化代码……
尽管医学技术不断进步,全球医疗资源的分配仍然不均衡。大型语言模型(LL...)
虽然置信度估计是减轻大型语言模型(LLMs)幻觉的一个有前景的方向,但当前研究主要集中在单…
SplitFed Learning(SFL)结合了 federated learning 和 split learning,实现了跨分布式 edge devices 的协作训练;然而,它面临着显著…
Replication packages 对于实现软件工程(SE)研究中的透明性、验证和复用至关重要。虽然 artifact sharing 现在已经成为标准……
我们将量子电路切割扩展到包含混合维度 qudit 的异构寄存器。通过将非局部相互作用分解为张量积 …
Compilers 将代码转化为实际操作。它们把 high-level programs 转换为 executable hardware instructions —— 这是实现可靠且可扩展的关键步骤……
函数式编程为开发可靠且安全的软件系统提供了坚实的基础,但由于学习曲线陡峭,它的采用仍未广泛。
平方千米阵列(SKA)将产生前所未有的数据量,使高效的数据处理成为一项关键挑战。在此背景下,SKA R...
Domain alignment 广义上指学习不同领域之间的数据分布对应关系。在本工作中,我们关注一种领域……
我们提出一个理论框架——全息储备计算(Holographic Reservoir Computing, HRC)——其假设在 voltage‑stress 中的热力学噪声和时序动力学……
为了提升无线传感器网络(WSNs)的覆盖率,本文提出了一种基于多策略集成的Nort…高级优化策略。
Federated learning 已引起研究人员的广泛关注,但边缘客户端之间的数据异质性仍是一个关键挑战,常常导致模型……
我们提出了 Yukthi Opus(YO),一种多链混合元启发式算法,旨在在明确的评估预算约束下解决 NP-hard 优化问题。YO 集成了 th...
Lumpy Skin Disease (LSD) 是一种传染性病毒感染,显著恶化牲畜健康,从而对全球经济构成严重威胁……
深度强化学习(RL)代理经常学习到在相同的情节回报下表现截然不同的策略,这归因于环境的组合……
为了开发可靠的用于心理评估的 AI,我们引入了 texttt{PsychEval},一个多会话、多疗法且高度真实的基准,旨在……
强化学习(RL)在自动驾驶(AD)中展现了相当大的潜力,但其对扰动的脆弱性仍然是实现可靠部署的关键障碍……
人脸验证系统已经取得了显著进展;然而,它们在决策过程中的透明度往往不足。在本文中,我们介绍…
Lossy compression,科学家广泛用于压缩模拟、实验和观测数据,即使在有界的……情况下,也可能扭曲感兴趣的特征。
在本文中,我们提出了一种基于Wachspress 的跨域(transfinite)公式,适用于凸多边形域,以在 physi... 中精确强制 Dirichlet 边界条件。
实时推荐系统在严格的尾部延迟 SLO 下执行多阶段级联(检索、预处理、细粒度排序),只剩下几十…
触觉感知对机器人操作、假肢和辅助技术至关重要,然而相较于它们,神经形态触觉数据集仍然有限。
动态多目标优化(DMOO)最近在学术研究者和工程实践者中引起了日益增长的兴趣,因为大量……
时间序列分类是一个基础的机器学习任务,具有广泛的实际应用。虽然许多深度学习方法已被证明有效……
Quality diversity (QD) 优化搜索一组解,这些解在优化目标的同时,实现用户指定的向量多样化输出……
从单目视频重建动态3D场景需要同时捕捉高频外观细节和时间连续的运动。Exi...
左心室(LV)分割对于临床定量和心脏图像的诊断至关重要。在本工作中,我们提出了两种新颖的 deep learning 架构……
我们提出一种 training‑free 方法,通过对 attention patterns 的 spectral analysis 来检测大型语言模型中的有效数学推理。通过…
在本研究中,我们尝试释放自监督学习作为辅助任务的潜力,以优化通用深度伪造的主要任务。
基于人群的癌症登记依赖病理报告作为其主要诊断来源,但手动抽取工作资源密集,并且导致 …