[Paper] 弹性混合的按秩专家用于联邦微调中的知识复用
联邦微调为在保护数据隐私的同时,将大型语言模型(LLMs)适配到下游任务提供了有前景的解决方案。然而,它的hi...
联邦微调为在保护数据隐私的同时,将大型语言模型(LLMs)适配到下游任务提供了有前景的解决方案。然而,它的hi...
演讲者:Fabiano Honorato、Michelle Koo、Stephen Brandon @ AWS FSI Meetup 2025 Q4 介绍 Brex 财务操作系统平台,用于管理费用...
随着大语言模型(LLMs)通过张量并行(TP)和流水线并行(PP)进行规模扩展,生产堆栈已经积极优化了数据……
在我之前的文章中,我讨论了 Linux 虚拟化的各种网络方法。我开发了 qcontroller,一个负责管理 comple… 的工具。
本文是对以下 URL 内容的机器翻译,我用日语撰写的:https://qiita.com/Nana_777/items/c7ebc842c4557f8d811d Thi...
每个不断壮大的平台团队都面临同样的架构挑战:共享基础设施——网络、安全、身份——必须独立演进……
几个月前,我妈妈错过了航班。她整整一周都被事务和工作压得喘不过气来。她以为航班时间更晚,到了机场,已经太晚了……
亚特兰大——Broadcom 在 KubeCon + CloudNativeCon NA 上用以消除人们对其撤回对支持的担忧。该帖子标题为 Broadcom “Doubles Downs” on Open Source,……
内容无关模型,由 Censor‑Hillel、Cohen、Gelles 和 Sel(PODC 2022;Distributed Computing 2023)提出,捕捉了一种极其弱的形式的…
现代云应用构建在独立、多样的 microservices 之上,提供 scalability、flexibility 和 usage-based billing。然而,结构的 d...
Split learning (SL) 将主要计算任务从多个资源受限的用户设备 (UE) 卸载到基站 (BS),同时保留本地数据……
我们提出 Areon,这是一族延迟友好、权益加权的多提议者权益证明共识协议。通过允许每个时隙拥有多个提议者并且……
现代云数据库将扩展呈现为二元决策:通过添加节点进行 scale-out,或通过增加每节点资源进行 scale-up。这种单维视角 i...
区块链安全受到自私挖矿的威胁,自私挖矿是指矿工(运营者)偏离协议以增加其收入。自私挖矿会加剧……
多层快速多极算法(MLFMA)中的近场(P2P)算子由于内存局部性差,在 GPU 上成为性能瓶颈。本文工作…
大规模专家混合(Mixture of Experts,MoE)模型的训练面临着由于动态 token 路由导致的严重负载不平衡而产生的关键内存瓶颈。Thi...
为了满足严格的服务水平目标(SLO),当代大型语言模型(LLMs)将预填充(prefill)和解码(decoding)阶段解耦,并将它们放置在不同的 GPU 上……
基于云的存储平台因其对数据的灵活访问和对协作的支持,正变得在学术界和商业环境中越来越常见。
我们描述了一个在多台树莓派(RPi)计算机上运行的完整功能的以太坊工作量证明(PoW)区块链网络原型。该原型是早期的…
并行实现数值自适应网格细化(AMR)策略以求解三维弹性静力接触力学问题是迈向……的关键一步。
分布式存储系统通常通过采用有序写入来在数据节点和元数据节点之间保持强一致性: 1) 首先写入数据; 2) …
近年来,资源弹性和成本优化已成为关系型数据库管理系统(RDBMS)的关键需求。虽然云原生的 RDBMS 通过 d...
Mobile agents 已经成为在分布式环境中解决基本图问题的强大框架。近年来,这些 agents 被建模为 aut...
数据密集型科学工作流日益依赖高性能计算(HPC)系统,补充传统的 Grid 和 Cloud 平台。然而,...
在具有多个计算节点且每个节点内包含多个 CPU 并保持一致性的复杂系统中,一个关键挑战是维护高效且正确的 …
AI 应用的爆炸性增长导致对 GPU 资源的需求空前。云服务提供商通过 GPU-as-a-Service 平台满足这种需求……