Hyperexcel通过Upstage联盟加入独帕莫…在LLM推理基础设施高阶化中发挥作用

Source: Platum

HyperExcel 概述

HyperExcel 是一家设计、开发面向生成式 AI 实际应用环境的 LLM 推理专用 AI 半导体的公司。为了解决超大规模语言模型（LLM）服务阶段出现的计算瓶颈以及功耗、运营成本问题，已基于自主架构研发了 LPU（LLM Processing Unit）。

参与 Upside Consortium 的内容

• 核心角色

  • 针对 LLM 推理进行 LPU 设计与性能提升
  • 研究、开发面向生成式 AI 应用环境的推理加速技术
  • 实现高效、低成本的 AI 服务基础设施
  • 开发并提供基于 vLLM·PyTorch 的高可用（HA）全栈软件栈

• 战略目标

  • 不仅限于半导体供应，还构建硬件与服务软件一体化的架构
  • 在超大模型商业化过程中，同时实现 处理效率、功耗性能比、运营稳定性
  • 支持自主 AI 基础模型在数据中心及工业服务环境中具备 经济性·可扩展性 的运营形态

金周英 代表发言

“超大规模 AI 的竞争不仅在于模型规模，更在于能够多高效地提供服务。”
“通过基于 LPU 的推理加速技术，助力国内 AI 基础设施实现技术自立，并获取全球水平的成本竞争力。”