GPU 대신 NPU…한국정보공학, 전력 부담 낮춘 비전 AI 인프라 시장 공략

Source: VentureSquare

• 딥엑스 NPU 탑재 HPE 서버 기반 비전 AI 솔루션 공개

• 스마트팩토리·지능형 CCTV 확산 속 비용 효율성 앞세워 시장 공략

AI 도입이 본격화되면서 기업들의 고민도 달라지고 있다. 모델 성능 경쟁을 넘어 실제 현장에 AI를 운영하기 위한 인프라 비용과 전력 효율성이 중요한 과제로 떠오른 것이다. 특히 스마트팩토리와 지능형 CCTV, 자율주행 등 영상 데이터를 실시간으로 처리하는 비전 AI 시장에서는 높은 전력 소모와 구축 비용이 확산의 걸림돌로 지적돼 왔다.

이러한 가운데 NPU(신경망처리장치)를 활용한 저전력 AI 인프라가 새로운 대안으로 부상하고 있다.

IT 인프라 전문기업 한국정보공학은 파트너사를 대상으로 개최한 ‘HPE 딥엑스 비전 AI 비즈니스 토크’를 통해 딥엑스의 NPU를 탑재한 HPE 서버 기반 비전 AI 솔루션을 공개했다고 밝혔다.

딥엑스 전일 부장이 서버 영업망을 비전 AI 영업으로 전환하는 실전 세일즈에 대해 소개하고 있다. (사진 제공: 한국정보공학)

비전 AI 확산의 핵심 과제는 전력과 비용

최근 제조업과 물류, 보안 산업을 중심으로 비전 AI 도입이 빠르게 확대되고 있다. 카메라를 통해 수집한 영상을 실시간 분석해 불량을 검출하거나 이상 상황을 감지하는 수요가 늘어나면서 관련 인프라 시장도 성장하고 있다. 하지만 기존 GPU 기반 시스템은 높은 전력 사용량과 구축 비용 때문에 중소기업이나 지방 사업장에서는 도입 부담이 적지 않았다.

한국정보공학이 이번에 선보인 솔루션은 HPE 서버에 딥엑스의 초저전력 NPU를 탑재한 구조다. 딥엑스 NPU는 칩 내부에 LPDDR5 컨트롤러를 내장해 데이터 처리 병목을 줄였으며, GPU 서버 대비 전력 사용량을 크게 낮춘 것이 특징이다.

회사 측은 해당 솔루션이 기존 GPU 기반 인프라 대비 연간 전력 소비를 약 86% 절감할 수 있다고 설명했다. 또한 NPU 자체 가격 경쟁력과 장비 규모 축소를 통해 초기 구축 비용과 운영 비용을 포함한 총소유비용(TCO)도 대폭 낮출 수 있다고 덧붙였다.

확장성도 강조했다. 범용 PCIe 카드 형태로 설계돼 별도 복잡한 장비 변경 없이 서버에 장착할 수 있으며, 서버 한 대에서 최대 256채널 규모의 비전 AI 처리가 가능하도록 구성됐다.

최근 AI 반도체 시장에서는 GPU 중심 구조를 넘어 NPU와 ASIC 등 목적형 반도체가 빠르게 확산되고 있다. 생성형 AI 학습 시장에서는 여전히 GPU가 강세를 보이고 있지만, 실제 산업 현장의 추론(Inference) 영역에서는 전력 효율성과 비용 경쟁력이 중요한 요소로 떠오르고 있기 때문이다. 특히 국내 AI 반도체 기업들도 글로벌 빅테크 중심 시장에 대응하기 위해 엣지 AI와 온디바이스 AI, 비전 AI 분야를 중심으로 사업을 확대하고 있다.

한국정보공학은 지난해 온디바이스 AI 반도체 기업 딥엑스와 공식 총판 계약을 체결하며 AI 인프라 사업을 강화해 왔다. 이번 행사는 기존 서버 유통 사업자와 파트너사들이 비전 AI 시장에 보다 쉽게 진입할 수 있도록 지원하기 위해 마련됐다.

행사에서는 실제 비전 AI 구축 사례와 영업 전략, 시장 기회 등에 대한 논의도 진행됐다. 회사 측은 포스코DX와 현대차 등 주요 산업 현장에서 관련 기술 검증이 이뤄졌다고 설명했다.

한국정보공학 AI 비즈니스 총괄 담당자는 “비전 AI 사업 진출을 고민하는 파트너사들이 현장에서 바로 활용할 수 있는 인프라 전략을 제시하기 위해 행사를 마련했다”며 “딥엑스의 NPU 기술과 한국정보공학의 인프라 유통 역량을 결합해 AI 인프라 시장 확대에 나설 것”이라고 말했다.

NPU Instead of GPU… Korea Information Engineering Targets Vision AI Infrastructure Market with Reduced Power Burden

As the adoption of AI accelerates, companies’ concerns are also changing. Beyond competition in model performance, infrastructure costs and power efficiency for operating AI in real-world environments have emerged as critical challenges. In particular, in the vision AI market—which processes video data in real time for applications such as smart factories, intelligent CCTV, and autonomous driving—high power consumption and implementation costs have been cited as obstacles to widespread adoption.

Amidst this, low-power AI infrastructure utilizing NPUs (Neural Network Processing Units) is emerging as a new alternative.

Korea Information Engineering, a company specializing in IT infrastructure, announced that it unveiled a vision AI solution based on HPE servers equipped with DeepX’s NPU through the ‘HPE DeepX Vision AI Business Talk’ held for its partners.

DeepX General Manager Jeon Il is introducing practical sales strategies for transitioning the server sales network to Vision AI sales. (Photo courtesy of Korea Information Engineering)

The key challenges to the widespread adoption of vision AI are power and cost.

Recently, the adoption of Vision AI has been rapidly expanding, centered on the manufacturing, logistics, and security industries. As demand increases for real-time video analysis to detect defects or abnormal situations, the related infrastructure market is also growing. However, existing GPU-based systems have posed a significant burden for small and medium-sized enterprises and regional business sites due to high power consumption and implementation costs.

The solution unveiled by Korea Information Engineering features a structure in which DeepX’s ultra-low power NPU is equipped on an HPE server. The DeepX NPU incorporates an LPDDR5 controller inside the chip to reduce data processing bottlenecks and is characterized by significantly lower power consumption compared to GPU servers.

The company explained that the solution can reduce annual power consumption by approximately 86% compared to existing GPU-based infrastructure. It also added that the total cost of ownership (TCO), including initial deployment and operating costs, can be significantly lowered through the price competitiveness of the NPU itself and the reduction in equipment scale.

Scalability was also emphasized. Designed as a general-purpose PCIe card, it can be installed in a server without complex equipment changes and is configured to enable vision AI processing of up to 256 channels on a single server.

Recently, the AI semiconductor market has seen a rapid expansion of purpose-built semiconductors, such as NPUs and ASICs, moving beyond GPU-centric architectures. While GPUs remain dominant in the generative AI training market, power efficiency and cost competitiveness are emerging as critical factors in the inference domain of actual industrial applications. In particular, domestic AI semiconductor companies are expanding their businesses with a focus on Edge AI, On-Device AI, and Vision AI to respond to the global big tech-dominated market.

Korea Information Engineering has been strengthening its AI infrastructure business by signing an official distribution agreement with DeepX, an on-device AI semiconductor company, last year. This event was organized to support existing server distributors and partners in more easily entering the vision AI market.

The event also included discussions on actual vision AI implementation cases, sales strategies, and market opportunities. The company explained that the relevant technology has been verified at major industrial sites, including POSCO DX and Hyundai Motor.

“We organized this event to present infrastructure strategies that partner companies considering entering the vision AI business can utilize immediately in the field,” said the head of AI Business at Korea Information Engineering. “By combining DeepX’s NPU technology with Korea Information Engineering’s infrastructure distribution capabilities, we will expand the AI infrastructure market.”

GPUの代わりにNPU…韓国情報工学、電力負担下げたビジョンAIインフラ市場攻略

AI導入が本格化し、企業の悩みも変わっている。モデル性能競争を超え、実際の現場にAIを運営するためのインフラコストと電力効率性が重要な課題として浮上したのだ。特にスマートファクトリーやインテリジェントCCTV、自律走行など映像データをリアルタイムで処理するビジョンAI市場では、高い電力消費と構築コストが拡散の障害と指摘されてきた。

この中で、NPU（ニューラルネットワーク処理装置）を活用した低電力AIインフラが新たな代案として浮上している。

ITインフラ専門企業韓国情報工学は、パートナー企業を対象に開催した「HPEディープエックスビジョンAIビジネストーク」を通じて、ディープエックスのNPUを搭載したHPEサーバーベースのビジョンAIソリューションを公開したと明らかにした。

ディープエックス前日部長がサーバー営業網をビジョンAI営業に転換する実戦セールスについて紹介している。 （写真提供：韓国情報工学）

ビジョンAIの拡散の重要な課題は、電力とコスト

最近、製造業と物流、セキュリティ産業を中心にビジョンAIの導入が急速に拡大している。カメラを通じて収集した映像をリアルタイム分析して不良を検出したり、異常状況を感知する需要が増え、関連インフラ市場も成長している。しかし、従来のGPUベースのシステムは、高い電力使用量と構築コストのため、中小企業や地方事業場では導入負担が少なくなかった。

韓国情報工学が今回披露したソリューションは、HPEサーバーにディープエックスの超低電力NPUを搭載した構造だ。ディープエックスNPUはチップ内部にLPDDR5コントローラを内蔵し、データ処理のボトルネックを減らし、GPUサーバーに比べ電力使用量を大幅に低減したのが特徴だ。

同社側は、当該ソリューションが既存のGPUベースのインフラストラクチャと比較して年間消費電力を約86％削減できると説明した。また、NPU自体の価格競争力と装備規模の縮小を通じて、初期構築コストと運営コストを含む総所有コスト（TCO）も大幅に下げることができると付け加えた。

拡張性も強調した。汎用PCIeカードの形態で設計され、別途複雑な機器変更なしにサーバーに装着することができ、サーバー1台で最大256チャンネル規模のビジョンAI処理が可能に構成された。

最近、AI半導体市場ではGPU中心構造を超え、NPUやASICなど目的型半導体が急速に拡散している。生成型AI学習市場では依然としてGPUが強勢を見せているが、実際の産業現場の推論(Inference)領域では電力効率性とコスト競争力が重要な要素として浮上しているからだ。特に国内AI半導体企業もグローバルビッグテック中心市場に対応するため、エッジAIとオンデバイスAI、ビジョンAI分野を中心に事業を拡大している。

韓国情報工学は昨年、オンデバイスAI半導体企業ディープエックスと公式総板契約を締結してAIインフラ事業を強化してきた。今回のイベントは、既存のサーバー流通事業者とパートナー企業がビジョンAI市場に容易に参入できるように支援するために設けられた。

イベントでは、実際のビジョンAI構築事例と営業戦略、市場機会などについての議論も行われた。会社側はポスコDXと現代車など主要産業現場で関連技術検証が行われたと説明した。

韓国情報工学AIビジネス総括担当者は「ビジョンAI事業進出を悩むパートナー企業が現場ですぐに活用できるインフラ戦略を提示するために行事を設けた」とし、「ディープエックスのNPU技術と韓国情報工学のインフラ流通能力を組み合わせてAIインフラ市場の拡大に乗り出すだろう」と話した。

韩国信息工程公司瞄准视觉人工智能基础设施市场，推出功耗更低的NPU而非GPU方案

随着人工智能应用加速普及，企业关注的重点也在发生变化。除了模型性能的竞争之外，在实际环境中运行人工智能的基础设施成本和能效问题也成为关键挑战。尤其是在视觉人工智能市场——该市场实时处理视频数据，应用于智能工厂、智能监控和自动驾驶等领域——高功耗和高实施成本被认为是阻碍其广泛应用的主要障碍。

在此背景下，利用 NPU（神经网络处理单元）的低功耗 AI 基础设施正在成为一种新的替代方案。

专注于 IT 基础设施的韩国信息工程公司宣布，已通过为其合作伙伴举办的“HPE DeepX Vision AI Business Talk”活动，推出了一款基于配备 DeepX NPU 的 HPE 服务器的视觉 AI 解决方案。

DeepX总经理全日（Jeon Il）正在介绍将服务器销售网络转型为视觉AI销售的实用销售策略。（图片由韩国信息工程公司提供）

视觉人工智能广泛应用面临的主要挑战是功耗和成本。

近年来，视觉人工智能的应用迅速扩展，主要集中在制造业、物流业和安防业。随着对实时视频分析以检测缺陷或异常情况的需求不断增长，相关的基础设施市场也在蓬勃发展。然而，现有的基于GPU的系统由于功耗高、部署成本高，给中小企业和区域性商业场所带来了沉重的负担。

韩国信息工程公司（KIE）发布的解决方案采用了一种新型架构，即在HPE服务器上搭载DeepX的超低功耗NPU。DeepX NPU芯片内部集成了LPDDR5控制器，可有效减少数据处理瓶颈，其功耗相比GPU服务器显著降低。

该公司解释说，与现有的基于GPU的基础设施相比，该解决方案可将年度能耗降低约86%。此外，由于NPU本身具有价格竞争力，且设备规模缩小，包括初始部署和运营成本在内的总拥有成本（TCO）可以显著降低。

可扩展性也得到了强调。该卡设计为通用型 PCIe 卡，无需复杂的设备改造即可安装在服务器中，并可配置为在单个服务器上处理多达 256 个通道的视觉 AI 数据。

近年来，人工智能半导体市场见证了NPU和ASIC等专用半导体的快速扩张，逐渐摆脱了以GPU为中心的架构。尽管GPU在生成式人工智能训练市场仍占据主导地位，但在实际工业应用的推理领域，能效和成本竞争力正成为关键因素。尤其值得一提的是，国内人工智能半导体企业正积极拓展边缘人工智能、终端人工智能和视觉人工智能等业务，以应对全球大型科技公司主导的市场格局。

韩国信息工程公司（KIE）去年与设备端人工智能半导体公司DeepX签署了正式分销协议，进一步加强了其人工智能基础设施业务。此次活动旨在帮助现有服务器分销商和合作伙伴更便捷地进入视觉人工智能市场。

此次活动还包括对视觉人工智能实际应用案例、销售策略和市场机遇的探讨。该公司解释说，相关技术已在包括浦项制铁DX和现代汽车在内的主要工业场所得到验证。

“我们举办此次活动旨在向有意进军视觉人工智能领域的合作伙伴公司展示基础设施战略，这些战略可立即应用于实际应用中，”韩国信息工程公司人工智能业务负责人表示。“通过将DeepX的NPU技术与韩国信息工程公司的基础设施部署能力相结合，我们将拓展人工智能基础设施市场。”

NPU au lieu de GPU… Korea Information Engineering cible le marché des infrastructures d’IA de vision avec une consommation énergétique réduite

Avec l’accélération de l’adoption de l’IA, les préoccupations des entreprises évoluent. Au-delà de la compétition en matière de performances des modèles, les coûts d’infrastructure et l’efficacité énergétique nécessaires au déploiement de l’IA en conditions réelles sont devenus des enjeux majeurs. En particulier, sur le marché de l’IA de vision – qui traite les données vidéo en temps réel pour des applications telles que les usines intelligentes, la vidéosurveillance intelligente et la conduite autonome – la forte consommation énergétique et les coûts de mise en œuvre sont cités comme des freins à une adoption généralisée.

Dans ce contexte, une infrastructure d’IA basse consommation utilisant des NPU (unités de traitement de réseaux neuronaux) émerge comme une nouvelle alternative.

Korea Information Engineering, une société spécialisée dans les infrastructures informatiques, a annoncé avoir dévoilé une solution d’IA de vision basée sur des serveurs HPE équipés du NPU de DeepX lors du « HPE DeepX Vision AI Business Talk » organisé pour ses partenaires.

Jeon Il, directeur général de DeepX, présente des stratégies de vente concrètes pour faire évoluer le réseau de vente de serveurs vers la vente de solutions d’IA de vision. (Photo : Korea Information Engineering)

Les principaux obstacles à l’adoption généralisée de l’IA de vision sont la consommation d’énergie et le coût.

L’adoption de l’IA visuelle s’est récemment accélérée, notamment dans les secteurs de la production, de la logistique et de la sécurité. Face à la demande croissante d’analyse vidéo en temps réel pour détecter les défauts ou les anomalies, le marché des infrastructures associées est en pleine expansion. Cependant, les systèmes existants basés sur les GPU représentent un coût important pour les PME et les sites régionaux, en raison de leur forte consommation énergétique et de leurs coûts de mise en œuvre élevés.

La solution présentée par Korea Information Engineering repose sur une architecture intégrant le NPU ultra basse consommation de DeepX sur un serveur HPE. Ce NPU DeepX intègre un contrôleur LPDDR5 au sein de la puce afin de réduire les goulots d’étranglement dans le traitement des données et se caractérise par une consommation d’énergie nettement inférieure à celle des serveurs équipés de GPU.

L’entreprise a expliqué que sa solution permet de réduire la consommation énergétique annuelle d’environ 86 % par rapport aux infrastructures existantes basées sur les GPU. Elle a également ajouté que le coût total de possession (CTP), incluant les coûts initiaux de déploiement et d’exploitation, peut être considérablement réduit grâce à la compétitivité du prix du NPU et à la miniaturisation des équipements.

L’évolutivité a également été mise en avant. Conçue comme une carte PCIe à usage général, elle peut être installée dans un serveur sans modifications matérielles complexes et est configurée pour permettre le traitement d’IA de vision jusqu’à 256 canaux sur un seul serveur.

Le marché des semi-conducteurs pour l’IA a récemment connu une expansion rapide, notamment grâce aux semi-conducteurs dédiés tels que les NPU et les ASIC, qui s’affranchissent des architectures centrées sur les GPU. Si les GPU restent dominants sur le marché de l’entraînement des modèles d’IA génératifs, l’efficacité énergétique et la compétitivité des coûts deviennent des facteurs clés dans le domaine de l’inférence pour les applications industrielles. En particulier, les entreprises chinoises spécialisées dans les semi-conducteurs pour l’IA développent leurs activités en se concentrant sur l’IA en périphérie (Edge AI), l’IA embarquée et l’IA de vision afin de répondre à la concurrence des géants de la tech à l’échelle mondiale.

Korea Information Engineering a renforcé son activité d’infrastructure d’IA en signant l’an dernier un accord de distribution officiel avec DeepX, une entreprise spécialisée dans les semi-conducteurs pour l’IA embarquée. Cet événement visait à faciliter l’accès des distributeurs et partenaires de serveurs existants au marché de l’IA visuelle.

L’événement a également été l’occasion d’échanger sur des cas concrets d’application de l’IA de vision, des stratégies de vente et les opportunités de marché. L’entreprise a précisé que la technologie concernée avait été validée sur d’importants sites industriels, notamment chez POSCO DX et Hyundai Motor.

« Nous avons organisé cet événement afin de présenter des stratégies d’infrastructure que les entreprises partenaires envisageant de se lancer dans le secteur de l’IA peuvent immédiatement mettre en œuvre », a déclaré le responsable du pôle IA chez Korea Information Engineering. « En combinant la technologie NPU de DeepX aux capacités de distribution d’infrastructures de Korea Information Engineering, nous allons développer le marché des infrastructures d’IA. »