“AI 경쟁의 끝은 성능 아닌 통제력”…인텔리빅스 최은수 대표가 말한 ‘신뢰 가능한 AI’

Source: VentureSquare

• “95% 정확도보다 중요한 것은 치명적 오류를 막는 통제 시스템”

• 제조 강국 한국, AI 기술보다 ‘신뢰 표준’ 수출해야

생성형 AI 경쟁이 성능 중심에서 안전성과 책임성 중심으로 이동하는 가운데, AI 산업의 승자는 가장 똑똑한 AI가 아니라 가장 잘 통제되는 AI를 만든 기업이 될 것이라는 주장이 나왔다.

안전 AI 딥테크 기업 인텔리빅스의 최은수 대표는 12일 서울 대한상공회의소에서 열린 ‘글로벌 인류공영 AI 포럼(GAFH) 2026’ 기조연설에서 “AI 시대의 최종 승자는 가장 자율적인 시스템이 아니라 가장 잘 통제되는 시스템을 설계하는 기업”이라고 강조했다.

이날 최 대표는 ‘신뢰 가능한 AI 설계: 통제가능성과 책임성의 내재화’를 주제로 AI 산업이 맞닥뜨린 새로운 과제와 해법을 제시했다.

그는 AI가 더 이상 디지털 환경에 머무르지 않고 공장과 병원, 도시 인프라 등 현실 세계를 직접 제어하는 ‘행동하는 AI(Acting AI)’ 시대로 접어들었다고 진단했다.

최 대표는 “과거 AI 오류는 잘못된 문장이나 이미지를 생성하는 수준이었지만 이제는 산업 설비와 물리적 장치를 제어하는 단계로 진입했다”며 “단 한 번의 오류가 산업재해나 안전사고로 이어질 수 있는 만큼 AI에도 비상 정지 장치가 필요하다”고 말했다.

인텔리빅스의 최은수 대표가 ‘글로벌 인류공영 AI 포럼(GAFH) 2026에서 를 주제로 한 기조연설을 했다. (사진 제공: 인텔리빅스)

“95% 정확도는 5% 실패를 의미할 수도 있다”

최 대표는 기업들이 강조하는 AI 정확도 지표에 대해서도 경계심을 드러냈다. 실험실 환경에서 측정된 높은 정확도가 실제 산업 현장의 복잡한 변수까지 담보하지는 못한다는 것이다.

그는 “산업 현장에서의 95% 정확도는 반대로 5%의 실패 가능성을 의미한다”며 “더 위험한 것은 AI가 틀린 답을 확신에 차서 제시하는 ‘그럴듯한 오류(Plausible Error)’ 현상”이라고 지적했다. 이어 “환각 현상은 인간의 판단력을 약화시키고 AI를 과도하게 신뢰하게 만들어 결국 기업 책임과 안전 문제로 이어질 수 있다”고 덧붙였다.

이에 대한 대안으로 그는 설계 단계부터 위험 요소를 고려하는 ‘Risk-by-Design’ 철학과 자체 개발한 ‘T.R.U.S.T 프레임워크’를 소개했다. T.R.U.S.T는 데이터 추적성(Traceability), 위험 설계 차단(Risk-by-Design), 인간 통제권(User Control), 이중 검증(Second Validation), 완전한 책임성(Total Accountability)을 핵심 요소로 구성한다.

최 대표는 해당 개념이 적용된 차세대 AI 관제 플랫폼 ‘Gen AMS’ 사례도 공개했다. 이 시스템은 시각언어모델(VLM)을 활용해 위험 상황을 자연어로 설명하고, AI가 내린 판단을 다른 AI가 교차 검증하도록 설계됐다. 최종 결정권은 인간이 보유하며 필요 시 즉시 시스템을 중단하거나 판단을 무효화할 수 있다.

그는 “AI가 판단하고 또 다른 AI가 검증하며 인간이 최종 승인하는 구조가 앞으로 산업 현장의 기본 모델이 될 것”이라고 설명했다.

한국의 경쟁력은 ‘AI 신뢰 표준’

최 대표는 한국이 글로벌 AI 경쟁에서 확보해야 할 차별화 전략으로 ‘AI 신뢰 표준’ 구축을 제안했다.

그는 “한국은 세계 최고 수준의 제조업과 반도체 생산라인, 스마트시티 인프라를 보유한 국가”라며 “범용 AI 모델 경쟁에만 집중하기보다 산업 현장에서 발생하는 예외 상황 데이터를 축적하고 신뢰 가능한 AI 운영 기준을 만드는 데 강점이 있다”고 평가했다. 이어 “기술을 수출하는 것을 넘어 전 세계가 따를 수밖에 없는 AI 신뢰 표준을 정의하는 국가가 되어야 한다”고 강조했다.

한편 이날 열린 ‘글로벌 인류공영 AI 포럼 2026’은 AI 기술 발전과 윤리, 제도적 안전장치, 글로벌 협력 방안을 논의하기 위해 마련됐으며 국내외 AI 전문가와 산업계 관계자들이 참석했다.

“The end of the AI competition is control, not performance”… ‘Trusted AI’ as described by Intellivix CEO Choi Eun-soo

As the competition in generative AI shifts from a focus on performance to safety and accountability, it has been argued that the winner in the AI industry will be the company that creates the most controlled AI, not the smartest AI.

Choi Eun-soo, CEO of safety AI deep tech company Intellivix, emphasized in a keynote speech at the ‘Global AI Forum for Humanity (GAFH) 2026’ held at the Korea Chamber of Commerce and Industry in Seoul on the 12th, “The ultimate winner in the AI era is not the most autonomous system, but the company that designs the best-controlled system.”

On this day, CEO Choi presented the new challenges and solutions facing the AI industry under the theme of “Designing Trustworthy AI: Internalizing Controllability and Accountability.”

He assessed that we have entered the era of ‘Acting AI,’ where AI no longer remains confined to the digital environment but directly controls the real world, including factories, hospitals, and urban infrastructure.

CEO Choi stated, “In the past, AI errors were limited to generating incorrect sentences or images, but we have now entered a stage where it controls industrial equipment and physical devices,” adding, “Since even a single error can lead to industrial accidents or safety incidents, AI also requires an emergency stop mechanism.”

Intellivix CEO Choi Eun-soo delivered a keynote speech titled “Designing Trusted AI: Internalizing Controllability and Accountability” at the Global AI Forum for Humanity (GAFH) 2026. (Photo courtesy of Intellivix)

95% accuracy can mean 5% failure

CEO Choi also expressed caution regarding the AI accuracy metrics emphasized by companies. He pointed out that high accuracy measured in a laboratory environment does not guarantee the complex variables found in actual industrial settings.

He pointed out, “95% accuracy in industrial settings conversely means a 5% possibility of failure,” adding, “What is more dangerous is the phenomenon of ‘plausible errors,’ where AI confidently presents incorrect answers.” He further added, “This delusional phenomenon weakens human judgment and leads to excessive trust in AI, which can ultimately result in corporate liability and safety issues.”

As an alternative, he introduced the ‘Risk-by-Design’ philosophy, which considers risk factors from the design stage, and the self-developed ‘TRUST Framework.’ TRUST consists of data traceability, risk-by-design, user control, second validation, and total accountability as its core elements.

CEO Choi also unveiled a case study of ‘Gen AMS,’ a next-generation AI monitoring platform that applies this concept. This system utilizes a Visual Language Model (VLM) to describe dangerous situations in natural language and is designed to have other AIs cross-verify judgments made by one AI. Humans retain final decision-making authority and can immediately halt the system or invalidate judgments if necessary.

He explained, “A structure where AI makes judgments, another AI verifies them, and humans give final approval will become the basic model for industrial sites in the future.”

Korea’s competitiveness is ‘AI trust standards’

CEO Choi proposed establishing ‘AI trust standards’ as a differentiation strategy that Korea must secure in the global AI competition.

He assessed, “Korea is a nation possessing world-class manufacturing, semiconductor production lines, and smart city infrastructure,” adding, “Rather than focusing solely on competing in general-purpose AI models, it has strengths in accumulating data on exceptional situations occurring in industrial sites and establishing reliable AI operational standards.” He further emphasized, “Beyond exporting technology, we must become a nation that defines AI trust standards that the entire world has no choice but to follow.”

Meanwhile, the ‘Global AI Forum for Humanity 2026’ held on this day was organized to discuss AI technology development, ethics, institutional safeguards, and global cooperation measures, and was attended by domestic and international AI experts and industry officials.

「AI競争の終わりは性能ではなく統制力」…インテリビックスチェ・ウンス代表が言った「信頼できるAI」

生成型AI競争が性能中心から安全性と責任性中心に移行する中で、AI産業の勝者は最もスマートなAIではなく、最もよく制御されるAIを作った企業になるという主張が出た。

安全AIディープテック企業インテリビックスのチェ・ウンス代表は12日、ソウル大韓商工会議所で開かれた「グローバル人類公営AIフォーラム（GAFH）2026」基調演説で「AI時代の最終勝者は最も自律的なシステムではなく最もよく制御されるシステムを設計する企業」と強調した。

この日チェ代表は「信頼できるAI設計：制御可能性と責任性の内在化」をテーマにAI産業が直面した新たな課題と解決法を提示した。

彼はAIがもはやデジタル環境にとどまらず、工場や病院、都市インフラなど現実世界を直接制御する「行動するAI(Acting AI)」時代に入ったと診断した。

チェ代表は「過去のAIエラーは誤った文章やイメージを生成する水準だったが、今では産業設備と物理装置を制御する段階に入った」とし、「ただ一度のエラーが産業災害や安全事故につながるだけに、AIにも緊急停止装置が必要だ」と話した。

インテリビックスのチェ・ウンス代表が「グローバル人類公営AIフォーラム（GAFH）2026」で「信頼できるAI設計：制御可能性と責任性の内在化」をテーマにした基調演説を行った。 （写真提供：インテリビクス）

「95％の精度は5％の失敗を意味する可能性があります」

チェ代表は企業が強調するAI精度指標に対しても警戒心を表わした。実験室環境で測定された高精度は、実際の産業現場の複雑な変数まで担保できないということだ。

同氏は「産業現場での９５％の精度は逆に５％の失敗の可能性を意味する」とし「より危険なのは、ＡＩが間違った答えを確信に立てて提示する「もっともらしいエラー（Plausible Error）」現象」と指摘した。続いて「幻覚現象は人間の判断力を弱め、AIを過度に信頼させ、結局企業責任と安全問題につながる」と付け加えた。

これに代わって、彼は設計段階からリスク要因を考慮する「Risk-by-Design」哲学と独自開発した「TRUSTフレームワーク」を紹介した。 TRUSTは、データトレーサビリティ（Traceability）、リスク設計ブロック（Risk-by-Design）、人間制御（User Control）、二重検証（Second Validation）、完全な責任性（Total Accountability）をコア要素として構成する。

チェ代表は該当概念が適用された次世代AI管制プラットフォーム「Gen AMS」の事例も公開した。このシステムは、視覚言語モデル（VLM）を活用して危険状況を自然言語で説明し、AIが下した判断を他のAIが交差検証するように設計された。最終決定権は人間が保有し、必要に応じてシステムを中断したり判断を無効にしたりすることができます。

彼は「AIが判断し、別のAIが検証し、人間が最終承認する仕組みが今後、産業現場の基本モデルになるだろう」と説明した。

韓国の競争力は「AI信頼基準」

チェ代表は韓国がグローバルAI競争で確保すべき差別化戦略として「AI信頼標準」構築を提案した。

同氏は「韓国は世界最高水準の製造業と半導体生産ライン、スマートシティインフラを保有した国だ」とし「汎用ＡＩモデル競争だけに集中するよりも産業現場で発生する例外状況データを蓄積し、信頼できるＡＩ運営基準を作ることに強みがある」と評価した。続いて「技術を輸出することを超えて全世界が従うしかないAI信頼基準を定義する国家にならなければならない」と強調した。

一方、この日開かれた「グローバル人類公営AIフォーラム2026」は、AI技術の発展と倫理、制度的安全装置、グローバル協力方案を議論するために設けられ、国内外のAI専門家と産業界関係者が参加した。

“人工智能竞争的终点在于控制权，而非性能”……正如Intellivix首席执行官崔恩洙所描述的“可信人工智能”。

随着生成式人工智能领域的竞争从关注性能转向关注安全性和可追溯性，有人认为，人工智能行业的赢家将是创造出最可控人工智能的公司，而不是最智能的人工智能的公司。

安全人工智能深度技术公司 Intellivix 的首席执行官崔恩洙在 12 日于首尔韩国工商会举行的“2026 年全球人工智能人类论坛 (GAFH)”的主题演讲中强调：“人工智能时代的最终赢家不是最自主的系统，而是设计出控制最好的系统的公司。”

当天，崔首席执行官以“设计值得信赖的人工智能：内部控制和问责制”为主题，介绍了人工智能行业面临的新挑战和解决方案。

他认为我们已经进入了“行动型人工智能”时代，人工智能不再局限于数字环境，而是直接控制现实世界，包括工厂、医院和城市基础设施。

崔首席执行官表示：“过去，人工智能的错误仅限于生成错误的句子或图像，但我们现在已经进入了它控制工业设备和物理装置的阶段。”他补充道：“由于即使是单个错误也可能导致工业事故或安全事件，因此人工智能也需要紧急停止机制。”

Intellivix首席执行官崔恩洙在2026年全球人工智能人类论坛（GAFH）上发表了题为“设计可信赖的人工智能：内部化可控性和问责制”的主题演讲。（图片由Intellivix提供）

95%的准确率可能意味着5%的失败率。

崔CEO也对企业强调的AI准确率指标表示谨慎。他指出，在实验室环境下测得的高精度并不能保证实际工业环境中存在的复杂变量也能得到有效衡量。

他指出，“在工业环境中，95%的准确率反过来意味着5%的失败概率”，并补充道，“更危险的是‘似是而非的错误’现象，即人工智能自信地给出错误答案。”他进一步指出，“这种错觉现象会削弱人类的判断力，导致对人工智能的过度信任，最终可能导致企业责任和安全问题。”

作为替代方案，他引入了“风险设计”理念，从设计阶段就考虑风险因素，以及他自己开发的“TRUST框架”。TRUST的核心要素包括数据可追溯性、风险设计、用户控制、二次验证和全面问责。

崔CEO还公布了应用此理念的下一代AI监控平台“Gen AMS”的案例研究。该系统利用视觉语言模型（VLM）以自然语言描述危险情况，并设计成由其他AI交叉验证单个AI的判断。最终决策权仍归人类所有，必要时可以立即停止系统或撤销判断。

他解释说：“人工智能做出判断，另一个人工智能验证这些判断，最后由人类进行最终批准，这样的结构将成为未来工业场所的基本模型。”

韩国的竞争力在于“人工智能信任标准”。

CEO Choi 提议建立“人工智能信任标准”，作为韩国在全球人工智能竞争中必须确保的差异化战略。

他评价道：“韩国拥有世界一流的制造业、半导体生产线和智慧城市基础设施。”他补充说：“与其仅仅专注于通用人工智能模型的竞争，韩国的优势在于积累工业现场特殊情况的数据，并建立可靠的人工智能运行标准。”他进一步强调：“除了出口技术，我们还必须成为一个制定人工智能信任标准的国家，让全世界都不得不遵循。”

与此同时，当天举办了“2026年全球人工智能造福人类论坛”，讨论人工智能技术发展、伦理、制度保障和全球合作措施，国内外人工智能专家和行业官员出席了论坛。

« L’enjeu de la compétition en IA, c’est le contrôle, pas la performance »… L’« IA de confiance », selon Choi Eun-soo, PDG d’Intellivix.

Alors que la compétition dans le domaine de l’IA générative passe d’une focalisation sur la performance à une focalisation sur la sécurité et la responsabilité, certains affirment que le gagnant dans l’industrie de l’IA sera l’entreprise qui créera l’IA la plus contrôlée, et non l’IA la plus intelligente.

Choi Eun-soo, PDG d’Intellivix, société de technologies de pointe spécialisée dans l’IA de sécurité, a souligné lors de son discours d’ouverture au « Forum mondial sur l’IA pour l’humanité (GAFH) 2026 » qui s’est tenu à la Chambre de commerce et d’industrie de Corée à Séoul le 12 : « Le grand gagnant à l’ère de l’IA n’est pas le système le plus autonome, mais l’entreprise qui conçoit le système le mieux contrôlé. »

Ce jour-là, le PDG Choi a présenté les nouveaux défis et solutions auxquels est confrontée l’industrie de l’IA sous le thème « Concevoir une IA digne de confiance : internaliser la contrôlabilité et la responsabilité ».

Il a estimé que nous sommes entrés dans l’ère de « l’IA agissante », où l’IA ne reste plus confinée à l’environnement numérique mais contrôle directement le monde réel, y compris les usines, les hôpitaux et les infrastructures urbaines.

Le PDG Choi a déclaré : « Auparavant, les erreurs d’IA se limitaient à la génération de phrases ou d’images incorrectes, mais nous sommes maintenant entrés dans une phase où elle contrôle les équipements industriels et les dispositifs physiques », ajoutant : « Étant donné qu’une seule erreur peut entraîner des accidents industriels ou des incidents de sécurité, l’IA nécessite également un mécanisme d’arrêt d’urgence. »

Choi Eun-soo, PDG d’Intellivix, a prononcé un discours d’ouverture intitulé « Concevoir une IA de confiance : internaliser la contrôlabilité et la responsabilité » lors du Forum mondial sur l’IA pour l’humanité (GAFH) 2026. (Photo : Intellivix)

Une précision de 95 % peut entraîner un taux d’échec de 5 %.

Le PDG Choi a également exprimé des réserves quant aux indicateurs de précision de l’IA mis en avant par les entreprises. Il a souligné qu’une précision élevée mesurée en laboratoire ne garantit pas la prise en compte des variables complexes rencontrées dans les environnements industriels réels.

Il a souligné : « Une précision de 95 % en milieu industriel signifie, à l’inverse, une probabilité d’échec de 5 % », ajoutant : « Le phénomène des “erreurs plausibles”, où l’IA fournit avec assurance des réponses incorrectes, est encore plus dangereux. » Il a poursuivi : « Ce phénomène trompeur affaiblit le jugement humain et conduit à une confiance excessive dans l’IA, ce qui peut, à terme, engager la responsabilité des entreprises et engendrer des problèmes de sécurité. »

En guise d’alternative, il a introduit la philosophie du « risque par la conception », qui prend en compte les facteurs de risque dès la phase de conception, et le « cadre TRUST » qu’il a lui-même développé. TRUST repose sur la traçabilité des données, la prise en compte du risque par la conception, le contrôle par l’utilisateur, une seconde validation et une responsabilité totale.

Le PDG Choi a également présenté une étude de cas de « Gen AMS », une plateforme de surveillance par IA de nouvelle génération qui applique ce concept. Ce système utilise un modèle de langage visuel (VLM) pour décrire les situations dangereuses en langage naturel et est conçu pour permettre à d’autres IA de vérifier les décisions prises par une IA. Les humains conservent le pouvoir de décision final et peuvent immédiatement arrêter le système ou invalider les décisions si nécessaire.

Il a expliqué : « Une structure où l’IA émet des jugements, une autre IA les vérifie et les humains donnent l’approbation finale deviendra le modèle de base des sites industriels à l’avenir. »

La compétitivité de la Corée repose sur des « normes de confiance en matière d’IA ».

Le PDG Choi a proposé d’établir des « normes de confiance en matière d’IA » comme stratégie de différenciation que la Corée doit impérativement mettre en œuvre dans la compétition mondiale en matière d’IA.

Il a déclaré : « La Corée possède une industrie manufacturière de pointe, des lignes de production de semi-conducteurs performantes et une infrastructure de ville intelligente. » Il a ajouté : « Plutôt que de se concentrer uniquement sur la compétition dans le domaine des modèles d’IA généralistes, elle a pour atouts la collecte de données sur les situations exceptionnelles survenant sur les sites industriels et l’établissement de normes opérationnelles fiables pour l’IA. » Il a insisté : « Au-delà de l’exportation de technologies, nous devons devenir une nation qui définit des normes de confiance en matière d’IA que le monde entier se doit de suivre. »

Parallèlement, le « Forum mondial sur l’IA pour l’humanité 2026 », organisé ce jour-là, visait à discuter du développement de la technologie de l’IA, de son éthique, des garanties institutionnelles et des mesures de coopération mondiale, et a réuni des experts en IA et des représentants de l’industrie nationaux et internationaux.