AI技能差距:为何公司仍然找不到AI工程师
Source: Dev.to
请提供您希望翻译的完整文本内容,我将把它翻译成简体中文并保持原有的格式、Markdown 语法以及技术术语不变。谢谢!
Introduction
在过去的两年里,人工智能已成为技术领域最热门的话题。每家公司都想打造 AI 产品,每家初创企业都声称自己是 AI‑first,成千上万的开发者在简历上列出机器学习或生成式 AI。乍一看,市场似乎已经被 AI 人才淹没。如果每个开发者都在学习 AI,那么公司在招聘构建 AI 驱动系统的工程师时应该毫无压力。
然而,技术行业的招聘经理们却报告了相反的情况。招聘人员称,机器学习工程师和 AI 基础设施专家的职位往往要空缺数月。CTO 抱怨,真正了解如何在生产环境中部署 AI 系统的候选人寥寥无几。即使是大型科技公司,也在填补构建可靠机器学习基础设施的岗位时遇到困难。
这种感知供应与实际能力之间的脱节,就是许多工程师现在所称的 AI 技能鸿沟。尽管 AI 教育和工具层出不穷,组织仍然找不到足够懂得设计、部署和维护真实 AI 系统的工程师。
原因很简单:使用 AI 工具并不等同于工程化 AI 系统。
AI用户与AI工程师的区别
当前 AI 热潮中最大的误解之一是,掌握 AI 工具的使用就自动等同于 AI 工程师。现代框架让构建小型机器学习项目变得极其容易。开发者可以:
- 使用高级库训练模型。
- 只需几行代码即可调用 AI API。
- 使用开源工具和预训练模型构建原型。
虽然这些工具极大降低了实验的门槛,但它们并 未 消除在规模化部署 AI 系统时的复杂性。真正的 AI 工程需要深入了解数据管道的运行方式、模型在变化条件下的行为,以及基础设施如何设计以支持持续训练和推理。
例如,构建一个简单的机器学习原型可能只需几小时。而将该模型部署到服务数百万用户、处理流式数据且必须在不可预测的工作负载下保持可靠的生产环境,则是完全不同的挑战。工程师必须考虑:
- 数据版本管理
- 监控管道
- 模型漂移
- 延迟要求
- 基础设施成本
这些问题在教程中很少出现,却主导了真实的机器学习系统。正是由于这种复杂性,能够进行 AI 实验的开发者数量远大于能够构建生产级 AI 系统的工程师数量。
AI 系统是基础设施系统
另一个公司难以找到 AI 工程师的原因是,现代 AI 产品本质上是 基础设施问题,而非纯粹的算法问题。当机器学习从研究阶段转向生产阶段时,周边的工程基础设施比模型本身更为重要。
考虑组织部署大规模 AI 系统时会发生的情况:
- 数据收集与处理 – 必须持续收集并转换数据。
- 特征管道 – 将原始信息转化为模型可用的数据集。
- 训练管道 – 使用更新的数据定期重新训练模型。
- 推理服务 – 在最小延迟下响应用户请求,同时处理不可预测的流量模式。
这些组件每一个都带来了更像 分布式系统设计 而非传统机器学习研究的工程挑战。工程师必须考虑系统可靠性、资源分配、扩展行为和容错性。这些问题的复杂性解释了为何组织常常寻找既具备扎实软件工程技能又拥有机器学习知识的候选人。
换句话说,AI 工程并不只是构建模型;它是围绕这些模型构建 系统。
工程工作中的抽象转变
历史上,软件开发中的每一次生产力提升都推动工程师向更高层次的抽象迈进:
- Assembly → 高级语言 – 开发者不再需要手动管理低级指令。
- 框架与库 – 简化了应用开发,使工程师能够专注于架构和系统设计。
人工智能是这一进程中的又一步。AI 工具现在可以生成样板代码、协助调试并提供实现策略建议。这让工程师可以将更少的时间花在重复性任务上,更多的时间用于系统层面的设计思考。
然而,这一转变 并未 减少对工程师的需求。相反,它改变了组织最看重的技能。能够理解分布式系统、数据基础设施和大规模架构的工程师,随着系统日益复杂而变得更加重要。
这也是 AI 技能差距仍然存在的一个原因。虽然许多开发者能够编写与 AI 相关的代码,但真正懂得如何设计可靠的 AI 驱动系统的人却少之又少。
为什么教程不能培养 AI 工程师
AI 课程和教程的流行让许多开发者接触到了机器学习概念,但这些教育资源往往更侧重 模型训练,而不是 系统工程。学生们学会了:
- 对数据集进行实验
- 调整模型参数
- 评估算法性能
虽然这些技能很有价值,但它们只占真实 AI 工程工作的一小部分。在生产环境中,工程师必须处理:
- 杂乱的数据管道
- 不一致的数据来源
- 随时间持续演化的系统
- 为确保准确性而进行的持续模型监控,以应对用户行为的变化
- 支持大规模训练作业的基础设施
(…原文在此处意外中断。)
Source:
AI 在招聘过程中的角色
讽刺的是,AI 本身已经开始影响工程师为获得这些职位所需的技术面试做准备的方式。候选人现在使用 AI 驱动的工具来复习系统设计概念、模拟编码面试,并完善对复杂思想的解释。一些实时面试副驾甚至在现场对话中帮助候选人构建答案结构或回忆相关概念。
基于浏览器的架构使这些系统能够与视频会议平台并行运行,而不会干扰面试环境。诸如 Ntro.io 之类的工具展示了 AI 如何帮助候选人在技术面试中组织思路,尤其是在讨论复杂系统架构或分布式基础设施时。
公司最终是选择拥抱还是限制此类工具仍是一个未解之谜,但它们的出现反映了一个更广泛的现实:AI 正在融入工程工作流的每个阶段,包括招聘。
AI工程角色的未来
尽管围绕 AI 自动化的热议不断,但能够构建和管理 AI 系统的工程师需求仍可能保持强劲。随着组织将机器学习整合到更多产品和服务中,底层基础设施的复杂性将持续提升。能够:
- 设计可扩展的数据管道
- 稳定地部署模型
- 确保系统在真实环境下行为可预测
的工程师将仍然是必不可少的。
事实上,AI 的增长可能会进一步提升对具备这些技能的工程师的需求。随着公司在各行业部署 AI 驱动的系统,他们需要能够安全、有效地整合这些技术的专业人才。
人工智能并不是在消除工程岗位,而是通过将关注点转向更高层次的抽象和系统设计,重新塑造了这一职业。
Final Thoughts
“每个人现在都是 AI 工程师”的说法忽视了构建真实 AI 系统所涉及的复杂性。虽然现代工具让机器学习实验变得更容易,但在大规模部署 AI 仍是技术行业中最具挑战性的工程难题之一。
这正是 AI 技能鸿沟仍然存在的原因。能够使用 AI 工具进行实验的开发者数量正在快速增长,但能够设计可靠 AI 基础设施的工程师数量仍相对有限。
对于愿意投入系统设计、分布式基础设施和机器学习运维的工程师而言,这一鸿沟代表了巨大的机会。AI 的未来不会由有多少开发者会调用 API 来定义,而是由有多少工程师能够构建让人工智能在真实世界中可靠运行的系统来决定。