导致现实破产的信任黑客
Source: Dev.to
Arup 深度伪造欺诈
金融工作人员的视频通话起初看起来完全正常。公司各部门的同事们都已拨入参加紧急会议，甚至包括首席财务官。熟悉的声音在讨论日常业务，视频画质清晰，参与者的举止也显得真实。随后出现了请求：立即转账 2500万美元。
Arup（全球工程咨询公司）的这名员工没有看到的是，通话中的每一个人——除了他自己——都是深度伪造的：由先进的 AI 生成的复制体，骗过了人的直觉，也绕过了公司的安全协议。
这并非科幻小说。2024 年 2 月，香港的一名 Arup 员工在发现欺骗前，授权了 15 笔共计 2560万美元 的转账。攻击结合了多种 AI 技术——语音克隆、面部合成和行为建模——打造出一个可信的企业场景，突破了技术安全措施和人类直觉的双重防线。
AI 驱动的金融欺诈崛起
香港事件不仅是一场昂贵的诈骗，更让我们看到一个未来：人工智能将根本改变金融操纵的方式。随着 AI 系统日益成熟且易于获取，它们不只是改变我们管理金钱的方式——它们正在彻底革新犯罪分子窃取金钱的手段。
“我们今天发布的数据表明，诈骗者的手法在不断演进，”FTC（美国联邦贸易委员会）消费者保护局局长 Christopher Mufarrige 警告道。“FTC 正在密切监测这些趋势，并努力保护美国人民免受欺诈侵害。”
- 仅在 2024 年，消费者因欺诈损失 超过 125亿美元，比前一年增长 25%。
- 合成身份欺诈增长了 18%。
- AI 驱动的欺诈已占所有检测到的欺诈尝试的 42.5%。
规模与影响
- 德勤研究（2024）： 25.9% 的高管报告称在过去 12 个月内遭遇针对财务和会计数据的深度伪造事件。
- 金融服务中心（德勤）： 预测生成式 AI 到 2027 年可能使美国的欺诈损失达到 400亿美元，而 2023 年为 123亿美元（复合年增长率≈32%）。
这些数据展示了攻击者与防御者之间日益扩大的技术差距。虽然金融机构在欺诈检测系统上投入巨大，犯罪分子同样可以使用许多相同的 AI 工具和技术。
当代 AI 欺诈的技术机制
- 数据收集： 机器学习模型抓取社交媒体资料、购买记录和公开记录，构建潜在受害者的详细心理画像。
- 个性化钓鱼： 这些画像用于制定针对性的钓鱼活动，引用目标生活、财务和情感状态的具体细节。
- 语音克隆： 过去需要数小时音频的克隆，现在只需几秒钟的语音即可生成逼真的家庭成员、同事或可信顾问的冒充声音。
“如今的 AI 模型只需要几秒钟的语音录音，就能免费或以极低成本生成高度逼真的语音克隆，”研究深度伪造语音攻击的网络安全研究人员指出。“由于克隆声音的超真实感以及带来的情感熟悉度，这类诈骗极具欺骗性。”
心理操控
AI 在金融操纵中最阴险的能力并非技术层面，而是心理层面。现代算法擅长识别并利用认知偏差、情感脆弱性以及人类几乎无法自觉的决策模式。这标志着从传统欺诈（依赖通用心理技巧）向基于个人响应实时调整的个性化操控引擎的转变。
AI 驱动的操控技术（安大略证券委员会，2024年9月）
- AI 生成的宣传视频，包含“受尊敬行业专家”的虚假推荐。
- 对投资帖子进行精细编辑，提高语法、排版和说服力。
- 算法承诺不切实际的回报，同时使用稀缺性手段和概括性陈述，以规避批判性思考。
研究者总结：
“操控可以有多种形式：AI 算法检测到的人类偏差、针对商品消费的个性化上瘾策略，或是利用个人情绪脆弱状态的手段。”
真实案例研究
- Steve Beauchamp，一位 82 岁的退休老人，向《纽约时报》透露，他在观看深度伪造视频（声称 Elon Musk 推广投资机会）后，耗尽退休金并将 69万美元 投入诈骗计划。
- 一名法国女性因诈骗者使用 AI 生成的内容冒充 Brad Pitt，损失近 100万美元，展示了深度伪造技术如何利用寄生社交关系和情感脆弱性。
机器人顾问与新兴风险
金融服务业对 AI 的拥抱已超出欺诈检测，延伸至投资建议，形成了新的操控向量，模糊了合法算法指导与掠夺性行为之间的界限。
- 管理资产规模： 截至 2024 年，机器人顾问管理的资产超过 80亿美元，预计到 2030 年将达 333.8亿美元。
- 增长率： 复合年增长率 26.71%。
快速扩张带来的竞争压力可能促使平台更倾向于追求互动和收入，而非真正的受托责任。与人类顾问不同，AI 驱动的平台处于监管灰色地带，传统的金融建议规则尚未完全适用于算法决策。
“每个机器人顾问提供商都使用由个人创建的独特算法，这意味着技术不可能完全摆脱人类情感、认知或观点的影响，”研究机器人顾问系统的学者指出。“因此，尽管机器人顾问拥有强大的处理能力，但其给出的任何建议仍可能携带来自数据本身的偏见。”