我使用 Google Kaggle 构建 Cyber Threat Intelligence Agent 的旅程

Source: Dev.to

Introduction

嗨！我是一名来自印度的网络安全威胁情报学生。最近，我参加了 Google × Kaggle AI Agents Intensive 课程。作为我的毕业项目，我决定构建一个网络威胁情报（CTI）代理，旨在实现威胁研究、关联和报告的自动化。在本文中，我将介绍为什么选择这个项目、我是如何构建的、学到了什么以及最终的成果。

Why a Threat‑Intel Agent?

• 网络安全环境日益复杂；SOC 团队和防御者被大量警报、CVE、日志以及来自众多来源的威胁数据所淹没。
• 手动的威胁情报工作流（查找漏洞、关联 IOC、研究威胁背景、撰写报告）容易出错且速度慢。
• 我想探索现代 AI 代理如何通过自动化数据收集、分析、关联以及生成结构化报告来提供帮助。
• 这个问题非常适合自动化和代理式 AI。

Overview of the Agent

在毕业项目中，我创建了 AI Cyber Threat Intel Agent。

• 它采用多代理架构：一个管道，其中子代理执行诸如摄取、分析和报告等离散任务。
• 支持自定义安全工具（例如 CVE 查询、威胁情报抓取、日志解析）。
• 保持持久的调查上下文/记忆（会话存储 + 长期威胁情报存储），以便可以重复使用累计的情报。
• 输入可以是漏洞（如 CVE）、日志或威胁指示器；代理会获取相关情报、进行分析、关联，并生成包含上下文信息和风险评估的结构化威胁报告。
• 使用 Python 实现，基于课程提供的代理框架。

My Demo & Results

使用 AI Cyber Threat Intel Demo notebook，我对代理进行了以下示例输入的测试：

• CVE 查询（漏洞）
• 示例安全日志事件（登录失败、可疑 IP）
• 威胁指示器（可疑哈希或域名）

代理收集了关于该漏洞及已知利用活动的公开情报，将其与提供的日志或指示器数据进行关联，并生成了一份合并的威胁情报报告，概括了发现、历史背景、严重性以及可操作的建议（例如补丁建议、加固措施）。这展示了 AI 驱动的工作流如何在早期威胁情报阶段减少人工工作，并即时交付干净的审计报告。

What I Learned from the Intensive Course and My Capstone Work

• 构建多代理管道迫使我以模块化的方式思考（摄取 → 分析 → 报告），这与真实的 SOC 工作流相呼应，使系统具备可扩展性。
• 维护状态和上下文至关重要；威胁情报往往跨越多个来源和事件，如果没有记忆，关联信息会丢失。
• 将结构化数据（CVE、日志）与非结构化情报（报告、论坛、OSINT 源）相结合是 AI 代理的强项——它们能够解析、摘要并关联不同的信息。
• 即使是演示，也显示出加速分流和情报工作流的潜力，暗示了 AI 与人工分析师在网络安全中的协作方式。

Challenges & What I Would Improve

• 真实世界的数据源往往杂乱、噪声大且有时不可靠；需要更强的验证、错误处理以及与实时威胁情报源的集成。
• 在生产环境中，必须安全地处理凭证、改进日志记录和审计追踪，并可能需要微调模型或检索管道以提升准确性。
• 未来的扩展可以包括定期的自动化扫描、与安全工具（SIEM、EDR）的集成、自动化告警以及丰富的漏洞上下文（资产特定风险）。

Conclusion & My Thoughts

这个毕业项目和课程是一段强有力的学习经历，展示了代理式 AI 系统如何应用于网络安全挑战。通过自动化数据收集、关联和报告，这类代理有望帮助安全团队减轻工作负担，让分析师有更多时间进行深入调查和响应。我相信 AI 与人工监督的混合模式正是威胁情报的未来。

• GitHub repository:
• Demo Kaggle Notebook: