[Paper] 集群工作负载分配：使用自然语言处理的语义软亲和

Source: arXiv - 2601.09282v1

概述

本文提出了一种在 Kubernetes 集群上调度工作负载的新方法，允许用户用自然语言表达放置偏好。通过将大型语言模型（LLM）接入 Kubernetes 调度器，系统将自然语言的“提示”转换为软亲和规则，从而显著降低 DevOps 团队和开发者在微调 Pod 放置时的专业门槛。

关键贡献

• 意图驱动调度：引入一种语义“软亲和”模型，其中分配提示使用自然语言编写，而不是 YAML 编码的选择器。
• LLM 驱动的调度器扩展：实现了一个 Kubernetes 调度器扩展器，调用 LLM（通过 AWS Bedrock）即时解析提示并生成亲和/反亲和约束。
• 集群状态缓存：添加了一个轻量级的节点资源缓存，使 LLM 调用保持无状态，并足够快速以用于调度决策。
• 实证评估：展示了在顶级 LLM（Amazon Nova Pro/Premier、Mistral Pixtral Large）中解析意图的子集准确率超过 95 %，并在六个测试场景中证明了其放置质量能够达到或超越手工编写的 Kubernetes 配置。
• 开源原型：提供了一个参考实现，可直接嵌入现有集群进行实验。

方法论

1. 注解设计 – 开发者在 pod 规范中使用自由形式的 intent 字段进行注解（例如 “在至少拥有 8 GiB RAM 的节点上运行此服务，并避免在托管数据库 pod 的节点上运行”）。
2. 调度器扩展钩子 – 当默认调度器进入 “filter” 阶段时，扩展器会将 intent 字符串以及当前集群状态的快照转发给 LLM 接口。
3. 意图分析器 – LLM 解析自然语言，提取约束（CPU、内存、节点标签、共址偏好等），并返回结构化的 JSON，扩展器再将其转换为 Kubernetes 的 nodeAffinity、podAffinity 和 podAntiAffinity 对象。
4. 缓存层 – 为避免在每次请求时拉取完整的集群状态，使用 Kubernetes watch API 维护一个轻量级的内存缓存，确保 LLM 查看的是近期的节点容量视图。
5. 评估设置
   • 解析准确率：构建了 500 条 intent 语句的真实标签数据集；对每个 LLM 测量子集准确率（所有约束均正确）。
   • 调度质量：在 12 节点测试集群上运行六种真实工作负载组合（CPU 密集、内存密集、混合、冲突的软偏好等），将得到的 pod 分布与手动调优的亲和规则以及基线启发式解析器进行比较。

结果与发现

*延迟从意图接收至亲和对象生成；同步 LLM 调用主导了这段时间。

• 解析：所有测试的 LLM 在绝大多数情况下都能正确识别每个约束；错误大多源于表述歧义。
• 放置：在简单场景下原型匹配手工规则；在复杂或冲突的软亲和场景中，它通过更好地平衡资源利用并遵循用户意图，优于手动配置。
• 冲突解决：系统会优雅地降低低置信度约束的优先级，即使用户提示冲突，也能产生可行的放置方案。

实际影响

• 降低学习曲线 – 运维团队现在可以表达“在快速节点上运行，但不要靠近缓存层”，而无需精通完整的 Kubernetes 亲和性语法。
• 快速原型 – 开发者可以通过编辑注释来迭代放置策略，而无需使用复杂标签选择器重新部署 YAML。
• 跨团队协作 – 产品经理或架构师可以用自然语言传达高级放置策略，系统会自动执行。
• SaaS 扩展的潜力 – 云服务提供商可以将“基于意图的调度”作为托管功能提供，让客户在无需深入了解集群的情况下微调成本与性能。
• 集成路径 – 该扩展器是即插即用组件；现有集群可以逐步采用，对未标注意图的 Pod 回退到默认调度器。

限制与未来工作

• 同步延迟 – 实时 LLM 调用会增加明显的开销；作者建议改为使用异步队列，在意图预处理并缓存后再调用。
• 模型依赖 – 准确性取决于所选的 LLM；更新的模型可能提升解析能力，但也会提升成本。
• 安全性与合规性 – 将意图字符串发送到托管的 LLM 服务可能在受监管的环境中引发数据隐私问题。
• 缓存的可扩展性 – 在非常大的集群（数百个节点）中，内存快照可能成为瓶颈；分布式缓存是一个可能的扩展方向。
• 更广泛的意图范围 – 未来工作可以探索时间约束（“仅在工作时间运行”）或成本感知提示（“优先使用抢占实例”）。

通过展示 LLM 能够可靠地将人类友好的调度提示转换为可执行的 Kubernetes 策略，这项研究为更直观、意图驱动的集群管理打开了大门——这对任何希望简化 DevOps 工作流的组织来说都是一个有吸引力的前景。

作者

• Leszek Sliwko
• Jolanta Mizeria-Pietraszko

论文信息

• arXiv ID: 2601.09282v1
• 分类: cs.AI, cs.DC, cs.LG, cs.SE
• 发表时间: 2026年1月14日
• PDF: 下载 PDF