[Paper] 少提示，多微笑：使用语义工程取代提示工程的 MTP

Source: arXiv - 2511.19427v1

概览

论文 “Prompt Less, Smile More: MTP with Semantic Engineering in Lieu of Prompt Engineering” 解决了开发者在构建 AI 增强软件时日益突出的痛点：需要为大型语言模型（LLM）手工编写提示（prompt）。作者在 Meaning Typed Programming（MTP）框架上加入轻量级的 “语义工程（Semantic Engineering）” 层，使开发者能够直接在代码中嵌入自然语言上下文，显著降低了通常所需的提示工程人工工作量，同时保持——甚至提升——模型性能。

主要贡献

• 语义上下文注解（SemTexts）：一种语言层面的语法，允许开发者为变量、函数和数据结构附加自由形式的自然语言说明。
• 与 MTP 的集成：扩展现有的自动提示生成流水线以消费 SemTexts，将丰富的代码语义转化为高质量的 LLM 提示。
• Jac 语言原型：在实验性 Jac 语言中实现 SemTexts，展示了在不修改底层编译器或运行时的前提下的可行性。
• 真实场景基准套件：精选任务模拟典型的 AI 集成开发情境（如数据清洗流水线、对话代理、代码辅助工具）。
• 实证验证：表明语义工程在基准测试中能够匹配手工提示工程的准确率，同时将开发者时间缩短约 70 %。

方法论

1. 语义丰富化：开发者使用 @semtext 注释为代码构造添加注解（例如 @semtext "this function extracts user intent from chat messages"）。这些注解与抽象语法树一起被解析。
2. 提示合成：MTP 引擎将静态类型信息（如函数签名、变量类型）与提取的 SemTexts 结合，生成结构化提示，向 LLM 同时传达形式化和非形式化的意图。
3. 评估流水线：
   • 基准：12 项任务，涵盖数据转换、UI 生成和自主决策等。
   • 对照组：(a) 纯 MTP（无注解），(b) 传统手工提示工程，(c) 零-shot LLM 使用。
   • 指标：任务成功率、生成文本的 BLEU/ROUGE，以及开发者工作量调查（编写提示所耗时间）。

结果与发现

• 性能持平：增强的 MTP 流水线在成功率和 BLEU 分数上仅比手工提示基线低 1 %。
• 效率提升：开发者只需花费约三分之一的时间来编写完整提示，得益于简洁的自然语言注解。
• 鲁棒性：在需要领域特定推理的任务（如医疗分诊模拟）中，语义注解帮助 LLM 避免了纯 MTP 常出现的误解。

实际意义

• 更快的原型开发：团队可以在无需专门提示工程冲刺的情况下快速构建 AI 驱动的功能（聊天机器人、代码助手、数据流水线）。
• 可维护性：注解与代码并存，后续开发者能够直接在源码中看到预期的 LLM 行为，降低知识流失。
• 工具集成：IDE 插件可以为 @semtext 块提供自动补全，将提示设计提升为一等开发者活动。
• 跨语言潜力：虽然在 Jac 中演示，但该概念可自然映射到任何支持注释或属性的语言，为在主流生态系统（Python 装饰器、Java 注解、TypeScript JSDoc）中的逐步采用打开大门。

局限性与未来工作

• 语言支持：当前原型仅限于实验性 Jac 语言；更广泛的采用需要语言无关的注解标准。
• 注解质量：该方法假设开发者能够简明扼要地表达意图；噪声或歧义的 SemTexts 可能降低提示的忠实度。
• 基准规模：基准套件虽具真实性，但覆盖的领域仍有限；更大、社区驱动的数据集将提升外部有效性。
• 未来方向：作者计划 (1) 开发语言中立的注解方案，(2) 探索通过 LLM 本身自动建议 SemTexts，(3) 在大规模生产代码库中评估该方法。

作者

• Jayanaka L. Dantanarayana
• Savini Kashmira
• Thakee Nathees
• Zichen Zhang
• Krisztian Flautner
• Lingjia Tang
• Jason Mars

论文信息

• arXiv ID: 2511.19427v1
• 分类: cs.SE, cs.AI
• 发布日期: 2025 年 11 月 24 日
• PDF: Download PDF