[论文] 经济生产力的尺度定律：在 LLM 辅助的咨询、数据分析和管理任务中的实验证据

发布: 3周前 (2025年12月25日 GMT+8 02:24)

8 min read

原文: arXiv

Source: arXiv - 2512.21316v1

概述

Ali Merali的论文量化了大型语言模型（LLM）背后的计算能力如何转化为咨询、数据分析和管理等知识工作角色的实际生产力。通过对500多名专业人士进行的大规模预注册实验，研究发现了明确的“尺度定律”：每额外一年AI模型进步，任务完成时间大约缩短8%，其中大部分收益来自原始计算增长。

参与者招募 – 通过行业合作伙伴招募了527名专业人士（顾问、数据分析师、经理），并为完成一套真实工作日任务提供报酬。
任务设计 – 每位参与者执行三个代表性任务：
- 咨询：起草客户建议备忘录。
- 数据分析：清洗 CSV，生成描述性统计，并撰写简要洞察摘要。
- 管理：创建项目状态仪表盘并撰写简明更新邮件。
大语言模型条件 – 参与者被随机分配到13种大语言模型中的一种，模型规模约在 1 B 至 175 B 参数之间，涵盖开源和商业产品。每个模型的计算预算（FLOP‑年）取自公开文档。
测量 – 任务完成时间自动记录；质量由盲审专家使用评分标准（清晰度、正确性、相关性）进行评估。
统计分析 – 预先注册的混合效应回归模型将对数任务时间建模为对数计算量的函数，同时控制参与者技能、任务难度和模型系列。对数计算量的回归系数给出尺度指数（≈ ‑0.08，即计算量翻倍可减少约 8 % 的时间）。
分解 – 通过比较在相同计算预算下但采用更新架构的模型，作者分离出算法进步的贡献。

缩放指数：每将训练算力翻倍，平均任务时间约降低 8 %（p < 0.001）。
算力与算法占比：总加速的 56 % 归因于更大的算力；44 % 归因于更聪明的训练技巧、提示工程和微调。
任务类型差异：
- 分析型（非代理） 任务在算力翻倍时最高可实现 12 % 的时间缩减。
- 代理型 任务（需要工具调用、多步规划）仅实现约 4 % 的缩减，表明在需要外部工具编排时收益递减。
质量权衡：在所有模型中，输出质量保持统计上的不变，说明加速并未以牺牲准确性为代价。
生产力预测：假设算力每年增长 2 倍（与近期趋势一致）且采用率保持稳定，模型预测到 2035 年美国知识工作者的生产力累计提升约 20 %。

工具选择：公司可以在报告生成、数据摘要和内部文档等 ROI 最高的任务中，优先使用更大、计算密集的语言模型（LLM）。
工作流重构：对于具备自主性的流程（例如自动化电子表格操作、代码生成），开发者应投入更好的编排层（RAG 流水线、工具调用 API），而不是仅仅依赖模型规模。
成本‑收益建模：尺度定律为 AI 计算与工程投入的预算提供了量化依据——例如，计算投入提升 4 倍可能带来约 30 % 的时间节省，可转化为人工成本下降。
人才策略：提升员工在提示工程和模型选择方面的技能，可在无需额外硬件投入的情况下，获取约 44 % 的生产力提升。
政策与投资：宏观层面的预测支持公共和私人对计算基础设施的资金投入论点，因为其下游经济影响可能与传统的提升生产力技术（如宽带、ERP 系统）相当。