在 Kaggle 上推出社区基准

Source: Dev.to

为什么社区驱动的评估很重要

AI 能力发展得如此之快，以至于评估模型表现变得困难。前不久，单一的准确率分数在静态数据集上就足以判断模型质量。如今，随着大语言模型（LLM）成为能够协作、编写代码并使用工具的推理代理，静态指标和简单评估已不再足够。

Kaggle 社区基准为开发者提供了一种透明的方式来验证特定用例，并弥合实验代码与生产就绪应用之间的差距。真实世界的用例需要更灵活、透明的评估框架，社区基准提供了由每天构建和部署这些系统的用户共同塑造的动态、严格且持续演进的方法。

如何在 Kaggle 上构建自己的基准

基准从构建 任务 开始，任务范围可以包括评估多步推理和代码生成、测试工具使用或图像识别等。一旦拥有任务，就可以将它们添加到基准中，以在这些任务上评估并排名所选模型。

创建任务

任务用于测试 AI 模型在特定问题上的表现。它们让你能够在不同模型之间运行可复现的测试，以比较准确率和能力。

创建基准

在创建一个或多个任务后，将它们组合成一个 基准。基准让你能够在一套领先的 AI 模型上运行任务，并生成排行榜以跟踪和比较性能。

好处

• 广泛的模型访问 – 免费（在配额限制内）使用来自 Google、Anthropic、DeepSeek 等实验室的最先进模型。
• 可复现性 – 基准捕获精确的输出和模型交互，便于审计和验证结果。
• 复杂交互 – 支持多模态输入、代码执行、工具使用和多轮对话。
• 快速原型 – 快速设计并迭代创意新任务。

这些功能由全新的 kaggle‑benchmarks SDK（GitHub 仓库）提供支持。

资源

• 基准使用手册 – 高级功能和使用案例指南。
• 示例任务 – 各种预构建任务，供你获取灵感。
• 入门指南 – 如何创建你的第一个任务和基准。

我们如何塑造 AI 评估的未来

AI 进步的未来取决于模型的评估方式。借助 Kaggle 社区基准，Kaggle 用户不再仅仅是测试模型——他们正在帮助塑造下一代智能。

准备好动手了吗？今天就尝试 社区基准 吧。