@@ -339,194 +339,25 @@ source: https://github.com/huggingface/evaluation-guidebook
## 2025：评测要超越简单基准，构建真正可用的模型
> 原文：`yearly_dives/2025-evaluations-for-useful-models.md` （原文标题：Evals in 2025: going beyond simple benchmarks to build models people can actually use）。
>
> ⚠️ 本节为旧版详细版的**压缩版**。各能力类别、数据集链接与最新推荐（2025 年 11 月版）见新版 [[08-2025-Edition]] §3（
### 核心论点
### 核心论点（旧版独有，简要保留）
- 目标应是构建"**工作得好（work well） ，而非追求"通用智能"替人解决问题（顺带制造一串新问题） 。
- 现实依据：Anthropic [ 经济指数报告 ]( https://www.anthropic.com/research/anthropic-economic-index-september-2025-report ) 与 OpenAI [ ChatGPT 使用研究 ]( https://cdn.openai.com/pdf/a253471f-8260-40c6-a2cc-aa93fe9f142e/economic-research-chatgpt-usage-paper.pdf ) 显示 LLM 当前最常见的用途是**助手**： ；模型今年在通用 agent 用例上取得进展 。
- 好助手应做到：面对 query 处理指令**歧义**、构建**逐步计划**、正确 识别所需**资源**、不跑偏地执行计划、 按需**调用工具**、执行中 适应**意外事件**与新信息、且 全程**不胡编（ ）
- 所需能力组合：逐步"推理"、长上下文记忆管理、适应性、低幻觉率，外加数学/代码/工具调用能力 。
- 规模观察：**7B 的模型就能当好 agent 助手**（但再小到 3B 以下会碰到能力壁垒） 。
- 评测方法需**分层**：开发期测**单一能力**、在现实任务上测**集成表现**、在动态环境中探**适应性**。
- 目标应是构建"**工作得好（work well）
- 现实依据：Anthropic 经济指数报告与 OpenAI ChatGPT 使用研究显示， （ ）
- 好助手应做到：处理指令**歧义**、构建**逐步计划**、识别所需**资源**、按需**调用工具**、适应**意外事件**、 全程**不胡编**。
- 规模观察：**7B 的模型就能当好 agent 助手**（再小到 3B 以下会碰到能力壁垒） 。
- 评测方法需**分层**：开发期测单一能力、现实任务上测集成表现、动态环境中探适应性 。
### 单一能力评测（Testing specific capabilities ）
### 各小节摘要（详细内容见 [[08-2025-Edition]] §3 ）
> 注意：若用下列评测来挑选/验证训练方法，最终报告这些指标会略有偏置（训练方法已被导向这些结果）。适合训练中取信号与对比 base/预训练模型 。
#### 推理与常识（Reasoning and commonsense）
- 背景：这类数据集多为 BERT/嵌入模型时代建的"历史"数据集——当年有挑战性（常针对当时模型对抗式构造），现在 1) 太简单 2) 污染/饱和 。
- 定位：只适合**消融或预训练评测** 。
- 质量问题：大型数据集常经 MTurk 快速低成本构建，含错误或低质量问题（现在改用 LLM 生成评测题）。
| 数据集 | 年份 | 说明（链接） |
|---|---|---|
| ARC | 2018 | 小学科学 MCQA，选择对当时的词共现系统对抗式构造；高质量的 `challenge` 子集今天仍用于预训练（[1803.05457 ](https://arxiv.org/abs/1803.05457 )；勿与 ARC-AGI 混淆） |
| WinoGrande | 2019 | 众包（MTurk + 校验）代词消解/填空，对抗式配对；2022–2023 前对模型一直很难（[1907.10641 ](https://arxiv.org/pdf/1907.10641 )）
| HellaSwag | 2019 | 从对抗候选中选正确下一句；文本来自 ActivityNet 字幕与 Wikihow 教程，常需物理常识 grounding；Swag 的后继（[1905.07830 ](https://arxiv.org/abs/1905.07830 )）
| CommonsenseQA | 2018 | 基于 ConceptNet 的常识 MCQA，干扰项用概念相近选项（[1811.00937 ](https://arxiv.org/abs/1811.00937 )）
| PIQA | 2019 | 物理常识题，源自 Instructables.com，对抗选项来自语义扰动/改写（[1911.11641 ](https://arxiv.org/abs/1911.11641 )）
| OpenBookQA | 2018 | 提供 open book 事实辅助答题，但题目仍需潜在常识知识（[1809.02789 ](https://arxiv.org/abs/1809.02789 )）
#### 知识（Knowledge）
- **MMLU ** （ ， 2009.03300 ](https://arxiv.org/abs/2009.03300 )）：主要知识评测集，已饱和/污染；深入检查发现多种问题——残缺问题（引用不存在的文档）、错误 ground truth、歧义问题、明显的美国中心主义选题。
| 数据集 | 年份 | 说明（链接） |
|---|---|---|
| MMLU-Redux | 2024 | MMLU 的清洗版（[2406.04127 ](https://arxiv.org/abs/2406.04127 )）
| MMLU-Pro | 2024 | 更多复杂题与答案，社区当前主要替代品（[2406.01574 ](https://arxiv.org/abs/2406.01574 )）
| Global-MMLU | 2024 | MMLU 翻译 + 文化偏差标注（[2412.03304 ](https://arxiv.org/abs/2412.03304 )）
| GPQA | 2023 | 生物/化学/物理博士级定制题，只有对应领域博士生能答；最常用 `diamond` 子集，2023 发布以来也开始污染（[2311.12022 ](https://arxiv.org/abs/2311.12022 )）
| Humanity's Last Exam（ ） agi.safe.ai ](https://agi.safe.ai/ )）
- HLE 的问题：无法快速按 ground truth 打分，大家改用 **LLM judge ** 评估答案 → 野外结果不可比。
- 用途：MMLU 系列多用于**预训练评测与消融**；后训练用更硬的 GPQA/HLE。
- 作者预测"潜在知识"评测将逐步淡出（训练期仍可用 MMLU-Pro、后训练用 GPQA/HLE），两个原因：
1. 对人类越来越**不可读**：题太难，非专家无法理解每题的意义（也无法核查数据集本身有没有错）。
2. 模型连上工具（如联网）后，潜在知识评测逐渐变成**搜索与检索评测**——从闭卷考试走向开卷考试（类比法国教育：高中闭卷，大学假设可查数据库/网络，评分更多看"给自由信息后的推理"）。
#### 数学（Math）
- 数学评测长期被当作推理与逻辑的代理。
- 参考集：**GSM8K**（ ， 2110.14168 ](https://arxiv.org/abs/2110.14168 )，小学应用题）与 **MATH ** （ ， 2103.03874 ](https://arxiv.org/abs/2103.03874 )，网上奥林匹克题聚合），近年已饱和/污染。
| 数据集 | 年份 | 说明（链接） |
|---|---|---|
| GSM1K | 2024 | GSM8K 重做 1K 新题，测哪些模型在 GSM8K 上污染（[2405.00332 ](https://arxiv.org/abs/2405.00332 )）
| GSM-Plus | — | GSM8K 对抗式改写：干扰项、数值变化等（[2402.19255 ](https://arxiv.org/pdf/2402.19255 )）
| GSM-Symbolic | 2024 | 把 GSM8K 改写成问题模板、可无限再生成防污染；用得少但很有意思（[2410.05229 ](https://arxiv.org/abs/2410.05229 )）
| MATH-500 | — | 500 题代表性子集，避免过拟合（[HF 数据集 ](https://huggingface.co/datasets/HuggingFaceH4/MATH-500 )）；另有 MATH-Hard（最难的 500 题） |
| AIME 24/25 | 2024/2025 | 美国高中生奥赛，按发布年原样使用；每年题目难度相当，可用"发布年成绩 vs 上一年度题成绩"测污染（[24 ](https://huggingface.co/datasets/HuggingFaceH4/aime_2024 )、[25 ](https://huggingface.co/datasets/math-ai/aime25 )）
| Math-Arena | — | 持续更新的竞赛/奥赛汇总，含 AIME25 及大量其他竞赛（[matharena.ai ](https://matharena.ai/ )）
| FrontierMath | 2024 | 数学家为评测专门撰写的显著更难的题，理论私密（但 OpenAI 疑似接触过部分数据）（[2411.04872 ](https://arxiv.org/abs/2411.04872 )）
- 观察：大多数上述数据集已"没那么难"（止步小学水平，GSM-Symbolic 可生成更多递归层级的题使其合成地变难）；HLE 里也有需复杂推理（含定理证明）的数学题。
- 作者建议：预训练评测用 **AIME25 与 MATH-500 ** ，后训练用 **Math-Arena ** 。
#### 代码（Code）
- 理由：agent 要与工具交互就需要编码能力（代码 agent 直接调工具；code/json agent 都要能调试工具输出，区别见 [agents course ](https://huggingface.co/learn/agents-course/en/unit2/smolagents/tool_calling_agents )）；代码评测也是推理的好代理。
| 数据集 | 年份 | 说明（链接） |
|---|---|---|
| MBPP | 2021 | 1K 众包 Python 入门题（[2108.07732 ](https://arxiv.org/abs/2108.07732 )）
| APPS | 2021 | 10K 来自面试与分享网站的代码生成题（[2105.09938 ](https://arxiv.org/abs/2105.09938 )）
| HumanEval | 2021 | 随 Codex 发布、专为发布构造的题 + 防危险代码执行的沙箱 + `pass@k` 估计器（[2107.03374 ](https://arxiv.org/abs/2107.03374 )）
| EvalPlus（ ） OpenReview ](https://openreview.net/pdf?id=1qvx610Cu7 )）
| EvoEval | 2024 | HumanEval 语义改写 + 难度标注（[2403.19114 ](https://arxiv.org/abs/2403.19114 )）
| LiveCodeBench | 2024 | 记录题目日期，比较训练前后题目的表现——优秀的防污染基准（[2403.07974 ](https://arxiv.org/abs/2403.07974 )）
| AiderBench | 2024 底上线 | 用 Exercism 数据，专门测**代码编辑与重构**（[leaderboard ](https://aider.chat/docs/leaderboards/ )）
| RepoBench | 2023 | 仓库级自动补全（Python/Java），跨文件/文件内函数，retrieval/completion/组合多层测试（[2306.03091 ](https://arxiv.org/abs/2306.03091 )）
| SWE-Bench | 2024 | GitHub 真实 issue 求解：逻辑理解、跨文件编辑与执行、长上下文推理；推荐高质量子集 **SWE-Bench verified ** （ OpenReview ](https://openreview.net/pdf?id=VTF8yNQM66 )）
- 作者建议关注 LiveCodeBench、AiderBench、SWE-Bench verified，并读 [METR 报告 ](https://metr.org/blog/2025-07-10-early-2025-ai-experienced-os-dev-study/ ) 了解真实代码助手有用性。
#### 长上下文（Long context）
- 背景：3 年前最大上下文还是 2048 token，现在普遍 128K 以上。
| 数据集 | 年份 | 说明（链接） |
|---|---|---|
| NIAH（ ） gkamradt 仓库 ](https://github.com/gkamradt/LLMTest_NeedleInAHaystack )）
| RULER | 2024 | 多跳追踪（追踪变量链求值）、词频变化、NIAH 的 QA 变体；也接近解决（[2404.06654 ](https://arxiv.org/pdf/2404.06654 )）
| Michelangelo / MRCR | 2024 | 多轮共指：精确复现上下文唯一片段、识别相关信息是否存在、理解文本修改序列；OpenAI 2025 扩展为 [OpenAI MRCR ](https://huggingface.co/datasets/openai/mrcr )（ 2409.12640 ](https://arxiv.org/pdf/2409.12640v2 )）
| InfinityBench | 2024 | 中英多语言，100K token 合成数据，覆盖 QA、NIAH 式检索、超长上下文计算等；仍有信号（[2402.13718 ](https://arxiv.org/abs/2402.13718 )）
| HELMET | 2024 | 任务与现有基准的大聚合：RAG/QA（ （ （ 2410.02694 ](https://arxiv.org/abs/2410.02694 )）
| Novel Challenge | 2024 | 关于近一年出版虚构小说的 1K 真/假判断题，由读者出题，须读完并理解全书（[2406.16264 ](https://arxiv.org/abs/2406.16264 )）
| Kalamang 翻译集 | 2024 | 模型须读语法书后把英语译成 Kalamang——仅约 200 使用者的极低资源语言、无网络存在；可扩展到其他低资源语言，并可用规则语法检查器做严格准确率而非 BLEU（[2309.16575 ](https://arxiv.org/abs/2309.16575 )）
- 提醒：聚合基准有**重复测量**风险——别同时测 HELMET 和 InfinityBench 再合并结果（等于同一评测跑两遍）。
#### 指令遵循（Instruction Following）
- 两大数据集：**IFEval**（ ， 2311.07911 ](https://arxiv.org/abs/2311.07911 )）与扩展 **IFBench ** （ ， 2507.02833 ](https://arxiv.org/abs/2507.02833 )）。
- 作者评价：IFEval 是近几年最聪明的评测思路之一——要求模型遵循**格式指令**（关键词、标点、字数/句数、markdown/html 等文件类型格式），每个条件可用特定解析测试检查。
- 意义：少数**不依赖模型评委也能得到严格分数**的自由生成评测，属功能性正确/单元测试类评测（作者最偏爱的评测方式），也易再生成/扩展防污染。
- 反方向（non-compliance）：**CoCoNot**（ ， 2407.12043 ](https://www.arxiv.org/pdf/2407.12043 )）测模型对不完整（未说明/不清晰）、不可回答（缺信息、AI 化、常触发幻觉）、不安全请求是否会拒绝遵循；人工写 query + 模型写违规请求再过滤，作为分类问题评测。
#### 工具调用（Tool-calling）
- 背景：工具的出现是把 LLM 推向 agentic 的关键之一。
| 数据集 | 年份 | 说明（链接） |
|---|---|---|
| TauBench | 2024 | 零售与航空领域查询求解（下单/预订/查产品等），合成样本模拟真实领域数据；判对标准：1) 动作正确更新数据库 2) 恰当回答用户；用户由 LLM 模拟（成本高、易错），但贴合真实用例、用得很多（[2406.12045 ](https://arxiv.org/pdf/2406.12045 )）
| ToolBench | 2023 | 调 API（ 2305.16504 ](https://arxiv.org/pdf/2305.16504 )）
| StableToolBench | 2025 | 用通用 VirtualAPIServer 全部 mock 保证稳定，但引入 LLM judge 评分（又多一层偏差）（[2403.07714 ](https://arxiv.org/pdf/2403.07714 )）
| BFCL | 2025 版 | 4 个子集：单轮简单调用、众包真实用户函数调用、多轮对话、agentic（web 搜索、记忆、SQL 数据交互）；用 AST、执行响应与状态匹配判对；v3 测工具调用、v4 测 web/search 工具（[OpenReview ](https://openreview.net/pdf?id=2GmDdhBdDk )）
| MCPBench | 2025 | 接真实 MCP 服务器（Wikipedia、HF、Reddit、Steam、arxiv 等），多轮合成任务；规则检查工具调用有效性 + LLM judge 评回答（[2508.20453 ](https://arxiv.org/abs/2508.20453 )）
| MCP-Universe | 2025 | 11 个真实主题 MCP 服务器（IRL 导航、3D 设计、web 搜索等）；多个严格评估器（格式 + 两个答案正确性）；动态任务用**基于任务执行的框架**自动抓最新正确答案对比——比 LLM judge 干净得多（[2508.14704 ](https://arxiv.org/abs/2508.14704 )）
| LiveMCPBench | 2025 | 大规模本地可部署 MCP 服务器集合，测模型在工具间分辨挑选的能力；最强模型已到 80%，接近饱和；"超长工具列表中选对工具"会随 web mcp 化越来越重要（[2508.01780 ](https://arxiv.org/abs/2508.01780 )）
- 附：[Anthropic 的"为 agent 写工具"文档 ](https://www.anthropic.com/engineering/writing-tools-for-agents )。
- 过渡语：单项能力评测有价值，但真实助手表现来自能力组合——推理必须与工具调用、长上下文管理同时进行，所以需要"多能力编排"的评测。
### 助手任务（Assistant tasks）
- 作者认为这是下一代评测的主流方向：解一个助手任务需组合大量能力（长上下文、推理、工具调用…），同时具体领域表现被放进真实有用场景；比单项能力基准**更易懂**。
- 足够通用时，不检查用了什么具体工具，只看**最终结果对不对**（复杂任务有多条成功路径）。
#### 真实信息检索（Real life information retrieval）
| 数据集 | 年份 | 说明（链接） |
|---|---|---|
| GAIA | 2023 | 开创现代 agentic 评测——组合工具、推理、检索解真实查询（有时含文档）；3 个难度级别，第一级已饱和、第三级仍难；公开榜见 [leaderboard ](https://huggingface.co/spaces/gaia-benchmark/leaderboard )；分数因评测方式（公开验证集 vs LLM judge 评私有测试集）差异很大（[2311.12983 ](https://arxiv.org/abs/2311.12983 )）
| BrowseComp | 2025 | 测同样的事（用工具与在线信息找到具体查询的答案），但**结果不保证唯一**——从结果反推构造问题（如"哪篇关于 Topic 的论文发表在 Conference，作者含一位 Nationality 与两位 Entity 的人？"），多难度；目前可能更难（[OpenAI PDF ](https://cdn.openai.com/pdf/5e10f4ab-d6f7-442e-9508-59515c65e35d/browsecomp.pdf )）
| GAIA2 | — | 用模拟移动环境，测助手靠事件链与工具调用正确回答查询；对 SOTA 模型，搜索与执行已极容易，**时间敏感与刻意加噪（模拟 API 失败）子集**最难（[HF 博客 ](https://huggingface.co/blog/gaia2 )）
#### 科学助手（Science assistants）
| 数据集 | 年份 | 说明（链接） |
|---|---|---|
| SciCode | 2024 | 跨 STEM 领域用写科学代码解真实科研问题；核心问题分解为子问题；初版由科学家 + 模型评委评分，发布时模型表现很差（<5%）（[2407.13168 ](https://arxiv.org/abs/2407.13168 )）
| PaperBench | 2025 | 复现 ML 研究——给定 ICML 高质量论文重建对应代码库（论文作者贡献 8K 个分级任务，rubric 树加权计总分）；LLM judge 评分（作者怀疑部分可约束代码形态来自动化）（[2504.01848 ](https://arxiv.org/abs/2504.01848 )）
| DSBench | 2025 | Kaggle + ModelOff（金融数据）的多模态数据分析；ModelOff 题以多选题形式给出（可能变简单），Kaggle 每题有自己的指标（[2409.07703 ](https://arxiv.org/pdf/2409.07703 )）
| DABStep | 2025 | 用此前私密（未污染）的真实运营数据分析工作负载 + 真实问题与数据；全部需多步推理、多样文档解析、特定数据操作；难、贴近真实、每题有 ground truth → 评测无偏且不算贵（[2506.23719 ](https://arxiv.org/abs/2506.23719 )）
### 游戏化评测（Game-based evaluations）
- 价值：测对**变化环境的适应**（多数助手任务是静态的）、需长上下文推理、**人人都能看懂**。
- 缺点：不扎根真实生活、未必反映真实有用场景的表现。
- **ARC-AGI ** （ arcprize.org ](https://arcprize.org/arc-agi )）：2019 初版是网格拼图序列，无显式规则，找序列最后一项；非常像逻辑导向的 IQ 测试；2024 年几乎被解决。
- **Baba is AI ** （ ， 2407.13729 ](https://arxiv.org/abs/2407.13729 )）：同类规则外推基准。
- **ARC-AGI3 ** （2025，进行中）：整批新游戏（探索、复杂规划、记忆管理等），当前最佳解还在暴力破解。
- 单机冒险/RPG： （ ， HF 博客 ](https://huggingface.co/blog/textquests )）、**Pokemon**（ ， benchflow 仓库 ](https://github.com/benchflow-ai/benchflow/tree/main/libs/pokemon-gym )； Claude plays Pokemon ](https://www.twitch.tv/claudeplayspokemon )、[Gemini plays Pokemon ](https://www.twitch.tv/gemini_plays_pokemon )）——需超长规划、长上下文记忆管理、推理、回溯。
- 生存游戏：**Crafter**（ ， 2109.06780 ](https://arxiv.org/abs/2109.06780 )，
- 环境整合：**Balrog**（ ， 2411.13543 ](https://arxiv.org/pdf/2411.13543 )）整合了多个单人游戏环境。
- 竞争性虚张声势游戏（测逻辑、推理与**欺骗**）：
- **Poker ** （ ， 2501.08328 ](https://arxiv.org/html/2501.08328v1 )）。
- **Town of Salem ** （ ， 仓库 ](https://github.com/summersonnn/Town-Of-Salem-with-LLMs )）。
- **Werewolf 狼人杀 ** （ ， 2407.13943 ](https://arxiv.org/abs/2407.13943 ) / [网站 ](https://werewolf.foaster.ai/ )）。
- 例：Claude Opus 4 当狼人杀里的吸血鬼（欺骗角色）赢不了，但当农民（非欺骗角色）表现好。
- 合作游戏 **Hanabi ** ：测受限环境下的适应与沟通。
- 优势：单一明确的 **pass/fail 指标 ** （赢没赢）。
- 作者当前建议：能力看 TextQuests，安全看 Town of Salem。
### 预测类评测（Forecasters）
- 背景：去年新出现的、**本质上无法污染**的任务类别（股票市场预测理论上可被操纵，但希望还没到为搞坏评测而作弊的激励程度）。
- 定位：需跨来源推理回答尚未发生事件的问题；但不确定区分度是否够强，且可能强化 LLM 的"老虎机式成功"观感——事件上接近随机：因为不可预测还是模型差？反过来，预测对了：题太简单还是太模板化？
| 数据集 | 说明（链接） |
|---|---|
| FutureBench | 预测未来有新闻价值的事件；两个来源——浏览 + LLM 每周时间窗生成问题，以及博彩市场的用户预测；数据重度过滤清洗；模型在人类博彩题上勉强优于随机，在模型生成题上 3/4 成功（后者更简单）（[HF 博客 ](https://huggingface.co/blog/futurebench )）
| FutureX | 用一系列特定网站（预测市场、政府网站、通用排名网站、实时数据平台），模板生成未来事件问题（"STOCK 何时到达 POINT？ 2508.11987 ](https://arxiv.org/abs/2508.11987 )）
| Arbitrage | 类似生成方式，核心差异是时间窗——事件须在 2028 年前解决（[2412.18544 ](https://arxiv.org/pdf/2412.18544 )）
### 2025 年 9 月的推荐评测组合
| 用途 | 推荐评测 |
|---|---|
| 核心能力（模型构建者） | 训练期用旧能力评测；后训练用 MATH500/AIME24、GPQA、IFEval、SWE-Bench；长程评测选一个如 HELMET；面向工具用 TauBench 或 BFCL |
| 核心能力（推理期对比模型） | IFBench、HLE、MathArena、AiderBench 与 LiveCodeBench、MCP-Universe |
| 长时程任务（真实世界表现） | GAIA、DABStep、SciCode 或针对自己用例的领域评测 |
| 游戏（测鲁棒性与适应性的趣味补充） | ARC-AGI3（发布后）、TextQuests；安全相关看 Town of Salem；或任何超越 Poker/Chess/Go 的游戏 |
### 结语
- 领域正从"测孤立技能"走向"测能力编排"以服务真实使用，契合"构建 work well 的模型"的目标。
- 作者希望未来评测更重视**功能性测试**而非模型评委，并保持数据集与任务的可理解性。
- **单一能力评测 ** ：推理与常识（ARC/WinoGrande 等历史数据集，只适合消融与预训练）；知识（MMLU 已饱和，改用 GPQA/HLE）；数学（GSM8K/MATH 饱和，预训练用 AIME25+MATH-500、后训练用 Math-Arena）；代码（关注 LiveCodeBench、AiderBench、SWE-Bench verified）；长上下文（NIAH 接近解决，HELMET 有重复计量风险）；指令遵循（IFEval/IFBench，少数不依赖模型评委的严格评测）；工具调用（TauBench/BFCL/MCP 系基准） 。
- **助手任务 ** （下一代评测主流方向）：GAIA/BrowseComp 真实信息检索、SciCode/PaperBench/DABStep 科学助手——设计得够通用时只看最终结果对不对。
- **游戏化评测 ** ：
- **预测类评测 ** （本质上无法污染）：FutureBench/FutureX/Arbitrage，但区分度存疑。
- **推荐评测组合 ** ：旧版"2025 年 9 月"版已被新版 §3 的"2025 年 11 月"版取代，直接看 [[08-2025-Edition]] §3 末尾 。
- **结语 ** ：领域正从"测孤立技能"走向"测能力编排"，更重视功能性测试而非模型评委 。
---
@@ -539,4 +370,4 @@ source: https://github.com/huggingface/evaluation-guidebook
- 2025 原文（GitHub）：[yearly_dives/2025-evaluations-for-useful-models.md ](https://github.com/huggingface/evaluation-guidebook/blob/main/yearly_dives/2025-evaluations-for-useful-models.md )
- 指南仓库：[huggingface/evaluation-guidebook ](https://github.com/huggingface/evaluation-guidebook )
相关：[[00-Overview]] · [[07-Resources]]
相关：[[00-Overview]] · [[07-Resources]] · 新版对应：[[08-2025-Edition]]
windyboy