windy/my-vault
1
0
Fork 0
Code Issues Pull Requests Packages Projects Releases Wiki Activity
Files
4523ce67b3236f4daf128d6aae36109e0e9dfe4d
my-vault/01_Projects/Personal-Tech/LLM_Evaluation/04-Reference/evaluation-guidebook/06-Yearly-Dives.md
T

51 KiB
Raw Blame History

type, tags, status, created, source
type tags status created source
reference
llm-evaluation
evaluation-guidebook
yearly-dives
active 2026-08-21 https://github.com/huggingface/evaluation-guidebook

Yearly Dives —— 年度深度文章（2023–2025）

本页提炼自 HuggingFace Evaluation Guidebook 的 yearly_dives/ 三个文件（2023 / 2024 / 2025 各一篇年度深度文章），用中文概括其核心观点、数据与讨论话题。文中保留原文的具体链接、论文、模型名、benchmark 名与关键数字，不补充原文没有的内容；论文编号（如 2302.04844）均为 arXiv 号，链接统一放在各条目内。回到原文请见文末「参考资料」。

2023：开源 LLM 之年（Year of open LLMs）

原文：yearly_dives/2023-year-of-open-source.md，首发于 HuggingFace 博客 2023-in-llms。

写作背景与立场

  • Hugging Face 关注开源模型，因为开源让研究可复现、让社区能参与 AI 开发、便于审查模型偏见与局限，并通过复用 checkpoint 降低领域整体碳排放（更多好处见论文 2302.04844）。
  • 范围说明：本文不讨论代码模型。
  • 文章目标：做一次开源 LLM 的年度回顾（retrospective）。

预训练大模型的"配方"（Recipe）

先讲清楚"大模型从哪来"（熟悉可跳过）：

  • 架构（architecture）：模型的具体实现与数学形态——所有参数及其与输入交互的方式。当下大多数高性能 LLM 都是 decoder-only Transformer 的变体（原始 Transformer 论文 1706.03762）。
  • 训练数据集：模型学习的全部样本与文档，决定了学到的具体模式。内容通常是自然语言（法/英/中文等）、编程语言（Python、C 等）、或任何可用文本表达的结构化数据（markdown/latex 表格、公式等）。
  • 分词器（tokenizer）：把文本转成数字的方式，切成 token（词、子词或字符）。词表大小通常 32k–200k。数据集规模常用 token 数衡量，如今从数千亿到数万亿 token。
  • 训练超参数：决定模型如何学习——参数该为每个新样本变多少？模型该多快更新？
  • 选定后还需要：① 大量算力 ② 负责训练与监控的（善良且称职的）人。
  • 训练产物是权重（weights）——即人们讨论"开源预训练模型"时通常指的东西；权重用于推理（inference）（对新输入做预测、生成文本）。
  • 预训练后可做微调（fine-tuning）：在更小、更专业的数据上继续训练以适配特定应用。成本（算力/金钱/环境）远低于从零训练——这正是高质量开源预训练模型价值巨大的原因：算力有限的从业者也能自由使用和基于它构建。

2022：从"规模竞赛"到"数据竞赛"

2022 年及以前的开源模型格局

  • 直到 2022 年初，ML 的趋势是：模型越大（参数越多）性能越好；超过特定规模阈值后能力跃升——两个概念被命名为 emergent abilities（涌现能力）与 scaling laws（缩放定律）。
  • 2022 年发布的开源预训练模型族基本遵循这一范式，具体如下表：
模型族 发布方 最大规模 训练数据 要点
BLOOM BigScience（HF 协调） 176B 参数 350B token，46 种人类语言 + 13 种编程语言 当时最大开源多语言模型
OPT Meta 175B 参数 180B token，多数公开来源 性能与 GPT-3 相当，算力更省
GLM-130B 清华 + 智谱 AI 130B 参数 400B token（The Pile、Wudao 等中英数据） 性能与 GPT-3 相当
Galactica Meta 最高 120B 106B token 科学文献 面向科学的专业模型
GPT-NeoX-20B EleutherAI 20B 500B token 架构/权重/数据全开源
  • BLOOM（论文 2211.05100）：BigScience 是约 1000 名研究者、60 国、250 机构参与的合作项目，与法国 GENCI/IDRIS 合作。decoder-only + 微小改动（post embedding normalization、ALiBi 位置编码）。大部分训练数据连同来源、策展、处理细节一起公开。
  • OPT（论文 2205.01068）：decoder-only，沿用 GPT-3 论文技巧（特定权重初始化、pre-normalization），注意力改为 dense 与 locally banded attention 交替；数据来自图书、Reddit、新闻、Wikipedia 等。
  • GLM-130B（论文 2210.02414）：full transformer + DeepNorm post-layer-normalization + rotary embeddings；数据含 The Pile、Wudao Corpora 及其他中文语料。
  • Galactica 与 GPT-NeoX-20B：多为研究目的发布（GPT-NeoX 提供完整科研产物，RoPE + 注意力/初始化改动）。
  • 昂贵的大模型：100B 参数模型加载通常需约 220GB 内存，绝大多数组织与从业者无法企及。

Chinchilla 范式转变

  • 2022 年 3 月 DeepMind 论文（2203.15556）研究：给定算力预算，token 数与参数数的最优比例是多少？
  • 结论：对平均算力预算，模型应更小但训练数据更多。
  • 其模型 Chinchilla（不开源）：70B 参数（约为上述模型的 1/3），却训练在 1.4T token（3–4 倍数据），性能持平或更好。
  • 这一转变"席卷"了开源科学社区（闭源实验室或许早已知道）。

2023：开源发布之年

小型 LLM 的崛起

  • 2023 年出现一波 decoder transformer 浪潮，新预训练模型从每月、到每周甚至每天发布：
月份 模型 / 发布方
2 月 LLaMA（Meta）
4 月 StableLM（StabilityAI）、Pythia（EleutherAI）
5 月 MPT（MosaicML）
6 月 X-GEN（Salesforce）、Falcon（TIIUAE）
7 月 Llama 2（Meta）
8 月 StableLM v2（StabilityAI）
9 月 Qwen（阿里）、Mistral（Mistral.AI）
11 月 Yi（01-ai）
12 月 DeciLM（Deci）、Phi-2、SOLAR（Upstage）
  • 共同点：a) 发布权重（许可证开放程度不一）b) 小尺寸（3B–70B）性能良好，被社区迅速采用。
  • 架构共性：几乎都是 decoder transformer 变体（ALiBi/RoPE、RMS pre-normalization、SwiGLU），注意力有 Flash-Attention、GQA、sliding windows 等改动，代码库实现各异（优化训练或推理速度）。
  • 既然架构与权重都公开，核心差异只剩训练数据与许可证。

主要模型逐个看

  • LLaMA（Meta AI，论文 2302.13971）：在给定算力预算下追求最佳性能；首次显式同时考虑训练预算与推理成本——用更小模型 + 更多数据 + 更多训练步数换更高性能（牺牲训练算力效率）。最大 65B / 1.4T token，6B 与 13B / 1T token。13B 在多数 benchmark 上超过 GPT-3，最大版本发布时 SOTA。但权重为非商用许可证，限制了社区采用。
  • Pythia（EleutherAI，论文 2304.01373）：不同尺寸的模型套件，完全公开数据训练，用于研究 LLM 训练各阶段。
  • MPT（MosaicML，博客）：性能接近但许可证允许商用，且公开训练数据构成。首个 7B，6 月跟进 30B，均 1T token（C4、CommonCrawl、The Stack、S2ORC）。
  • Falcon（TIIUAE）：7B/30B，1–1.5T token 英语与代码（RefinedWeb、Project Gutenberg、Reddit、StackOverflow、GitHub、arXiv、Wikipedia 等），年底发布 180B。数据与训练流程有技术报告及后续论文 2311.16867。
  • StableLM（StabilityAI）：继承 GPT-NeoX，3B/7B，1.5T token（ThePile 实验数据集）；v2 系列混入 RefinedWeb、RedPajama、ThePile 及未公开数据；另有 3B 的 StableLM-3B-4e1T + 详细技术报告。
  • 转折点：早期发布公开数据；此后发布几乎不提供训练数据信息、不可复现，但通过权重为社区提供起点。
  • X-Gen（Salesforce，论文 2309.03450）：7B，1.5T token "natural language and code"，分步训练 + 数据调度（不是所有数据同时进入）。
  • LLaMA-2（Meta，论文 2307.09288）：7–70B，2T token "公开来源"，permissive 社区许可证 + 大规模 RLHF 人类偏好微调（alignment）。安全是突出卖点。
  • Mistral-7B（新创公司 Mistral，论文 2310.06825）：训练 token 数与来源未公开（"extracted from the open Web"）。年底另有更大尺寸的 Mixtral 8x7B。
  • DeciLM（Deci.AI）与 SOLAR 10.7B（Upstage）：同样未公开数据来源与数量；这些模型在排行榜与开源 benchmark 上稳步提升。
  • 中国模型的崛起：年底一批双语（中英）开源模型性能领先——Qwen（阿里，论文 2309.16609，7–70B，2.4T token）、Yi（01-AI，6–34B，3T token），在 Open LLM Leaderboard 与最难的 benchmark（如 Skill-Mix 2310.17567）上都更进一步；DeepSeek 编码模型从零训练，2T token，87% 代码 + 13% 中英自然语言（基本是代码模型）。

对话模型遍地开花

  • 相比 2022，2023 年几乎所有预训练模型都同时发布对话微调版本，凸显大众对 chat 模型的使用增长，以及"聊天式手工评测（vibe-check）"的流行。
  • 主要适配方法（变体很多）：
方法 原理 特点/成本
Chat-based fine-tuning 在对话数据（多轮、社交网络风格）上监督微调，decoder 逐 token 自回归 实现简单，需对话数据集
Instruction fine-tuning（IFT） 用指令数据集（query + 答案）教模型遵循指令 数据可人工或 LLM 生成
蒸馏（distillation） 用高性能模型（如 GPT-4）的输出做合成数据集再微调 大规模合成数据的常用方式
RLHF 生成多答案 → 人类排序 → 训练偏好模型 → 强化学习微调 成本高，多用于安全对齐
RLAIF 用高质量 LLM 而非人类排序 RLHF 的廉价变体
DPO 直接优化：对齐模型同时就是偏好模型，用偏好数据更新 无单独偏好模型，性能相当

社区做了什么

围绕基础模型，微调社区在 Reddit、Discord、HF Hub、Twitter 上自发繁荣；社区模型发布频繁，同时催生大量新数据集。

早期（2023 年初前）的数据集

  • 人类偏好类：WebGPT（OpenAI）、HH-RLHF（Anthropic）、Summarize（OpenAI）。
  • 指令类：P3（BigScience，Public Pool of Prompts）、FLAN 1/2（Google）、Natural Instructions（AllenAI）、Self Instruct（自动生成指令框架）、SuperNatural instructions（专家构建，常作微调数据）、Unnatural instructions（特拉维夫大学 + Meta 自动生成）。

2023 全年社区事件时间线

季节 事件 / 数据集 / 模型
❄️ 冬（2022/23） 1 月 HC3（人类 vs 模型回答）；3 月 Alpaca（Stanford，52K 指令）、OIG（LAION，43M 指令）、Vicuna（LMSYS，ShareGPT 对话）、Guanaco（+500K 多语言条目）
🌱 春 4 月 Koala（BAIR）、Dolly（DataBricks，15K 人工指令）；5 月 UltraChat（1.5M 对话）与 UltraLLaMA、GPT4-LLM；6 月 Orca（推理轨迹构造指令）、Open Orca、Camel-AI 多主题数据集、Airoboros 框架
🌻 夏 8 月 UltraLM（OpenBMB）；9 月 UltraFeedback（GPT-4 标注偏好）、OpenChat（清华，新 RL 策略）、Intel orca_dpo_pairs；夏天 NousResearch 多个微调（Hermes、Capybara）
🍂 秋 10 月 Zephyr（HF，DPO + AIF）、OpenHermes 2（900K 条目）、LMSYS-Chat-1M（25 个 LLM 真实对话）；11 月 OpenBuddy-Zephyr、Notus（Argilla）、HelpSteer（NVIDIA）、Orca-2（Microsoft）、Neural Chat（Intel）；12 月 Starling（Berkeley，RLAIF）+ Nectar（200K 对比）
  • 细节补充（冬季）：Alpaca 是第一个指令跟随 LLaMA（7B），52K 条 LLM 生成指令；Vicuna（13B）用 ShareGPT 上用户分享的 ChatGPT 对话微调。
  • 细节补充（春季）：Koala 用 Alpaca/HH-RLHF/WebGPT/ShareGPT 微调；Orca 方法很快被社区复现为 Open Orca（数百万条，用于微调 Llama、Mistral 等）。
  • 细节补充（夏季）：UltraFeedback 是 GPT-4 标注的偏好数据集；Intel 发布 Orca 风格 DPO 数据集。
  • 细节补充（秋季）：Zephyr 是 Mistral 在 UltraChat/UltraFeedback 上用 DPO + AIF 微调；Notus 是 Zephyr 的 DPO 微调；HelpSteer 提供 prompt + 回答 + 多标准打分；Orca-2 是 Llama 2 + 新合成推理数据集。
  • 专项数据集（不展开）：MetaMath、MathInstruct、Evol-Instruct、CodeAlpaca、CodeCapybara 等；汇总见 awesome instruction datasets。

民主化访问（Democratizing access）

  • 注：llama.cpp、ollama、text-generation-inference、vllm 等推理/部署工具不在本文范围。

模型合并（Model merging）：极致定制

  • 定义：把多个模型权重融合成一个，理想情况结合各自优势。
  • 方法：简单平均共同架构模型的参数（例 1 2204.03044、例 2 2109.01903）；更复杂的有按任务加权平均（2111.09832）、考虑参数间干扰再选择的 ties merging（2306.01708）。
  • 综述见 model merging 论文集合。
  • 后果：Open LLM Leaderboard 上出现 llama2-zephyr-orca-ultra 这类名字；数据与模型历史难追踪（参见 Mistral 的 child models tree）。
  • 这是"完全去中心化研究"的典型：方法多发表在社区论坛，由全球实践者/研究者/爱好者共同推进。

PEFT：指尖上的个性化

  • 定义：冻结预训练模型参数，在其上加少量新参数（adapters），只训练轻量 adapter。
  • 好处：内存不够加载整个模型微调时也能个性化；共享时只需共享 adapter + 基础模型。
  • 方法列表见 huggingface/peft。

量化（Quantization）：模型随处可跑

  • 背景：30B 模型仅加载就需 66G+ RAM，不是人人都有这样的硬件。
  • 原理：降低参数精度（float32/float16/int8 等）减小体积与内存；精度越低内存越小，但计算精度降低可能损伤性能——大模型上性能损失通常很有限。
  • 数字示例（30B 模型）：float16 略小于 66G RAM，8bit 约 33G，4bit 约 16G。
  • 常用方法：bitsandbytes（2208.07339）、GPTQ（2210.17323）、AWQ（2306.00978）。
  • 社区角色：如 TheBloke 专门把流行模型转成低精度版本供社区使用。
  • 原文评价：这些方法都很新、仍在发展，期待更多进展。

接下来是什么？（2023 年底）

  • MoE（混合专家）：Mixtral 由 8 个子模型（transformer decoder）组成，router 为每个输入挑选 2 个最优子模型并求和输出。
  • 状态空间模型（通过潜在空间做输入输出映射，可表达为 RNN 或 CNN；入门见 Annotated S4）：
    • Mamba（2312.00752）：状态空间模型 + 选择机制。
    • Striped Hyena（HF 模型页）：状态空间模型 + 快速卷积核。
  • 是否取代 Transformer 还太早下结论，但状态空间模型很有前景。

Takeaways（要点）

  1. 各类参与者（大公司、初创、研究实验室）的开源发布大幅增长，社区以前所未有的速度实验与探索。
  2. 开放性有起有伏：年初发布很开放（数据构成、权重、架构），年末发布对训练数据讳莫如深、不可复现。
  3. 开源模型从许多新地方涌现，包括中国，多个新参与者成为强竞争者。
  4. 个性化手段达到新高：RLHF、adapters、模型合并——都还只是开始。
  5. 更小模型 + 量化进步让 LLM 真正走近更多人。
  6. 新架构出现——它们会最终取代 Transformer 吗？

2024：聊聊 LLM 评测（ICLR 2024 上的讨论与反思）

原文：yearly_dives/2024-evals-thoughts-from-iclr.md，首发于 HuggingFace 博客。

背景

  • 作者（Hugging Face 评测与排行榜团队成员）在 ICLR 2024 与大量与会者交流后，意识到很多自己"习以为常"的评测观念并不普及且引人兴趣，于是把讨论整理成文。
  • 文章的自我定位：把这些对话"更广泛地分享"出来。

评测的三种方式

当前主要有三种评测方式：自动化基准（automated benchmarking）、人类作评委（humans as judges）、模型作评委（models as judges）。

方式 代表做法 主要优点 主要问题
自动化基准 任务/能力 + 样本 + 指标 便宜、可复现、任务层面有信号 污染、能力难定义、评分受 prompt 等细节影响
人类作评委 vibe-checks、arena、系统化标注 灵活、规避污染、贴近人类偏好 贵、小规模不可复现、心理偏差
模型作评委 通用强模型或专用判别模型 便宜、可扩展 微妙且不可解释的偏差、自偏爱

各有其存在理由、用途与局限，下面分述。

自动化基准（Benchmarks）

基本构成

  • 先定义评测对象：具体任务（如"垃圾邮件分类"）或抽象能力（如"数学好不好"）。
  • 评测由两部分组成：样本集 + 指标（metric）。
    • 样本集：输入给模型看输出，必要时带参考（gold）对比；样本通常尽量模拟目标场景（含困难边界用例）。
    • 对 LLM 主要是两种：生成式评测（归一化后与参考文本比较）与多选式评测（比较 prompt 后各候选续写的相对 log-probability）。
    • 指标：为模型算分的方式（如分类正确率，答对=1、答错=0）。

泛化与过拟合

  • 应优先在未进入训练集的数据上评测——测试泛化能力。
  • 只能预测训练数据称 overfitting（过拟合）；次极端情况也要测对分布外模式的泛化（如只见过"假银行"垃圾邮件，要能泛化到"保健品"垃圾邮件）。

已知问题

  • 对定义明确的任务很有效；LLM 场景的问题：
  • 能力很难分解成精确定义的任务（"数学好"指算术、逻辑还是概念推理？），于是做整体式（holistic）评测：假定通用样本上的表现是目标能力的好代理。
    • 例：GSM8K 是真实高中题，解题需要整套能力，失败与成功都难解释。
    • 更抽象的能力（写诗、答案有用性）更难自动评测；而模型越来越通才化，需要更广的评测。
    • 例：学界争论 LLM 到底会不会画独角兽——多数情况不会，但值得研究。

污染（contamination）

  • 定义：评测数据集进入训练集；被污染的模型 benchmark 分高但泛化差（详述见 2023.findings-emnlp.722，趣味检测方法见 2311.06233）。
  • 缓解手段：
    • BigBench 的 canary string（特定字符组合供人识别并剔除），但并非所有人都知道或照做。
    • 加密形式提供、门控访问。
    • 但黑盒 API 评测无法保证数据不被内部用于训练/微调。
  • 应对：动态基准（2104.14337，定期刷新数据，在系统性未见的新数据上打分），但长期成本高。

人类作评委（Human as a judge）

  • 做法：让人类先 prompt 模型，再按指南给模型答案打分或对多个输出排序。
  • 优点：可评测更复杂开放的任务、比自动指标灵活；prompt 是新写的，基本规避污染；与人类偏好天然相关（评的正是这个）。

三种人类评测路径

  • Vibe-checks：社区成员用未公开 prompt 手工感受模型质量（范围从编码到"烂文质量"，也有人称 canary-testing，取自矿井金丝雀）。
    • 常在 Twitter/Reddit 分享，属轶事证据、易受确认偏差影响（人们往往找到自己想找的）。
    • 但也有系统性做法，如用户 Wolfram Ravenwolf 的模型对比博客。
  • Arena（竞技场）：用社区反馈做大规模模型排名，如 LMSYS Chatbot Arena——用户盲聊，发现更好的就投票，投票聚合成 Elo 排名。
    • 问题：主观性强，宽泛指南难以让众多社区成员稳定打分。
    • 标注者偏好有文化差异（不同人偏好不同话题）。
    • 寄望"群众智慧"（Galton 的"猜猪重"统计故事：个体估计围绕真实值呈概率分布）在大规模投票下平滑掉偏差。
  • 系统化标注：给付费精选标注者极具体指南，尽量去除主观偏差（ScaleAI 等标注公司的做法，见 Scale 指南）。
    • 问题：持续、非自动化地评测会很快变得极贵。
    • 仍可能有人类偏差：2205.00501 显示不同身份者对模型答案毒性打分差异很大。

人类评委的已知偏差

  • 评测者倾向按第一印象而非实际事实性/忠实性估质量（2309.16349）：
    • 众包标注者对语气敏感、会低估自信语气答案中的事实/逻辑错误。
    • 模型用自信语气说错话，人类更不容易察觉，评分会偏向更"自信"的模型。
    • 专家标注者更不易受影响。
  • 人类更偏好迎合自己观点或与自己的错误一致的答案，而非事实正确的答案（2310.13548）。
  • 启示：需要事实性的任务（写代码、模型知识评测等）不应只依赖众包非专家人工标注，应叠加更稳健的评测方式。

模型作评委（Model as a judge）

  • 动机：降低人工标注成本。2019 年已有用模型嵌入测摘要质量的技术，此思路并不新。
  • 两种打分方式：
    • 用通用高能力模型（2306.05685）：与人类偏好相关性好，但够强的模型多为闭源，API 背后会变、不可解释。
    • 用专门从偏好数据训练的小型判别模型（2405.01535）。
  • 已知局限：
  • 作者的个人担忧：模型作评委会在答案选择中引入微妙且不可解释的偏差——类比遗传学中过度杂交产生缺陷后代，用 LLM 选择和训练 LLM，很可能在若干代后放大微小变化；小型专用模型（如毒性分类器）风险较低，但尚待严格验证。

为什么要做评测？——三个被混淆的目的

作者认为评测有三个截然不同的目的，常被混为一谈，各自回答不同问题：

目的 回答的问题 关键做法 作者的观点
非回归测试 我的训练对吗？ 看分数轨迹与区间 不关心精确分数，只要"没坏"
排行榜与排名 哪个模型最好？ 找稳定一致的排名 分数不可靠，排名更稳
领域能力水平 我的模型能做 X 吗？ 定义能力 + 找代理任务 目前无法真正评测"通用能力"

1) 非回归测试（non-regression testing）

  • 概念源自软件工程：加新功能或修 bug 后，确认没破坏整体行为。
  • 对训练：确认训练设置变更（数据、架构、参数等）没有"破坏"同属性模型的预期性能。
  • 看两点：① 分数轨迹（是否比开始时好）② 分数区间（是否在预期范围）。
    • 例：7B 基础模型 MMLU 预期 50–65；20–30 说明没学到东西。
  • 你其实……不关心精确分数。
    • 甚至只看文本 perplexity 变化都可能够。
    • 但通常要"信噪比"高的 benchmark（大分数变化反映大模型变化）。

2) 排行榜与排名（Leaderboards and rankings）

  • 作用：排序选型——排行榜第一的不适合你的用例，第二名多半也不行。
  • ImageNet 时代的经验论文（2404.02112）主张：分数易不稳定，唯一稳健方式是排名，且要找能给出稳定一致排名的大类评测组。
  • 作者团队也发现：LLM 分数对 prompt 细节极其敏感，人类评测也不更一致——而排名在稳健评测方法下更稳定。
  • ICLR 2024 评测 plenary 上 Moritz Hardt 的扰动实验：
    • 给 Open LLM Leaderboard 做微小分数扰动（在分数区间内）。
    • 给 Chatbot Arena 加一个差选手看 Elo 排名变化。
    • 结论：两者当前都无法提供稳定一致的排名（未来版本的 Open LLM Leaderboard 会探索这一点）。

3) 领域整体能力水平？（Can my model do X?）

  • "你怎么知道模型能做 X？"是个常见且合理的问题。
  • 但对任何复杂能力，目前只能说："该模型在这个任务上最好，而这个任务我们希望是能力的代理，但没有保证。"
  • ML 领域严重缺乏"能力"的定义与框架（推理、心智理论尤甚）；但这并非 ML 独有——人类/动物研究里定义能力也很难（IQ、EQ 争议不断）。
  • 或许该借鉴社会科学（那里习惯严肃对待数据收集与分析中的混淆变量）。
  • 但作者也认为：1) 这些宽泛能力可能根本无法定义（人类与动物目前也没定义出来）2) 面向人的框架未必能迁移到模型（底层行为与假设不同）。

结论

  • 现状归纳：
    • 自动基准：受污染与"不通用"影响（后者未必是坏事，专项评测也有价值）。
    • 人工评测：小规模下可复现性差、总体有心理偏差（如偏好谄媚答案），大样本下或许部分平滑。
    • 模型作评委：偏差微妙，可能悄悄扰动下游。
  • 仍有信号：非回归测试（分数落在预期区间）与足够稳定的排名能告诉我们新训练方法/数据集是否有前途；跨主题与任务攒够数据点也能对整体性能有大致把握——但不能据此假设任何"通用能力"。
  • 与炒作相反，目前无法真正评测"通用模型能力"，首先因为还没定义它是什么。
  • LLM 评测作为研究领域还处在婴儿期，可从机器学习可解释性（如 transformer-circuits 的 scaling monosemanticity）到社会学跨界汲取灵感，跨学科工作很可能开辟新方向。

致谢（提及的交流者）

  • Summer Yue（Scale AI）、Moritz Hardt（马普所）、Luca Soldaini 与 Ian Magnusson（Allen AI）、Ludwig Schmidt（Anthropic）、Max Bartolo（Cohere）、Maxime Labonne（Liquid AI）、François Charton（Meta）、Alan Cooney（UK AI Safety Institute）、Max Ryabinin（Together AI）。
  • Hugging Face 的 Yacine Jernite、Irene Solaiman 与评测/排行榜团队（尤其 Nathan Habib）。

2025：评测要超越简单基准，构建真正可用的模型

原文：yearly_dives/2025-evaluations-for-useful-models.md（原文标题：Evals in 2025: going beyond simple benchmarks to build models people can actually use）。

核心论点

  • 目标应是构建"工作得好（work well）"的模型而非"智能"的模型——对人们有用且高效的工具体现为更好的成功度量，而非追求"通用智能"替人解决问题（顺带制造一串新问题）。
  • 现实依据：Anthropic 经济指数报告与 OpenAI ChatGPT 使用研究显示 LLM 当前最常见的用途是助手：写代码、行政支持等；模型今年在通用 agent 用例上取得进展。
  • 好助手应做到：面对 query 处理指令歧义、构建逐步计划、正确识别所需资源、不跑偏地执行计划、按需调用工具、执行中适应意外事件与新信息、且全程不胡编（without bullshitting）。
  • 所需能力组合：逐步"推理"、长上下文记忆管理、适应性、低幻觉率，外加数学/代码/工具调用能力。
  • 规模观察：7B 的模型就能当好 agent 助手（但再小到 3B 以下会碰到能力壁垒）。
  • 评测方法需分层：开发期测单一能力、在现实任务上测集成表现、在动态环境中探适应性。

单一能力评测（Testing specific capabilities）

注意：若用下列评测来挑选/验证训练方法，最终报告这些指标会略有偏置（训练方法已被导向这些结果）。适合训练中取信号与对比 base/预训练模型。

推理与常识（Reasoning and commonsense）

  • 背景：这类数据集多为 BERT/嵌入模型时代建的"历史"数据集——当年有挑战性（常针对当时模型对抗式构造），现在 1) 太简单 2) 污染/饱和。
  • 定位：只适合消融或预训练评测。
  • 质量问题：大型数据集常经 MTurk 快速低成本构建，含错误或低质量问题（现在改用 LLM 生成评测题）。
数据集 年份 说明（链接）
ARC 2018 小学科学 MCQA，选择对当时的词共现系统对抗式构造；高质量的 challenge 子集今天仍用于预训练（1803.05457；勿与 ARC-AGI 混淆）
WinoGrande 2019 众包（MTurk + 校验）代词消解/填空，对抗式配对；2022–2023 前对模型一直很难（1907.10641）
HellaSwag 2019 从对抗候选中选正确下一句；文本来自 ActivityNet 字幕与 Wikihow 教程，常需物理常识 grounding；Swag 的后继（1905.07830）
CommonsenseQA 2018 基于 ConceptNet 的常识 MCQA，干扰项用概念相近选项（1811.00937）
PIQA 2019 物理常识题，源自 Instructables.com，对抗选项来自语义扰动/改写（1911.11641）
OpenBookQA 2018 提供 open book 事实辅助答题，但题目仍需潜在常识知识（1809.02789）

知识（Knowledge）

  • MMLU（2020，2009.03300）：主要知识评测集，已饱和/污染；深入检查发现多种问题——残缺问题（引用不存在的文档）、错误 ground truth、歧义问题、明显的美国中心主义选题。
数据集 年份 说明（链接）
MMLU-Redux 2024 MMLU 的清洗版（2406.04127）
MMLU-Pro 2024 更多复杂题与答案，社区当前主要替代品（2406.01574）
Global-MMLU 2024 MMLU 翻译 + 文化偏差标注（2412.03304）
GPQA 2023 生物/化学/物理博士级定制题，只有对应领域博士生能答；最常用 diamond 子集，2023 发布以来也开始污染（2311.12022）
Humanity's Last Exam（HLE） 2024 2.5K 专家众包跨领域题，需复杂知识与推理；基本私密、尚未被"打穿"（agi.safe.ai）
  • HLE 的问题：无法快速按 ground truth 打分，大家改用 LLM judge 评估答案 → 野外结果不可比。
  • 用途：MMLU 系列多用于预训练评测与消融；后训练用更硬的 GPQA/HLE。
  • 作者预测"潜在知识"评测将逐步淡出（训练期仍可用 MMLU-Pro、后训练用 GPQA/HLE），两个原因：
    1. 对人类越来越不可读：题太难，非专家无法理解每题的意义（也无法核查数据集本身有没有错）。
    2. 模型连上工具（如联网）后，潜在知识评测逐渐变成搜索与检索评测——从闭卷考试走向开卷考试（类比法国教育：高中闭卷，大学假设可查数据库/网络，评分更多看"给自由信息后的推理"）。

数学（Math）

  • 数学评测长期被当作推理与逻辑的代理。
  • 参考集：GSM8K（2021，2110.14168，小学应用题）与 MATH（2021，2103.03874，网上奥林匹克题聚合），近年已饱和/污染。
数据集 年份 说明（链接）
GSM1K 2024 GSM8K 重做 1K 新题，测哪些模型在 GSM8K 上污染（2405.00332）
GSM-Plus — GSM8K 对抗式改写：干扰项、数值变化等（2402.19255）
GSM-Symbolic 2024 把 GSM8K 改写成问题模板、可无限再生成防污染；用得少但很有意思（2410.05229）
MATH-500 — 500 题代表性子集，避免过拟合（HF 数据集）；另有 MATH-Hard（最难的 500 题）
AIME 24/25 2024/2025 美国高中生奥赛，按发布年原样使用；每年题目难度相当，可用"发布年成绩 vs 上一年度题成绩"测污染（24、25）
Math-Arena — 持续更新的竞赛/奥赛汇总，含 AIME25 及大量其他竞赛（matharena.ai）
FrontierMath 2024 数学家为评测专门撰写的显著更难的题，理论私密（但 OpenAI 疑似接触过部分数据）（2411.04872）
  • 观察：大多数上述数据集已"没那么难"（止步小学水平，GSM-Symbolic 可生成更多递归层级的题使其合成地变难）；HLE 里也有需复杂推理（含定理证明）的数学题。
  • 作者建议：预训练评测用 AIME25 与 MATH-500，后训练用 Math-Arena。

代码（Code）

  • 理由：agent 要与工具交互就需要编码能力（代码 agent 直接调工具；code/json agent 都要能调试工具输出，区别见 agents course）；代码评测也是推理的好代理。
数据集 年份 说明（链接）
MBPP 2021 1K 众包 Python 入门题（2108.07732）
APPS 2021 10K 来自面试与分享网站的代码生成题（2105.09938）
HumanEval 2021 随 Codex 发布、专为发布构造的题 + 防危险代码执行的沙箱 + pass@k 估计器（2107.03374）
EvalPlus（HumanEval+/MBPP+） 2023 补测试用例、修 bug、加输入（OpenReview）
EvoEval 2024 HumanEval 语义改写 + 难度标注（2403.19114）
LiveCodeBench 2024 记录题目日期，比较训练前后题目的表现——优秀的防污染基准（2403.07974）
AiderBench 2024 底上线 用 Exercism 数据，专门测代码编辑与重构（leaderboard）
RepoBench 2023 仓库级自动补全（Python/Java），跨文件/文件内函数，retrieval/completion/组合多层测试（2306.03091）
SWE-Bench 2024 GitHub 真实 issue 求解：逻辑理解、跨文件编辑与执行、长上下文推理；推荐高质量子集 SWE-Bench verified（OpenReview）
  • 作者建议关注 LiveCodeBench、AiderBench、SWE-Bench verified，并读 METR 报告 了解真实代码助手有用性。

长上下文（Long context）

  • 背景：3 年前最大上下文还是 2048 token，现在普遍 128K 以上。
数据集 年份 说明（链接）
NIAH（Needle in a Haystack） 2023 把随机事实放进长无关文本再检索；可评估模型在上下文何处、多长之后最易遗忘；2023 年表现很差，2025 年接近解决（gkamradt 仓库）
RULER 2024 多跳追踪（追踪变量链求值）、词频变化、NIAH 的 QA 变体；也接近解决（2404.06654）
Michelangelo / MRCR 2024 多轮共指：精确复现上下文唯一片段、识别相关信息是否存在、理解文本修改序列；OpenAI 2025 扩展为 OpenAI MRCR（2409.12640）
InfinityBench 2024 中英多语言，100K token 合成数据，覆盖 QA、NIAH 式检索、超长上下文计算等；仍有信号（2402.13718）
HELMET 2024 任务与现有基准的大聚合：RAG/QA（Natural Questions、TriviaQA、PopQA、HotpotQA、NarrativeQA、InfinityBench）、recall（RULER、JSONKV）、带引用的生成（ALCE 子集）、摘要、重排（MS MARCO）、ICL（TREC、NLU、Banking77、CLINIC150）；2025 年仍有足够区分度（2410.02694）
Novel Challenge 2024 关于近一年出版虚构小说的 1K 真/假判断题，由读者出题，须读完并理解全书（2406.16264）
Kalamang 翻译集 2024 模型须读语法书后把英语译成 Kalamang——仅约 200 使用者的极低资源语言、无网络存在；可扩展到其他低资源语言，并可用规则语法检查器做严格准确率而非 BLEU（2309.16575）
  • 提醒：聚合基准有重复测量风险——别同时测 HELMET 和 InfinityBench 再合并结果（等于同一评测跑两遍）。

指令遵循（Instruction Following）

  • 两大数据集：IFEval（2023，2311.07911）与扩展 IFBench（2025，2507.02833）。
  • 作者评价：IFEval 是近几年最聪明的评测思路之一——要求模型遵循格式指令（关键词、标点、字数/句数、markdown/html 等文件类型格式），每个条件可用特定解析测试检查。
  • 意义：少数不依赖模型评委也能得到严格分数的自由生成评测，属功能性正确/单元测试类评测（作者最偏爱的评测方式），也易再生成/扩展防污染。
  • 反方向（non-compliance）：CoCoNot（2024，2407.12043）测模型对不完整（未说明/不清晰）、不可回答（缺信息、AI 化、常触发幻觉）、不安全请求是否会拒绝遵循；人工写 query + 模型写违规请求再过滤，作为分类问题评测。

工具调用（Tool-calling）

  • 背景：工具的出现是把 LLM 推向 agentic 的关键之一。
数据集 年份 说明（链接）
TauBench 2024 零售与航空领域查询求解（下单/预订/查产品等），合成样本模拟真实领域数据；判对标准：1) 动作正确更新数据库 2) 恰当回答用户；用户由 LLM 模拟（成本高、易错），但贴合真实用例、用得很多（2406.12045）
ToolBench 2023 调 API（OpenWeather、Cat、HomeSearch、TripBooking、GoogleSheets、WebShop、Tabletop 等）解 100 个测试用例，每例需 1–10 次工具调用；部分 API 是 mock、部分真实 → 易意外失败（2305.16504）
StableToolBench 2025 用通用 VirtualAPIServer 全部 mock 保证稳定，但引入 LLM judge 评分（又多一层偏差）（2403.07714）
BFCL 2025 版 4 个子集：单轮简单调用、众包真实用户函数调用、多轮对话、agentic（web 搜索、记忆、SQL 数据交互）；用 AST、执行响应与状态匹配判对；v3 测工具调用、v4 测 web/search 工具（OpenReview）
MCPBench 2025 接真实 MCP 服务器（Wikipedia、HF、Reddit、Steam、arxiv 等），多轮合成任务；规则检查工具调用有效性 + LLM judge 评回答（2508.20453）
MCP-Universe 2025 11 个真实主题 MCP 服务器（IRL 导航、3D 设计、web 搜索等）；多个严格评估器（格式 + 两个答案正确性）；动态任务用基于任务执行的框架自动抓最新正确答案对比——比 LLM judge 干净得多（2508.14704）
LiveMCPBench 2025 大规模本地可部署 MCP 服务器集合，测模型在工具间分辨挑选的能力；最强模型已到 80%，接近饱和；"超长工具列表中选对工具"会随 web mcp 化越来越重要（2508.01780）
  • 附：Anthropic 的"为 agent 写工具"文档。
  • 过渡语：单项能力评测有价值，但真实助手表现来自能力组合——推理必须与工具调用、长上下文管理同时进行，所以需要"多能力编排"的评测。

助手任务（Assistant tasks）

  • 作者认为这是下一代评测的主流方向：解一个助手任务需组合大量能力（长上下文、推理、工具调用…），同时具体领域表现被放进真实有用场景；比单项能力基准更易懂。
  • 足够通用时，不检查用了什么具体工具，只看最终结果对不对（复杂任务有多条成功路径）。

真实信息检索（Real life information retrieval）

数据集 年份 说明（链接）
GAIA 2023 开创现代 agentic 评测——组合工具、推理、检索解真实查询（有时含文档）；3 个难度级别，第一级已饱和、第三级仍难；公开榜见 leaderboard；分数因评测方式（公开验证集 vs LLM judge 评私有测试集）差异很大（2311.12983）
BrowseComp 2025 测同样的事（用工具与在线信息找到具体查询的答案），但结果不保证唯一——从结果反推构造问题（如"哪篇关于 Topic 的论文发表在 Conference，作者含一位 Nationality 与两位 Entity 的人？"），多难度；目前可能更难（OpenAI PDF）
GAIA2 — 用模拟移动环境，测助手靠事件链与工具调用正确回答查询；对 SOTA 模型，搜索与执行已极容易，时间敏感与刻意加噪（模拟 API 失败）子集最难（HF 博客）

科学助手（Science assistants）

数据集 年份 说明（链接）
SciCode 2024 跨 STEM 领域用写科学代码解真实科研问题；核心问题分解为子问题；初版由科学家 + 模型评委评分，发布时模型表现很差（<5%）（2407.13168）
PaperBench 2025 复现 ML 研究——给定 ICML 高质量论文重建对应代码库（论文作者贡献 8K 个分级任务，rubric 树加权计总分）；LLM judge 评分（作者怀疑部分可约束代码形态来自动化）（2504.01848）
DSBench 2025 Kaggle + ModelOff（金融数据）的多模态数据分析；ModelOff 题以多选题形式给出（可能变简单），Kaggle 每题有自己的指标（2409.07703）
DABStep 2025 用此前私密（未污染）的真实运营数据分析工作负载 + 真实问题与数据；全部需多步推理、多样文档解析、特定数据操作；难、贴近真实、每题有 ground truth → 评测无偏且不算贵（2506.23719）

游戏化评测（Game-based evaluations）

  • 价值：测对变化环境的适应（多数助手任务是静态的）、需长上下文推理、人人都能看懂。
  • 缺点：不扎根真实生活、未必反映真实有用场景的表现。
  • ARC-AGI（arcprize.org）：2019 初版是网格拼图序列，无显式规则，找序列最后一项；非常像逻辑导向的 IQ 测试；2024 年几乎被解决。
  • Baba is AI（2024，2407.13729）：同类规则外推基准。
  • ARC-AGI3（2025，进行中）：整批新游戏（探索、复杂规划、记忆管理等），当前最佳解还在暴力破解。
  • 单机冒险/RPG：TextQuests（2025，HF 博客）、Pokemon（2024，benchflow 仓库；Claude 与 Gemini 都有 Twitch 直播：Claude plays Pokemon、Gemini plays Pokemon）——需超长规划、长上下文记忆管理、推理、回溯。
  • 生存游戏：Crafter（2021，2109.06780，Minecraft 启发）。
  • 环境整合：Balrog（2024，2411.13543）整合了多个单人游戏环境。
  • 竞争性虚张声势游戏（测逻辑、推理与欺骗）：
    • Poker（2025，2501.08328）。
    • Town of Salem（2025，仓库）。
    • Werewolf 狼人杀（2025，2407.13943 / 网站）。
    • 例：Claude Opus 4 当狼人杀里的吸血鬼（欺骗角色）赢不了，但当农民（非欺骗角色）表现好。
  • 合作游戏 Hanabi：测受限环境下的适应与沟通。
  • 优势：单一明确的 pass/fail 指标（赢没赢）。
  • 作者当前建议：能力看 TextQuests，安全看 Town of Salem。

预测类评测（Forecasters）

  • 背景：去年新出现的、本质上无法污染的任务类别（股票市场预测理论上可被操纵，但希望还没到为搞坏评测而作弊的激励程度）。
  • 定位：需跨来源推理回答尚未发生事件的问题；但不确定区分度是否够强，且可能强化 LLM 的"老虎机式成功"观感——事件上接近随机：因为不可预测还是模型差？反过来，预测对了：题太简单还是太模板化？
数据集 说明（链接）
FutureBench 预测未来有新闻价值的事件；两个来源——浏览 + LLM 每周时间窗生成问题，以及博彩市场的用户预测；数据重度过滤清洗；模型在人类博彩题上勉强优于随机，在模型生成题上 3/4 成功（后者更简单）（HF 博客）
FutureX 用一系列特定网站（预测市场、政府网站、通用排名网站、实时数据平台），模板生成未来事件问题（"STOCK 何时到达 POINT？"）；每日生成 500 题并过滤意外无关题（2508.11987）
Arbitrage 类似生成方式，核心差异是时间窗——事件须在 2028 年前解决（2412.18544）

2025 年 9 月的推荐评测组合

用途 推荐评测
核心能力（模型构建者） 训练期用旧能力评测；后训练用 MATH500/AIME24、GPQA、IFEval、SWE-Bench；长程评测选一个如 HELMET；面向工具用 TauBench 或 BFCL
核心能力（推理期对比模型） IFBench、HLE、MathArena、AiderBench 与 LiveCodeBench、MCP-Universe
长时程任务（真实世界表现） GAIA、DABStep、SciCode 或针对自己用例的领域评测
游戏（测鲁棒性与适应性的趣味补充） ARC-AGI3（发布后）、TextQuests；安全相关看 Town of Salem；或任何超越 Poker/Chess/Go 的游戏

结语

  • 领域正从"测孤立技能"走向"测能力编排"以服务真实使用，契合"构建 work well 的模型"的目标。
  • 作者希望未来评测更重视功能性测试而非模型评委，并保持数据集与任务的可理解性。

参考资料

相关：00-Overview · 07-Resources

Reference in New Issue View Git Blame Copy Permalink