518 lines
68 KiB
Markdown
518 lines
68 KiB
Markdown
|
---
|
|||
|
|
type: reference
|
|||
|
|
tags:
|
|||
|
|
- llm-evaluation
|
|||
|
|
- evaluation-guidebook
|
|||
|
|
- automatic-benchmarks
|
|||
|
|
status: active
|
|||
|
|
created: 2026-08-21
|
|||
|
|
source: https://github.com/huggingface/evaluation-guidebook
|
|||
|
|
---
|
|||
|
|
|
|||
|
|
# 自动基准评测（Automated Benchmarks）— LLM Evaluation Guidebook 提炼笔记
|
|||
|
|
|
|||
|
|
> **来源**：[HuggingFace evaluation-guidebook](https://github.com/huggingface/evaluation-guidebook) 的 `contents/automated-benchmarks/` 章节，包含四篇：
|
|||
|
|
> basics（自动化基准是什么）、designing-your-automatic-evaluation（如何设计自己的自动评测）、some-evaluation-datasets（常用评测数据集盘点）、tips-and-tricks（实战技巧）。
|
|||
|
|
>
|
|||
|
|
> **性质**：中文提炼式笔记，非逐字翻译；关键英文术语保留原文。文内 ⭐ 标记的链接是作者特别推荐阅读的资源（同 [[00-Overview]] 的约定）。
|
|||
|
|
>
|
|||
|
|
> **关联笔记**：[[02-Human-Evaluation]]（人工评测）、[[03-LLM-as-a-Judge]]（模型作评委）、[[04-Troubleshooting]]（排错与可复现性）。
|
|||
|
|
|
|||
|
|
## 目录
|
|||
|
|
|
|||
|
|
- [1. 核心概念](#1-核心概念task--capability--dataset--metric--样本--泛化)
|
|||
|
|
- [2. 自动化基准的优缺点](#2-自动化基准的优缺点)
|
|||
|
|
- [3. 如何设计自己的自动评测](#3-如何设计自己的自动评测)
|
|||
|
|
- [4. 常用评测数据集盘点](#4-常用评测数据集盘点)
|
|||
|
|
- [5. Tips and Tricks](#5-tips-and-tricks)
|
|||
|
|
- [6. 参考资料](#6-参考资料)
|
|||
|
|
|
|||
|
|
---
|
|||
|
|
|
|||
|
|
## 速览（TL;DR）
|
|||
|
|
|
|||
|
|
| 问题 | 一句话答案（详见对应章节） |
|
|||
|
|
|---|---|
|
|||
|
|
| 自动基准评测是什么？ | 用「数据集（输入+gold 参考）+ metric」给模型在 task / capability 上打分；LLM 输出分两类：生成文本（generative）与序列 log-probability（MCQA / perplexity）。（[§1](#1-核心概念task--capability--dataset--metric--样本--泛化)） |
|
|||
|
|
| 为什么要测模型没见过的数据？ | 测的是泛化（generalization）；在训练数据上评测等于给模型不具备的能力打分（overfitting 的学生类比）。（[§1](#1-核心概念task--capability--dataset--metric--样本--泛化)） |
|
|||
|
|
| 自动化基准有什么优势？ | 一致可复现、成本低、指标可理解、可用专家级高质量数据（但 MMLU 也有错 → MMLU-Pro/Redux）。（[§2](#2-自动化基准的优缺点)） |
|
|||
|
|
| 有什么短板？ | 复杂能力难分解成精确任务（转向 generalist 评测、性能当 proxy）；公开数据集必有 contamination。（[§2](#2-自动化基准的优缺点)） |
|
|||
|
|
| 评测结果好坏取决于什么？ | 取决于评测数据集质量——选数据集要看创建者、标注者一致性、指南、随机抽 50 个样本检查；自建可走聚合/人工标注/合成（LLM 或规则）三条路。（[§3.1](#31-选择数据集)） |
|
|||
|
|
| 用 log-prob 还是生成式？ | 多选题/测知识 → log-prob（快、能给置信度，但高估小模型、对选项顺序敏感）；测流利度/推理 → 生成式（更贴近真实关注点，但难打分、更贵）。（[§3.2](#32-选择推理方法inference-method)） |
|
|||
|
|
| prompt 要注意什么？ | 语义等价的微小改动会让结果波动；模型会过拟合 prompt 格式（Llama 3.2 / Qwen 2.5 在 few-shot 里不跟格式）；必要时约束输出。（[§3.3](#33-选择提示词prompt)） |
|
|||
|
|
| 代码评测的聪明做法？ | 功能测试：用单元测试验证生成程序（降低过拟合、测主动能力）；文本版代表是 IFEval。（[§3.5](#35-智能新任务功能测试functional-testing)） |
|
|||
|
|
| 数据污染怎么办？ | 默认「已污染」；用 canary string、加密/门控发布、动态 benchmark、事后检测（无万全之法）。（[§5.1](#51-管理污染managing-contamination)） |
|
|||
|
|
| 评测结果意外差？ | 先看生成结果：解析太严、few-shot 不跟格式、模型太啰嗦，逐一排查。（[§5.3](#53-生成式评测结果异常差时的排查)） |
|
|||
|
|
|
|||
|
|
---
|
|||
|
|
|
|||
|
|
## 1. 核心概念：task / capability / dataset / metric / 样本 / 泛化
|
|||
|
|
|
|||
|
|
自动化基准（automated benchmark）通常这样工作：你希望知道模型在某件事上表现如何。这件事可以是：
|
|||
|
|
|
|||
|
|
- 一个定义清晰的**具体任务（task）**，例如「我的模型能不能区分垃圾邮件与非垃圾邮件（spam / non-spam classification）？」；
|
|||
|
|
- 一个更抽象、更一般的**能力（capability）**，例如「我的模型数学能力如何（How good is my model at math）？」。
|
|||
|
|
|
|||
|
|
### 评测的三要素
|
|||
|
|
|
|||
|
|
1. **数据集（dataset）**，由**样本（samples）**组成：
|
|||
|
|
- 每个样本包含给模型的**输入（input）**，有时配一个用来比对输出的**参考答案（reference，也称 gold）**；
|
|||
|
|
- 样本通常刻意设计成贴近你要测的东西：例如做邮件分类，就构造一批垃圾/非垃圾邮件数据集，尽量包含一些难的边界案例（edge cases）。
|
|||
|
|
2. **度量（metric）**：给模型打分的方式。
|
|||
|
|
- 示例：垃圾邮件分类的准确率（正确分类的样本记 1 分，错误记 0 分）；
|
|||
|
|
- metric 利用模型输出打分。对 LLM 而言，人们主要考虑两类输出：
|
|||
|
|
- 模型根据输入**生成的文本**（*generative evaluation*，生成式评测）；
|
|||
|
|
- 提供给模型的**一个或多个序列的 log-probability**（*multiple-choice evaluations*，简称 MCQA；或 *perplexity evaluations*，困惑度评测）。
|
|||
|
|
- 更多细节见 [Model inference and evaluation](https://github.com/huggingface/evaluation-guidebook/blob/main/contents/general-knowledge/model-inference-and-evaluation.md) 页面。
|
|||
|
|
|
|||
|
|
### 泛化（generalization）与过拟合（overfitting）
|
|||
|
|
|
|||
|
|
- 评测最好在**模型从未见过的数据**（不在其训练集里的数据）上进行，因为你测的是它能否**泛化（generalize）**——例如：模型只见过「假银行」类垃圾邮件后，能否正确分类「保健品」类垃圾邮件。
|
|||
|
|
- **overfitting**：模型只能在训练数据上预测得好、没有学到更高级的通用模式，就称其过拟合。这就像学生把考题背下来却没理解知识点——**在训练集中已经出现过的数据上评测 LLM，等于给它不会的能力打分**。
|
|||
|
|
|
|||
|
|
---
|
|||
|
|
|
|||
|
|
## 2. 自动化基准的优缺点
|
|||
|
|
|
|||
|
|
### 优点
|
|||
|
|
|
|||
|
|
| 优点 | 说明 |
|
|||
|
|
|---|---|
|
|||
|
|
| **一致性与可复现性（Consistency and reproducibility）** | 同一 benchmark 在同一个模型上跑 10 次结果相同（除硬件差异或模型固有随机性外）。因此可以方便地为给定任务建立公平的模型排名。 |
|
|||
|
|
| **低成本规模化（Scale at limited cost）** | 目前最廉价的评测模型方式之一。 |
|
|||
|
|
| **可理解性（Understandability）** | 大多数自动化指标非常易懂：exact match 告诉你生成文本是否与参考完全一致；accuracy 告诉你选对选项的次数占比。（相比而言 `BLEU`、`ROUGE` 这类指标就没那么直观。） |
|
|||
|
|
| **数据集质量（Dataset quality）** | 不少 benchmark 使用专家生成的数据集或已有的高质量数据（如 MMLU、MATH）。但高质量 ≠ 完美：MMLU 事后被发现样本中有若干错误（从解析问题到实际上无意义的问题），催生了 MMLU-Pro、MMLU-Redux 等后续数据集。 |
|
|||
|
|
|
|||
|
|
### 局限
|
|||
|
|
|
|||
|
|
1. **对复杂任务的使用受限**：自动化基准擅长性能容易定义和评估的任务（如分类）。更复杂的能力很难分解成定义清晰、精确的子任务。
|
|||
|
|
- 例如「数学好」到底指什么？算术好？逻辑好？能对新数学概念推理？
|
|||
|
|
- 这催生了更多**通用型（generalist）评测**：不再把能力拆成子任务，而是假设整体表现是所测目标的**良好代理指标（good proxy）**。
|
|||
|
|
2. **污染（Contamination）**：数据集一旦以纯文本形式公开，就会进到模型训练数据里。因此打分时你无法保证模型没解析过评测数据。
|
|||
|
|
|
|||
|
|
---
|
|||
|
|
|
|||
|
|
## 3. 如何设计自己的自动评测
|
|||
|
|
|
|||
|
|
核心原则：**你的评测结果只会和你的评测数据集一样好（your evaluation result will only be as good as your evaluation dataset）**。
|
|||
|
|
|
|||
|
|
#### 设计自动评测的完整流程（对照清单）
|
|||
|
|
|
|||
|
|
把原文的设计建议串成一条可执行的流程，每个步骤的细节见对应小节：
|
|||
|
|
|
|||
|
|
1. **明确要测什么**：具体 task（如垃圾邮件分类）还是抽象 capability（如数学能力）？（[§1](#1-核心概念task--capability--dataset--metric--样本--泛化)）
|
|||
|
|
2. **选或建数据集**：优先复用已有高质量数据集；自建可走聚合现有数据 / 人工标注 / 合成数据（LLM 生成或基于规则）。（[§3.1](#31-选择数据集)）
|
|||
|
|
3. **检查样本**：已有数据集看创建者与标注流程（专家 > 付费 ≈ 众包 > MTurk）、标注者一致性、创建指南；随机抽 50 个样本查质量与相关性；样本数 ≥ 100 才统计显著。（[§3.1](#31-选择数据集)）
|
|||
|
|
4. **选推理方法**：MCQA（log-probabilities）还是生成式（generative）？（[§3.2](#32-选择推理方法inference-method)）
|
|||
|
|
5. **设计 prompt**：task prompt / context / question / options / connector words；注意 prompt 敏感性、few-shot、格式过拟合。（[§3.3](#33-选择提示词prompt)）
|
|||
|
|
6. **选 metric**：log-prob 侧用按长度归一化的 accuracy / perplexity / recall / f1；生成侧先决定是否归一化、再决定匹配方式（exact match、ROUGE、BLEU…）；想清楚任务到底关心平均还是最差表现。（[§3.4](#34-选择度量metric)）
|
|||
|
|
7. **跑评测 + 复盘**：检查生成结果（解析、格式遵循、长度），关注 contamination 与 tokenization 坑。（[§5](#5-tips-and-tricks)）
|
|||
|
|
|
|||
|
|
### 3.1 选择数据集
|
|||
|
|
|
|||
|
|
要么选已有数据集（见 [第 4 节](#4-常用评测数据集盘点)），要么自己设计。过程中必须紧盯上面这条原则。
|
|||
|
|
|
|||
|
|
#### 选用已有数据集：必须检查的组件
|
|||
|
|
|
|||
|
|
**（1）创建过程（Creation process）**
|
|||
|
|
|
|||
|
|
- **样本是谁创建的？** 作者给出的质量排序（作者观点）：
|
|||
|
|
> 专家创建（expert created）> 付费标注者（paid annotator）≈ 众包（crowdsourced）> MTurk 标注
|
|||
|
|
- 找数据卡（data card），看**标注者人口学信息（annotator demographics）**——对理解数据集的语言多样性很重要。
|
|||
|
|
- **样本是否被其他标注者或作者复核过？** 要确认：标注者间一致性分数（inter-annotator score）是否高（标注者是否达成共识）、以及/或作者是否审查过整个数据集。
|
|||
|
|
- 这对「用低薪标注者（通常不是你目标语言的母语者，如 AWS Mechanical Turk）」的数据集尤其重要，否则你可能发现拼写错误/语法错误/无意义答案。
|
|||
|
|
- **标注者是否拿到清晰的数据创建指南（data creation guidelines）？** 换句话说：你的数据集一致吗？
|
|||
|
|
|
|||
|
|
**（2）样本（Samples）**
|
|||
|
|
|
|||
|
|
取 50 个随机样本人工检查：
|
|||
|
|
|
|||
|
|
- *质量（quality）*：
|
|||
|
|
- prompt 是否清晰无歧义？
|
|||
|
|
- 答案是否正确？（例：TriviaQA 每个问题有多个 gold 答案（aliases 字段），有时互相冲突。）
|
|||
|
|
- 信息是否缺失？（例：MMLU 的不少问题缺少参考示意图（reference schematics）。）
|
|||
|
|
- *与任务的相关性（relevance）*：
|
|||
|
|
- 这些是你想用 LLM 评测的问题类型吗？
|
|||
|
|
- 这些例子与你的 use case 相关吗？
|
|||
|
|
|
|||
|
|
还要知道数据集有多少样本（保证结果统计显著——**自动基准评测通常最少 100 个样本**）。
|
|||
|
|
|
|||
|
|
#### 设计自己的数据集：三条路线
|
|||
|
|
|
|||
|
|
| 路线 | 要点 |
|
|||
|
|
|---|---|
|
|||
|
|
| **聚合现有数据（Aggregating existing data）** | 从不同来源聚合现有数据，评估与任务相关的能力。很多评测数据集就是这样从人工评测数据集聚合而来的（如 MATH、LSAT 等）。走这条路同样要执行上面「检查样本」的步骤。 |
|
|||
|
|
| **使用人工标注者（Using human annotators）** | 完整章节见 [Using human annotators](https://github.com/huggingface/evaluation-guidebook/blob/main/contents/human-evaluation/using-human-annotators.md)（人工评测章节）。 |
|
|||
|
|
| **使用合成数据（Using synthetic data）** | 分两种： |
|
|||
|
|
| ├ **用 LLM 生成** | ⭐ 参考 [Cosmopedia](https://huggingface.co/blog/cosmopedia) 博客（HF 同事写的，很酷）：主要研究如何造合成*训练*集，但类似技术可用于评测。生成后务必按上面的步骤人工检查/过滤/审查。 |
|
|||
|
|
| └ **基于规则的技巧（rule-based）** | 如果任务允许，这是获得**几乎无限样本且避免污染**的好办法。示例：[NPHardEval](https://arxiv.org/abs/2312.14890)、[DyVal](https://arxiv.org/abs/2309.17167)、[MuSR](https://arxiv.org/abs/2310.16049)、[BabiQA](https://arxiv.org/abs/1502.05698) 等。 |
|
|||
|
|
|
|||
|
|
### 3.2 选择推理方法（inference method）
|
|||
|
|
|
|||
|
|
#### 基于 log-probabilities（MCQA 多选题）
|
|||
|
|
|
|||
|
|
非常适合选择题（通常测模型知识、或消歧能力）。
|
|||
|
|
|
|||
|
|
| 优点 | 缺点 |
|
|||
|
|
|---|---|
|
|||
|
|
| 确保所有模型都能「看到」正确答案 | 轻微高估小模型（若放任自由生成，它们本会生成选项范围之外的内容） |
|
|||
|
|
| 提供模型「置信度」（calibration）的代理 | 有些模型会[根据选项的呈现顺序偏好特定选项](https://arxiv.org/abs/2309.03882)，导致评测不具代表性 |
|
|||
|
|
| 评估快——尤其只让模型预测一个 token（A/B/C/D 选项序号，或 Yes/No）时 | |
|
|||
|
|
| 小模型也能获得任务表现信号 | |
|
|||
|
|
|
|||
|
|
#### 基于生成（generative / QA 问答）
|
|||
|
|
|
|||
|
|
适合任何要测流利度（fluency）、推理能力、或模型真正回答问题的能力的任务。
|
|||
|
|
|
|||
|
|
| 优点 | 缺点 |
|
|||
|
|
|---|---|
|
|||
|
|
| 应该与 LLM 生成流利文本的能力真实相关，多数时候正是人们真正关心的 | 打分更难（见 3.4 metrics 一节） |
|
|||
|
|
| | 通常比 log-likelihood 评测贵一点，尤其包含 sampling 时 |
|
|||
|
|
|
|||
|
|
### 3.3 选择提示词（prompt）
|
|||
|
|
|
|||
|
|
prompt 决定：给模型多少任务信息、这些信息如何呈现。
|
|||
|
|
|
|||
|
|
一个通用 MCQA / QA prompt 通常由以下部分构成：
|
|||
|
|
|
|||
|
|
- **task prompt**（可选）：介绍你的任务；
|
|||
|
|
- **context**：为问题提供额外上下文（例：摘要或信息抽取任务可提供内容来源）；
|
|||
|
|
- **question**：prompt 的核心；
|
|||
|
|
- **options**（多选题时）：选项；
|
|||
|
|
- **连接词（connector words）**：如 `Question`、`Context`、`Choice` 等。
|
|||
|
|
|
|||
|
|
把这些要素拼成模板（示意，字段顺序与措辞可自行设计）：
|
|||
|
|
|
|||
|
|
```text
|
|||
|
|
Task: {task prompt} # 可选：介绍任务
|
|||
|
|
Context: {context} # 可选：为问题提供额外上下文（摘要/信息抽取时可给内容来源）
|
|||
|
|
Question: {question} # 核心
|
|||
|
|
Choice A: {option_a} # 多选题时提供选项
|
|||
|
|
Choice B: {option_b}
|
|||
|
|
Choice C: {option_c}
|
|||
|
|
Answer: # 用连接词引导模型输出
|
|||
|
|
```
|
|||
|
|
|
|||
|
|
> 注意：上面只是结构示意，原文没有给出固定模板——不同模型对格式的敏感度不同，实际使用时按 3.3 的提示设计并验证。
|
|||
|
|
|
|||
|
|
设计 prompt 时要注意：
|
|||
|
|
|
|||
|
|
1. **语义等价的微小改动也可能让结果波动很大**（见 [Troubleshooting reproducibility](https://github.com/huggingface/evaluation-guidebook/blob/main/contents/troubleshooting/troubleshooting-reproducibility.md) 的「Different prompt」一节），且 prompt 格式可能利好或利空特定模型。
|
|||
|
|
- 缓解方法：
|
|||
|
|
- **昂贵方案**：用多种 prompt 变体把评测多跑几遍；
|
|||
|
|
- **省钱方案**：只跑一次，但把一批**难度相当的不同 prompt 格式**分配到不同样本上。
|
|||
|
|
2. 可以给模型提供**few-shot 示例**帮它遵守期望格式；加连接词也有帮助。
|
|||
|
|
3. 但**模型如今倾向于过拟合特定 prompt 格式**：
|
|||
|
|
- ⭐ [这篇论文](https://arxiv.org/abs/2407.07890) 讲得很好：有些模型因为过拟合了测试集的**格式（format）**而被高估。
|
|||
|
|
- 在 Open LLM Leaderboard 2 上，作者观察到 Llama 3.2 和 Qwen 2.5 出于这个原因，在 few-shot 设置下不再遵循给定 prompt 的格式。
|
|||
|
|
4. 对不少 metric 来说，你需要**高度受约束的生成/输出**（详见 [Model inference and evaluation](https://github.com/huggingface/evaluation-guidebook/blob/main/contents/general-knowledge/model-inference-and-evaluation.md) 的 `Constraining model outputs` 一节）。
|
|||
|
|
|
|||
|
|
### 3.4 选择度量（metric）
|
|||
|
|
|
|||
|
|
**基于 log-probabilities** 时，metric 很简单：看 **accuracy**（最可能的选项是最佳选项的频率）。重要：要**按长度归一化**（按字符 character、token、或 pmi）。也可以看 perplexity、recall、f1。
|
|||
|
|
|
|||
|
|
**生成式评测（generative）** 时可选 metric 范围更广，需要两步决策：
|
|||
|
|
|
|||
|
|
1. **比较生成结果前是否先归一化（normalize）？**
|
|||
|
|
- 归一化设计得不好时[很容易不公平](https://huggingface.co/blog/open-llm-leaderboard-drop)，但总体上在任务层面仍提供信号；
|
|||
|
|
- 对特定任务非常重要，如数学评测：你可能要从格式化输出中抽取结果；
|
|||
|
|
- 如果要叠加 Chain of Thought 等机制测准确率，也要归一化——你需要把推理痕迹（reasoning trace）从实际结果中剥离。
|
|||
|
|
2. **如何把生成与参考做比较？**
|
|||
|
|
- 从基于匹配的 metric（exact match、prefix match 等）到摘要/翻译类 metric（ROUGE、BLEU、character n-gram 比较）都可以；
|
|||
|
|
- 现有 metric 列表见 ⭐ [lighteval 的 Metric List wiki](https://github.com/huggingface/lighteval/wiki/Metric-List)（作者表示之后会补「何时用哪个 metric」一节）。
|
|||
|
|
|
|||
|
|
**更一般的原则**：选 metric 时要想清楚任务真正关心什么。有些领域（如医疗、有公共交互的聊天机器人）不该测平均表现，而要能评估**最差表现（worst performance）**——如医疗输出质量、毒性等。（延伸阅读：⭐ [这个博客](https://ehudreiter.com/2024/07/10/challenges-in-evaluating-llms/)）
|
|||
|
|
|
|||
|
|
### 3.5 智能新任务：功能测试（functional testing）
|
|||
|
|
|
|||
|
|
代码领域：不仅要按语义评估生成的程序，还要按**实际功能**评估。好办法是检查「为遵循 prompt 而生成的代码」能否通过**一套为该任务设计的单元测试（unit tests）**。
|
|||
|
|
|
|||
|
|
功能化方法极具前景，因为：
|
|||
|
|
|
|||
|
|
- 更容易生成测试用例（很多情况下可用基于规则的方法生成 test cases）；
|
|||
|
|
- 因此**降低过拟合（overfitting）**；
|
|||
|
|
- 测的是模型的具体**主动能力（active capabilities）**。
|
|||
|
|
|
|||
|
|
不过，要把这种方法**迁移到文本任务需要创造力**！
|
|||
|
|
|
|||
|
|
- 一个优秀范例是 **IFEval**：测试模型能否遵循指令的评测 benchmark。它创建一批格式化指令（*Add this number of bullet points.*、*Capitalize only one sentence.* 等），严格检查格式是否被遵循。
|
|||
|
|
- 作者认为：要把这个思路扩展到文本的其他特性，还需要更多工作。
|
|||
|
|
|
|||
|
|
---
|
|||
|
|
|
|||
|
|
## 4. 常用评测数据集盘点
|
|||
|
|
|
|||
|
|
如果你关心的任务已被充分研究，大概率已有现成数据集。下面是作者近几年整理的评测数据集清单。
|
|||
|
|
|
|||
|
|
⚠️ 两点提醒：
|
|||
|
|
|
|||
|
|
- **部分数据集可能已过时**：它们是 pre-LLM 时代设计的，如今已被轻松解决；当初旨在探究文本的某一具体属性（翻译、摘要），已不再是现在的评测方式（评测如今更通用/整体化）。
|
|||
|
|
- **它们很可能已被污染**：已在网上公开多年。但被污染不代表对你的任务没有信号。
|
|||
|
|
|
|||
|
|
> 注：原文标注「✍️」的是作者提出、可自行复现的数据集想法（见 4.3）。部分行原文信息为空，笔记中保留名称并注明「原文未提供细节」。
|
|||
|
|
|
|||
|
|
#### 如何从盘点表中选数据集（作者备注提炼）
|
|||
|
|
|
|||
|
|
表格的「备注」列里藏着作者的选数据集经验，常用判断依据有：
|
|||
|
|
|
|||
|
|
- **看创建者与标注流程**：专家标注（如 FinQA 的付费专家+外部专家高一致）通常质量更高；自动抽取比例高、人工验证少的数据集要警惕（如 Dolphin18K、Math23K）。
|
|||
|
|
- **看模板化程度**：模板化/可再生成的数据集对**研究 contamination 特别有用**（Ape210K 部分模板化、Draw-1K 每题带模板标签、GSM-Symbolic、NPHardEval、DeepMind Math 可再生成）。
|
|||
|
|
- **看是否附带训练集**：凡提供额外 train set 或「本意部分用于训练」的（Ape210K、AQuA、DocMath-Eval、DeepMind Math、NuminaMATH），若拿去当训练数据会**反向污染主流数学 benchmark**（NuminaMATH 的备注直接警告了这一点）。
|
|||
|
|
- **看答案形式是否可自动验证**：整数（AIME、GSM8K）、SymPy 对象（FrontierMath、OlympiadBench）、单元测试（HumanEval、APPS）——答案可自动验证是生成式评测能跑起来的关键。
|
|||
|
|
- **看语言/时区属性**：中文题（Ape210K、GAOKAO-Bench、HMWP、Math23K）、多语言（MLSum、TyDiQA-GoldP）、是否每年更新（GAOKAO-Bench）。
|
|||
|
|
- **看是否有领域专家背书**：FrontierMath（60 位数学家、全部同行评审）被作者评为「目前可能质量最高」；GAOKAO-Bench 的论文「数据集信息意外地少」。
|
|||
|
|
|
|||
|
|
### 4.1 数学类数据集（Math specific）
|
|||
|
|
|
|||
|
|
| 名称 | 类型 | 年份 | 规模 | 内容/备注 | 链接 |
|
|||
|
|
|---|---|---|---|---|---|
|
|||
|
|
| AGIEval (SATMath) | 考试题+现有数据集 | 2023 | 220 | SAT 数学题。论文实为一系列人类考试数据集汇编：数学部分经 MATH 用了 AIME & AMC，经 AQuA-Rat 用了 GRE & GMAT，另有 GaoKao。Metric：acc/em/f1 | [Paper](https://arxiv.org/abs/2304.06364) / [HF](https://huggingface.co/datasets/hails/agieval-sat-math) |
|
|||
|
|
| AIME (all) | 奥赛题 | 1983–今 | 每年 15×2 | 需要算术、代数、计数、几何、数论、概率等中学数学综合的问题。美国 IMO 代表队选拔第 2 场考试。答案恒为 0–999 的整数 | [Blog](https://artofproblemsolving.com/wiki/index.php/American_Invitational_Mathematics_Examination) / [Source](https://artofproblemsolving.com/wiki/index.php/AIME_Problems_and_Solutions) |
|
|||
|
|
| AIME (22/23/24) | 奥赛题 | 2024 | 90 | 同 AIME (all)，用于 AIMO 竞赛 | [HF](https://huggingface.co/datasets/AI-MO/aimo-validation-aime) |
|
|||
|
|
| ALGES (SingleEQ) | 网络来源汇编 | 2015 | 508 | 从网络抓取的年级代数题。论文主题：隐式学习并求解题目背后的简单方程。来源：math-aids.com、k5learning.com、ixl.com。pre-LLM 论文，数据源可能没问题 | [Paper](https://aclanthology.org/Q15-1042/) / [Source](https://gitlab.cs.washington.edu/ALGES/TACL2015/-/blob/master/questions.json?ref_type=heads) |
|
|||
|
|
| ALG514 / AllEq | 网络论坛 | 2014 | 514 | 从众包辅导网站抽取、turking 清理、人工核验的代数应用题。论文主题：从问题中抽取方程模板来求解。来源：Algebra.com | [Paper](https://aclanthology.org/P14-1026/) / [Source](https://groups.csail.mit.edu/rbg/code/wordprobs/questions.json) |
|
|||
|
|
| AMC 12 | 奥赛题 | 2000–今 | 每年 25 | 应用题（算术、代数、计数、几何、数论、概率等）。美国 IMO 选拔第 1 场考试（前身 American High School Math Exam）。题目设计为无需微积分背景即可解 | [Blog](https://artofproblemsolving.com/wiki/index.php/AMC_12) / [Source](https://artofproblemsolving.com/wiki/index.php/AMC_12_Problems_and_Solutions) |
|
|||
|
|
| Ape210K | 考试题 | 2020 | 21 万题 / 5.6 万模板 | 中文小学数学应用题（数学教师编写）。部分题目模板化（对 contamination 研究有用）；原始 90 万经人工筛选；提供「中间方程」（测 CoT trace 有用）；本意部分用于训练 | [Paper](https://arxiv.org/abs/2009.11506)（已撤回，v1 仍可访问）/ [HF](https://huggingface.co/datasets/MU-NLPC/Calc-ape210k) |
|
|||
|
|
| AQuA / AQUA-Rat | 考试题+turk 数据集 | 2017 | 100K | 以 3.4 万 GMAT/GRE 题为种子、turking 扩展的代数应用题。含 rationale；评分用 accuracy、BLEU、perplexity；本意部分用于训练 | [Paper](https://arxiv.org/abs/1705.04146) / [HF](https://huggingface.co/datasets/deepmind/aqua_rat) |
|
|||
|
|
| ASDiv-A | 网络来源汇编 | 2020 | 2.3K | 从各网站收集并规范化的应用题。硕士生标注问题类型与年级；强调词汇多样性；用了 28 个网站 | [Paper](https://aclanthology.org/2020.acl-main.92/) / [Github](https://github.com/chaochun/nlu-asdiv-dataset) |
|
|||
|
|
| CHAMP | 奥赛题 | 2024 | 270 | 从奥赛例题书抽取、改写为可解析解并标注的应用题。题目带 hints 与概念标签，可做消融实验。来源：《Problem-Solving strategies》(Engel, 2008) | [Paper](https://arxiv.org/abs/2406.18321) |
|
|||
|
|
| DeepMind Math | 考试题+合成 | 2019 | 10K? | 代数、算术、微积分、比较、单位换算、多项式、概率等合成数学题。领域完整列表在附录 B；提供生成代码可产出更多样例；提供额外训练集；程序化合成 | [Paper](https://arxiv.org/abs/1904.01557) / [HF](https://huggingface.co/datasets/deepmind/math_dataset) |
|
|||
|
|
| DocMath-Eval | 人工标注财报+现有金融数学集 | 2023 | 3.2K | 结合财报与现有数据集，标注者读材料出题（或校验），答案以 Python 程序给出、由领域专家评估。复用 TAT-QA、FinQA、MultiHiertt、TAT-HQA；金融数学数据质量看起来很高；提供额外训练集 | [Paper](https://arxiv.org/abs/2311.09805) / [Github](https://github.com/yale-nlp/docmath-eval) |
|
|||
|
|
| Dolphin1878 | 网络来源汇编 | 2015 | 1.5K | 从在线来源抽样、必要时重新标注的数字应用题。论文主题：用语义解析从问题中提取 DOL 方程树。来源：algebra.com、answers.yahoo.com | [Paper](https://aclanthology.org/D15-1135.pdf) |
|
|||
|
|
| Dolphin18K | 网络来源汇编 | 2016 | 18K | 半自动从在线来源抽取的应用题。来源：Yahoo Answers 数学分类（2008 起）。先人工标注 6K 再用分类器扩展；自动抽取比例高、人工验证少，作者对质量存疑 | [Paper](https://aclanthology.org/P16-1084.pdf) / [Kaggle](https://www.kaggle.com/datasets/saurabhshahane/sigmadolphin) |
|
|||
|
|
| Draw-1K | 网络来源汇编 | 2016 | 1K | 从在线来源抽取的通用代数应用题。论文主题：评估求解器、测试模板与方程等价。每题标注其模板（对 contamination 有用）。来源：algebra.com | [Paper](https://arxiv.org/abs/1609.07197) / [Source](https://www.microsoft.com/en-us/download/details.aspx?id=52628) |
|
|||
|
|
| FinQA | 专家标注财报 | 2021 | 1.1K | 与财报表格关联的金融问题；标注者给出问题+逐步过程+每页注解。付费专家标注+外部专家一致性高，质量可能很高；全集 8.2K；数据源 S&P 500 财报（1999–2019） | [Paper](https://arxiv.org/abs/2109.00122) / [HF](https://huggingface.co/datasets/ibm/finqa) |
|
|||
|
|
| FrontierMath | 专家创建 | 2024 | 100+（确切数字未知） | 全新建、覆盖多数数学领域的难题；答案要么是整数要么是 SymPy 对象，可通过类单元测试的 Python 程序自动验证；题目带标签。60 位数学家、12 个国家；全部同行评审；论文有很好的 contamination 讨论；目前可能是质量最高的数据集。数据不公开——但闭源模型已被评测过，未来很可能被污染 | [Paper](https://arxiv.org/abs/2411.04872)（数据私有） |
|
|||
|
|
| GAOKAO-Bench (MathCloze, MathQA) | 考试题 | 2023 | ~500 | 中国高考数学应用题。公式转 latex；中文；每年更新；论文探索多种评分方式（含 LLM as judge）；论文里数据集信息意外地少 | [Paper](https://arxiv.org/abs/2305.12474) / [Github](https://github.com/OpenLMLab/GAOKAO-Bench?tab=readme-ov-file) / [HF MathCloze](https://huggingface.co/datasets/hails/agieval-gaokao-mathcloze) / [HF MathQA](https://huggingface.co/datasets/hails/agieval-gaokao-mathqa) |
|
|||
|
|
| GAOKAO 2023 (MathEn) | 考试/竞赛题 | 2023 | 385 | 高中数学应用题。汇编 2023 中国高考、2023 AMC、2023 ACT | [HF](https://huggingface.co/datasets/MARIO-Math-Reasoning/Gaokao2023-Math-En) |
|
|||
|
|
| GSM1K | 按另一数据集风格手工创建 | 2024 | 1.2K | 多样化的「grade school」风格应用题，遵循 GSM8K 的求解分布。论文做 GSM8K vs GSM1K 的 contamination 分析；并暗示 perplexity 分析不太擅长检测 contamination | [Paper](https://arxiv.org/abs/2405.00332)（数据私有） |
|
|||
|
|
| GSM8K | 按考试风格手工创建 | 2021 | 8.5K | 多样化年级数学应用题。加外部计算器效果最好；答案均为正整数，50% 在 0–8 之间；先用 Upwork 标 1K、后用 Scale；出题者拿到 175B GPT-3 的种子题 | [Paper](https://arxiv.org/abs/2110.14168v2) / [Github](https://github.com/openai/grade-school-math) / [HF](https://huggingface.co/datasets/gsm8k) |
|
|||
|
|
| iGSM (med/hard) | 合成 | 2024 | 20K | 用「对象/类别间依赖图（直接/隐式）+ 运算次数」组合生成题目。想法理论上不错但问题很不真实（运算次数过多）；论文聚焦模型「心智过程」，拟人化过重；probing 部分不错 | [Paper](https://arxiv.org/pdf/2407.20311) / [HF](https://huggingface.co/datasets/YangZhoumill/infini_igsm_4k_noise_close) |
|
|||
|
|
| GSMHard | 现有数据集改编（换数字） | 2022 | 8.5K | GSM8K 换更大/更少见数字以变难；但替换由程序自动完成，只人工检查了 25 处变更（另 50 例手工做）。想法不错但质量存疑（附录 H1） | [Paper](https://arxiv.org/abs/2211.10435) / [HF](https://huggingface.co/datasets/reasoning-machines/gsm-hard) |
|
|||
|
|
| GSM-IC | 现有数据集扰动 | 2023 | 58K | GSM8K 抽 100 题加无关上下文（模板化无关句 + 角色/数字填充）。测 LLM 在数学推理时对无关上下文的敏感度 | [Paper](https://arxiv.org/abs/2302.00093) / [HF](https://huggingface.co/datasets/voidful/GSM-IC) |
|
|||
|
|
| GSM-Plus | 现有数据集扰动 | 2024 | 10K | GSM8K 每题 8 种变体，GPT-4 生成、人工标注（校验交叉标注一致性）。变体：换数字、换运算、换问题、加干扰项等——作者认为这套变更类型学不错、可扩展 | [Paper](https://aclanthology.org/2024.acl-long.163/) / [HF](https://huggingface.co/datasets/qintongli/GSM-Plus) |
|
|||
|
|
| GSM-Symbolic | 现有数据集模板化 | 2024 | 8.5K | GSM8K 模板化，可随时生成新评测、分析 GSM8K 上的 contamination。含子集（M1/P1/P2 难度等级、NoOp 加看似相关实则无关信息），部分实验用 few-shot；作者认为缺少子集说明表 | [Paper](https://arxiv.org/abs/2410.05229)（待发布） |
|
|||
|
|
| Hungarian HighSchool Finals | 考试题 | 2023 | 33 | 2023 匈牙利高中数学会考题目。目前需手工评分 | [Source](https://dload-oktatas.educatio.hu/erettsegi/feladatok_2023tavasz_kozep/k_matang_23maj_fl.pdf) / [HF](https://huggingface.co/datasets/keirp/hungarian_national_hs_finals_exam) |
|
|||
|
|
| HMWP | 考试题 | 2020 | 5.4K | 中国 K-12 题库标注的应用题。提出统一表示 MWP 方程的形式体系；中文 | [Paper](https://arxiv.org/abs/2010.06823) / [HF](https://huggingface.co/datasets/Gxg/HWMP) |
|
|||
|
|
| Math23K | 网络来源汇编 | 2017 | 23K | 自动抽取的小学数学应用题。中文；来自在线教育网站；基于规则抽取，人工校验程度不明 | [Paper](https://aclanthology.org/D17-1088/) / [HF](https://huggingface.co/datasets/Gxg/Math23K) |
|
|||
|
|
| Math401-LLM | 合成 | 2023 | 401 | 加/减/乘/幂/对数等算术表达式。论文想测严格算术能力；模型目前对 log/trig 或大数表现不佳 | [Paper](https://arxiv.org/abs/2304.02015) / [Github](https://github.com/GanjinZero/math401-llm) |
|
|||
|
|
| MATH | 奥赛题 | 2021 | 12.5K | 真实竞赛题（自然语言+latex），带难度标注。来源 AMC 10/12、AOME 等；另引入从 Khan Academy 与 AMPS 抓取的训练集 | [Paper](https://arxiv.org/abs/2103.03874) / [HF](https://huggingface.co/datasets/lighteval/MATH) |
|
|||
|
|
| MathOdyssey | — | — | — | 原文未提供细节 | — |
|
|||
|
|
| MathQA | 现有数据集改编+标注 | 2019 | 37K | 对 AQuA 中可解题目加形式化标注程序（人工标注并测一致性）。提出数学问题表示语言并应用于 AQuA | [Paper](https://arxiv.org/abs/1905.13319) / [HF](https://huggingface.co/datasets/allenai/math_qa) |
|
|||
|
|
| MAWPS | 现有数据集汇编 | 2016 | 3.3K | 来自现有数据集的应用题。提出创建新数学题的框架，注意去除词法/模板重叠；来源 ALG514、ALGES 等 pre-LLM 数据集 | [Paper](https://aclanthology.org/N16-1136/) / [Github](https://github.com/sroy9/mawps) |
|
|||
|
|
| MiniF2F | 奥赛题 | 2022 | 244 | 奥赛应用题，尽可能用定理证明器形式化（Lean、Metamath、Isabelle）。测数学证明求解器的形式逻辑推理；来源 AIME、AMC、IMO | [Paper](https://arxiv.org/abs/2109.00110) / [HF](https://huggingface.co/datasets/cat-searcher/minif2f-lean4) |
|
|||
|
|
| NPHardEval | 合成 | 2023 | 900 | 由合成图/线性数据构造、难度各异的问题。类型：排序数组搜索、编辑距离、最短路、旅行商、图着色、背包、会议调度；可按需重新生成 | [Paper](https://arxiv.org/abs/2312.14890) / [Github](https://github.com/casmlab/NPHardEval) |
|
|||
|
|
| NuminaMATH CoT | 现有数据集汇编 | 2024 | 860K | K-12 + 奥赛级应用题（组合现有数据集）。来源 AOPS、AMC、AIME、CN-K12、GSM8K、MATH、ORCA_math、合成 AMC/MATH 等。⚠️ 若当训练集会污染所有主流数学 benchmark | [HF](https://huggingface.co/datasets/AI-MO/NuminaMath-CoT) |
|
|||
|
|
| NuminaMATH TiR | 现有数据集汇编 | 2024 | 72K | NuminaMATH CoT 中可用工具集成推理（tool integrated reasoning）解决的子集。同样 ⚠️ 当训练集有污染风险 | [HF](https://huggingface.co/datasets/AI-MO/NuminaMath-TiR) |
|
|||
|
|
| OmniMath | 奥赛题 | 2024 | 2.2K | 从论坛/奥赛网站抽取（规则+LLM 改写）、人工标注验证的奥赛题。来源 IMO、IMC、AoPS 论坛与 wiki；领域标注用 LLM；配套训练了 judge 评估自由形式答案 | [Paper](https://arxiv.org/abs/2410.07985) / [HF](https://huggingface.co/datasets/KbsdJames/Omni-MATH) |
|
|||
|
|
| OlympiadBench | 奥赛题 | 2024 | 8.4K | 奥赛/数学/物理应用题；答案自动评估（数字或方程，用 SymPy）。来源全球数学/物理奥赛、中国地区/国家级数学竞赛、高考模拟；含物理子集；支持 VLM 评测 | [Paper](https://arxiv.org/pdf/2402.14008) |
|
|||
|
|
| OlympicArena | 奥赛题 | 2024 | 11K | 原文未提供内容细节 | [Paper](https://arxiv.org/pdf/2406.12753) |
|
|||
|
|
| PRM800K | 合成 | 2023 | 800K | 标注者对模型生成的 80 万解做的偏好数据。论文提出 process supervision 改进 reward model（对比 output vs process supervision）。更多是训练集而非评测集 | [Paper](https://arxiv.org/abs/2305.20050) / [HF](https://huggingface.co/datasets/tasksource/PRM800K) |
|
|||
|
|
| SVAMP | 现有数据集改编 | 2021 | 1K | 专家对 ASDiv-A 做变体生成、不超过四年级的单未知数算术应用题。变体：同对象不同结构、两者皆变、加相关/无关信息、改信息、反转运算、改句子/对象顺序 | [Paper](https://aclanthology.org/2021.naacl-main.168/) / [Github](https://github.com/arkilpatel/SVAMP/blob/main/SVAMP.json) |
|
|||
|
|
| TabMWP | 在线来源改编 | 2022 | 38K | 需多跳推理的表格应用题，抽取自在线教育网站并人工标注。来源 IXL；表格以图片、半结构化文本、表格三种形式提供；答案可为生成式或 MCQA；经过 turker 测试 | [Paper](https://arxiv.org/abs/2209.14610) / [HF](https://huggingface.co/datasets/Arietem/tabmwp) |
|
|||
|
|
| TAL-SCQ5K-En | 竞赛题 | 2023 | 4K | MCQA 形式应用题，数学表达式为 latex。含中英文；另有 6K 训练样本和 CoT | [HF](https://huggingface.co/datasets/math-eval/TAL-SCQ5K) |
|
|||
|
|
| TemplateGSM | LLM 生成 | 2024 | 7M | GPT-4 按 GSM8K 形态生成的数学应用题（改参数）。用 GPT-4 生成 meta-template，验证器确保可用。全部 LLM 生成，作者期待更强的质量证明 | [Paper](https://templatemath.github.io/TemplateMath_Part_I.pdf) / [HF](https://huggingface.co/datasets/math-ai/TemplateGSM) |
|
|||
|
|
| TheoremQA | 在线来源改编 | 2023 | 800 | 大学级别定理的 QA。流程：GPT-4 枚举相关领域子领域 → 定理候选列表 → 领域专家核实 → 网上找相关 QA | [Paper](https://arxiv.org/abs/2305.12524) / [HF](https://huggingface.co/datasets/TIGER-Lab/TheoremQA) |
|
|||
|
|
|
|||
|
|
### 4.2 Pre-LLM 数据集
|
|||
|
|
|
|||
|
|
> 多为翻译、摘要、推理、常识等「单属性」任务，现已较易解决；不少已被污染，但可能仍有信号。
|
|||
|
|
|
|||
|
|
| 名称 | 任务类型 | 数据规模/内容 | 任务 | 备注 | 链接 |
|
|||
|
|
|---|---|---|---|---|---|
|
|||
|
|
| DeepFix | Code task, Code-to-code, 纠错 | 7K 学生写的错误 C 程序 | 修正 C 程序 | | [Paper](https://ojs.aaai.org/index.php/AAAI/article/view/10742) |
|
|||
|
|
| MLSum | 生成、多语言、摘要 | 1.5M 新闻摘要/文章对（DailyMail、Le Monde、Süddeutsche Zeitung、El Pais、Moskovskij Komsomolets、Internet Haber；en/fr/de/es/ru/tur） | 摘要 | Palm：加 prompt 前缀、文章截断到 2048 token | [Paper](https://arxiv.org/abs/2004.14900) / [HF](https://huggingface.co/datasets/mlsum) |
|
|||
|
|
| TransCoder | Code task, Code-to-code | 852 个 Python/Java/C++ 并行函数 | 语言间翻译 | | [Paper](https://arxiv.org/pdf/2006.03511.pdf) / [Github](https://github.com/facebookresearch/CodeGen/blob/main/docs/transcoder.md) |
|
|||
|
|
| WMT | 多语言、翻译 | WMT 会议翻译数据集（因年份而异） | 翻译 | 网址中的 2 位数替换为年份 | [Conference](https://www.statmt.org/wmt20/) |
|
|||
|
|
| Adversarial NLI | 语言推理 | 10K entailment 数据集，human-in-the-loop 对抗攻击生成（找迫使模型预测错误标签的谓词）；上下文来自 StoryCloze、CommonCrawl、Wikipedia、Open Annotated National Corpus、WikiHow、GLUE | 预测 entailment | R1–R3 为数据生成轮次 | [Paper](https://arxiv.org/abs/1910.14599) / [Data](https://dl.fbaipublicfiles.com/anli/anli_v1.0.zip) / [Github](https://github.com/facebookresearch/anli) |
|
|||
|
|
| APPS | Text-to-code | 10K 自然语言 Python 编程题（抓自 leetcode 类网站），带测试套件 | 解 Python 题 | | [Paper](https://arxiv.org/abs/2105.09938) / [Github](https://github.com/hendrycks/apps) / [Data](https://people.eecs.berkeley.edu/~hendrycks/APPS.tar.gz) |
|
|||
|
|
| AQuA | 算术、推理 | 100K 多选题（GMAT、GRE 等），含 question/options/rationale | 选正确答案 | 加外部计算器效果最好 | [Paper](https://arxiv.org/abs/1705.04146) / [Github](https://github.com/deepmind/AQuA) |
|
|||
|
|
| ARC | 常识、推理 | 8K 小学科学题：e = easy set, c = challenge set | 选正确答案 | ⚠️ 是 AI2 Reasoning Challenge，不是 Abstraction and Reasoning Corpus | [Paper](https://arxiv.org/abs/1803.05457) / [Data](https://allenai.org/data/arc) |
|
|||
|
|
| bAbI | 推理 | 20 个任务各 2K 自动生成的问题+短场景（模拟文本冒险游戏生成连续动作） | 对句子推理选正确结论 | 第 4 部分描述模拟环境与约束，很有趣；不难复现到其他推理类型 | [Paper](https://arxiv.org/abs/1502.05698) / [Github](https://github.com/facebookarchive/bAbI-tasks) / [Data](https://research.facebook.com/downloads/babi/) |
|
|||
|
|
| BBQ | 偏见检测 | 58K 样本：两种上下文（模糊/明确偏见）+ 两个问题（负面/非负面）+ 候选答案；手工模板+众包校验 | 预测正确、无偏见的答案；不同上下文/问题下准确率之差构成 bias score | | [Paper](https://aclanthology.org/2022.findings-acl.165/) / [Github](https://github.com/nyu-mll/BBQ/tree/main/data) |
|
|||
|
|
| BLiMP | 语言理解 | 67 个数据集各 1K 人工生成的最小对（minimal pairs），测句法/形态/语义知识；MTurk 校验 | 看模型赋予正确句子的 log-probability 是否更高 | 测：anaphor agreement、argument structure、binding、control/raising、determiner-noun agreement、ellipsis、filler-gap、irregular forms、island effects、NPI licensing、quantifiers、subject-verb agreement | [Paper](https://aclanthology.org/2020.tacl-1.25/) / [Github](https://github.com/alexwarstadt/blimp/tree/master/data) |
|
|||
|
|
| BOLD | 生成、毒性检测 | 23K prompts（取自 Wikipedia 句子开头，含种族/宗教/政治/性别/职业群体成员） | 续写句子，用一系列指标评毒性（情感分析、分类器；HELM 用 Perspective API） | | [Paper](https://arxiv.org/abs/2101.11718) / [Github](https://github.com/amazon-science/bold/tree/main/prompts) |
|
|||
|
|
| BooksCorpus | N/A | 11K 本 2 万+ 词的未出版书（16 种体裁，抓自网络） | 原论文用于训练句嵌入模型；模型论文常用于 contamination 或 perplexity 评测 | | [Paper](https://arxiv.org/pdf/1506.06724.pdf) / [HF](https://huggingface.co/datasets/bookcorpus) |
|
|||
|
|
| BooksCorpus_HELM | 生成、记忆 | 从 BooksCorpus 随机抽 1K 本书 | 从段落开头随机 token 数续写，测精确/近似复现 | | [Paper](https://arxiv.org/abs/2211.09110) / [Data](https://drive.google.com/file/d/10uC4jM6tgI1pgtq--07FFHQ2Te7-SXGA/view) |
|
|||
|
|
| BoolQ | 语言推理/理解 | 16K 自然发生的 Yes/No QA（问题+Wikipedia 上下文） | 回答 MCQA | | [Paper](https://arxiv.org/abs/1905.10044) / [Website](https://super.gluebenchmark.com/tasks) |
|
|||
|
|
| CB | 语言理解 | 1.2K 语篇（WSJ 新闻、BNC 小说、Switchboard 对话），含上下文+目标句 | 预测 commitment entailment | | [Paper](https://semanticsarchive.net/Archive/Tg3ZGI2M/Marneffe.pdf) / [Website](https://super.gluebenchmark.com/tasks) |
|
|||
|
|
| Civil comments | 毒性检测 | 1.8M 在线评论，众包标注（按 Perspective API 指南）；其中 450K 标注了身份词 | 毒性预测；标签用于发现模型偏见 | 原论文含合成测试集（77K，模板生成，50 个身份词，50/50 毒性）与人工标注集 | [Paper](https://arxiv.org/pdf/1903.04561.pdf) / [Kaggle](https://www.kaggle.com/c/jigsaw-unintended-bias-in-toxicity-classification) / [HF](https://huggingface.co/datasets/civil_comments) |
|
|||
|
|
| Clean E2E NLG | 描述、生成 | 50K 众包生成的餐厅描述（给定 key-value，如食物类型、预算） | 生成描述 | | [Paper](https://arxiv.org/abs/1706.09254) / [HF](https://huggingface.co/datasets/e2e_nlg_cleaned) |
|
|||
|
|
| CNN/DailyMail | Cloze/完成、摘要 | 原始：20 万新文档（CNN/DailyMail，2007–2015）转 Cloze 格式（去掉命名实体作 key） | HELM：用完整文档做摘要、highlights 作 gold | 作者怀疑生成不了很好的摘要 | [Paper](https://arxiv.org/pdf/1506.03340.pdf) / [HF](https://huggingface.co/datasets/cnn_dailymail) / [Data](https://cs.nyu.edu/~kcho/DMQA/) |
|
|||
|
|
| CommonsenseQA | 常识、推理 | 12K turked QA（从 ConceptNet 关联初始化），质量过滤+Google 搜索上下文 | 回答 MCQA | 部分文本可能与 CC 数据重叠 | [Paper](https://aclanthology.org/N19-1421/) |
|
|||
|
|
| Contrast Sets | 生成、鲁棒性 | 10 个对比集（最多 1K 例），由（通常是原论文的）研究者构造（加推理步骤、词换反义、改数字等） | 用新样本跑原任务，看性能是否下降；HELM 用 IMDb 与 DROP 对比集 | 涉及 NLVR2、IMDb、MATRES、UD parsing、PERSPECTRUM、DROP、Quoref、ROPES、BoolQ、MC-TACO；构造细节在附录 | [Paper](https://aclanthology.org/2020.findings-emnlp.117/) / [Data](https://allenai.org/data/contrast-sets) |
|
|||
|
|
| COPA | 常识、语言理解 | 1K 前提+因果问题（带备选） | 常识选择 | | [Paper](https://people.ict.usc.edu/~gordon/publications/AAAI-SPRING11A.PDF) / [Website](https://super.gluebenchmark.com/tasks) |
|
|||
|
|
| CoQA | 上下文阅读理解 | 127K 对话式 QA（需给 rationale），标注者编写 | 对话式问答 | | [Paper](https://arxiv.org/abs/1808.07042) / [Data](https://stanfordnlp.github.io/coqa/) |
|
|||
|
|
| DataImputation | 现实任务、推理、结构化数据 | 8 个来源的结构化数据集 | 从带空缺属性的行补全空缺（如从电话号码推城市、从规格推手机品牌） | 表 2 有全部来源；HELM 用 Buy 与 Restaurant 子集，转自然语言测准确率 | [Paper](https://sxsong.github.io/doc/21icde-imputation.pdf) / [Data restaurant](https://www.cs.utexas.edu/users/ml/riddle/data/restaurant.tar.gz) / [Data Buy](https://dbs.uni-leipzig.de/file/Abt-Buy.zip) |
|
|||
|
|
| Digits arithmetics (2D+, 2D-, 3D+, …) | 算术 | n 位加减法、复合运算，各 2K 例 | 解题 | 链接来自 lm-evaluation-harness 的 lm_eval/datasets/arithmetic | [Paper](https://arxiv.org/pdf/2005.14165.pdf) / [Github](https://raw.githubusercontent.com/openai/gpt-3/master/data/) |
|
|||
|
|
| DROP | 算术、上下文阅读理解 | 55K 对抗性问题：需 1) 从文本中选相关项 2) 对其计算（排序/计数等） | 选与算 | | [Paper](https://aclanthology.org/N19-1246/) / [Data](https://allenai.org/data/drop) |
|
|||
|
|
| Dyck language_HELM | 符号操作 | 500 个 D_n 词（52–100 字符的嵌套括号），去掉最后 i 个字符 | 预测唯一闭括号序列 | BigBench 有另一版本 | [Paper](https://arxiv.org/abs/2211.09110) / [Github](https://github.com/stanford-crfm/helm/blob/main/src/helm/benchmark/scenarios/dyck_language_scenario.py) |
|
|||
|
|
| HellaSwag | Cloze/完成 | 60K 对抗过滤的多选题 | 选正确的下一句（来自 caption 或 WikiHow） | | [Paper](https://aclanthology.org/P19-1472/) / [Github](https://github.com/rowanz/hellaswag/tree/master/data) |
|
|||
|
|
| HumanEval | Code task, Text-to-code | 164 个手写编程题（函数签名+docstring+函数体+单元测试） | 补全函数以通过单元测试 | | [Paper](https://arxiv.org/abs/2107.03374) / [HF](https://huggingface.co/datasets/openai_humaneval) |
|
|||
|
|
| IMDB | 情感分析 | 50K IMDB 评论，正（≥7）负（≤4）各半，无中性 | 正/负分类 | | [Paper](https://aclanthology.org/P11-1015/) / [Website](https://ai.stanford.edu/~amaas/data/sentiment/) |
|
|||
|
|
| LAMBADA | Cloze/完成 | 10K 叙事上下文（BookCorpus）+ 句子（掩掉最后一个词） | 预测最后一个词 | 特意构造以强制使用上下文 | [Paper](https://aclanthology.org/P16-1144/) / [Zenodo](https://zenodo.org/record/2630551#.YFJVaWT7S_w) |
|
|||
|
|
| Language Modeling_HELM | 语言建模 | HELM 汇编多数据集：WikiText-103、ThePile（arXiv、BooksCorpus2、Enron Emails、PubMed Central、Wikipedia）、TwitterAAE、ICE | 全序列条件 log-probability（perplexity） | | [Paper](https://arxiv.org/abs/2211.09110) / [The pile](https://pile.eleuther.ai/) / [Wikitext](https://s3.amazonaws.com/research.metamind.io/wikitext/wikitext-103-raw-v1.zip) / [Twitter AAE](http://slanglab.cs.umass.edu/TwitterAAE/) / [ICE](https://www.ice-corpora.uzh.ch/en/access.htm) |
|
|||
|
|
| LegalSupport | Entailment、现实任务、推理 | 20K 法律 entailment 场景（州/联邦法律意见；断言作上下文，随机选 2 条支撑来源） | 找最支持断言的规则 | | [Paper](https://arxiv.org/abs/2211.09110) / [Data](https://docs.google.com/uc?export=download&id=1PVoyddrCHChMxYrLhsI-zu7Xzs5S8N77) |
|
|||
|
|
| LinuxKernel_HELM | 生成、记忆 | 从 Linux 内核随机抽 2K 函数 | 从函数开头随机行数续写，测精确/近似复现 | | [Paper](https://arxiv.org/abs/2211.09110) / [Data](https://drive.google.com/file/d/1Y5piYwil7T6n8toT_-d7NWqVZHh9NVxJ/view) |
|
|||
|
|
| LSAT | 分析推理、阅读理解、逻辑推理 | 10K LSAT 题（分析推理、逻辑推理、阅读理解），带上下文 | 正确回答 MCQA | | [Paper](https://arxiv.org/pdf/2108.00648.pdf) / [Github](https://github.com/zhongwanjun/AR-LSAT/tree/main/data) |
|
|||
|
|
| Magellan Benchmark | 现实任务、推理、结构化数据 | 多来源 23 个数据集（实体+属性）；dirty 数据集故意加入错列、拼写错误等 | 判断两个表中两个实体是否同一 | Abt-Buy 和 Buy 可能是同一数据集 | [Paper](https://pages.cs.wisc.edu/~anhai/papers1/deepmatcher-sigmod18.pdf) / [Github](https://github.com/anhaidgroup/deepmatcher/blob/master/Datasets.md) |
|
|||
|
|
| MBPP | Code task, Text-to-code | 1K 入门级 Python 众包编程题（描述、解答、3 个单元测试）——58% 数学、43% 列表处理、19% 字符串处理、9% 整数序列、2% 其他 | 解 Python 题 | 还有 400 项编辑版（无歧义 prompt+好签名，可研究 prompt 对代码生成的影响）+ MathQA-Python | [Paper](https://arxiv.org/abs/2108.07732) / [Github](https://github.com/google-research/google-research/tree/master/mbpp) / [HF](https://huggingface.co/datasets/mbpp) |
|
|||
|
|
| MMLU | 语言理解 | 15K 多选题（法律、哲学、经济、心理、STEM、医学等，高中到专业水平），人工从网络收集 | 回答 MCQA | 看起来是很强/高质量的 baseline | [Paper](https://arxiv.org/abs/2009.03300) / [HF](https://huggingface.co/datasets/lukaemon/mmlu) / [Github](https://github.com/hendrycks/test) |
|
|||
|
|
| MRF (Misinfo Reaction Frames) | 生成、错误信息能力 | 20 万对新闻标题声明（气候、新冠、癌症等）+ 标签（真实/错误信息）；MTurk 标注真实性、传播可能性、作者意图 | 预测 gold 标签或生成可能的作者意图/读者感知 | 含 NELA-GT-2018-2020、SciDCC、Climate-FEVER、CoAID、CoronaVirusFacts、ESOC、DETERRENT 数据 | [Paper](https://aclanthology.org/2022.acl-long.222/) / [Github](https://github.com/skgabriel/mrf-modeling) |
|
|||
|
|
| MS MARCO | QA、检索 | 100 万匿名问题+自由形式人工答案（来自相关网页摘要），部分带改写 | 原论文 3 任务：1) 生成正确回答 2) 无上下文也合理 3) 对 1000 段落排序 | HELM 只看排序任务，相关性用「Does the passage answer the query?」的 log-likelihood 估计 | [Paper](https://arxiv.org/abs/1611.09268) / [Github](https://microsoft.github.io/msmarco/) |
|
|||
|
|
| MS MARCO TREC (TREC 2019) | 检索 | 从 MS MARCO 派生的数据集（段落/文档检索，全量或 top-n 重排：文档 100 / 段落 1000） | 检索/重排 | | [Paper](https://arxiv.org/abs/2003.07820) / [Data](https://trec.nist.gov/data/deep2019.html) / [Github](https://microsoft.github.io/msmarco/TREC-Deep-Learning-2019.html) |
|
|||
|
|
| MultiRC | 语言理解、QA | 6K 多主题多选题 | | | [Paper](https://aclanthology.org/N18-1023.pdf) / [Data](https://super.gluebenchmark.com/tasks) |
|
|||
|
|
| NarrativeQA | QA、检索 | 47K 自由形式人工问题与答案，关联 1.5K 书（Gutenberg）+ 电影剧本（抓取），配剧情摘要 | 从摘要或故事回答/选择 | 长上下文测试可用完整故事做 QA；对话类可能有趣 | [Paper](https://arxiv.org/abs/1712.07040) / [Github](https://github.com/deepmind/narrativeqa) |
|
|||
|
|
| Natural Questions | 开放域/闭卷 QA | 20.7 万聚合 Google 搜索查询+标注的 Wikipedia 答案样本 | | | [Paper](https://aclanthology.org/Q19-1026/) / [Data](https://ai.google.com/research/NaturalQuestions/download) |
|
|||
|
|
| NewsQA | QA | 10 万人工 QA 对（12K CNN 新闻文章）；问题由标题+摘要生成、答案由问题+文章生成，经验证机制保留 | | 可能与 CNN/DailyMail 有交集（抽取脚本相同） | [Paper](https://aclanthology.org/W17-2623/) / [Github](https://github.com/Maluuba/newsqa) |
|
|||
|
|
| OpenBookQA | 常识、推理 | 6K 句子，需常识推理外推到新情境的科学推理 | | | [Paper](https://arxiv.org/abs/1809.02789) / [Data](https://allenai.org/data/open-book-qa) |
|
|||
|
|
| PIQA | 常识、推理 | 20K 物理常识推理情境 | 从上下文与答案中选正确动作 | | [Paper](https://arxiv.org/abs/1911.11641) / [Data](https://yonatanbisk.com/piqa/data/) |
|
|||
|
|
| PopularBooksCorpus_HELM | 生成、记忆 | BooksCorpus 中出现在畅销书榜的 20 本书 | 从书首段开头随机 token 数续写，测精确/近似复现 | | [Paper](https://arxiv.org/abs/2211.09110) / [Data](https://drive.google.com/file/d/1RT29rRKNNXKgZBhXNbqevLwR440g44it/view) |
|
|||
|
|
| QuAC | 上下文阅读理解 | 10 万信息寻求型 QA 情境（用 Wikipedia 生成） | | | [Paper](https://aclanthology.org/D18-1241/) / [Data](https://quac.ai/) |
|
|||
|
|
| RACE | 上下文阅读理解 | 10 万中国初/高中生英语阅读理解题 | | | [Paper](https://aclanthology.org/D17-1082/) / [Data](https://www.cs.cmu.edu/~glai1/data/race/) |
|
|||
|
|
| RAFT | 现实任务、文本分类 | 11 个自然分类任务数据集汇编，150–5K 测试项 | 从 50 个标注样本做 few-shot 分类（医学、金融、研究、英语、法律、物理、AI 安全、社交网络） | 语料：ADE Corpus v2、Banking77、NeurIPS 2020 impact statement risks、OneStopEnglish、Overrruling、Systematic review inclusion、TAI safety research、Terms of Service、TweetEval Hate、Twitter complaints、Semiconductor org types | [Paper](https://arxiv.org/abs/2109.14076) / [HF](https://huggingface.co/datasets/ought/raft) |
|
|||
|
|
| RealToxicityPrompts | 生成、毒性检测 | 10 万自然句子（OpenWebText≈reddit 选，PerspectiveAPI 打分），拆成 prompt+continuation | 续写并用 PerspectiveAPI 评毒性 | | [Paper](https://arxiv.org/abs/2009.11462) / [Data](https://allenai.org/data/real-toxicity-prompts) / [Github](https://github.com/allenai/real-toxicity-prompts) |
|
|||
|
|
| ReCoRD | 语言理解 | 12 万 passage/cloze query/answer 样本（CNN、DailyMail 新闻），人工过滤 | | | [Paper](https://arxiv.org/abs/1810.12885) / [Data](https://super.gluebenchmark.com/tasks) |
|
|||
|
|
| RTE | 语言理解 | 3K entailment 竞赛数据汇编 | | | [Paper](https://w4ngatang.github.io/static/papers/superglue.pdf) / [Data](https://super.gluebenchmark.com/tasks) |
|
|||
|
|
| SAT analogies | 语言理解 | 2005 年前的 374 道 SAT 类比题（a is to b what c is to …，词汇非高频） | | | [Paper](https://arxiv.org/pdf/2005.14165.pdf) / [Data dev](https://goo.gl/XWjas1) / [Data test](https://goo.gl/BcTtB4) |
|
|||
|
|
| SIQA | QA | 原文未提供细节 | | | |
|
|||
|
|
| SQuADv2 | 上下文阅读理解 | SQuAD + 5 万不可回答的问题 | 从上下文给出答案，但仅当可能 | | [Paper](https://arxiv.org/abs/1806.03822) / [Github](https://rajpurkar.github.io/SQuAD-explorer/) |
|
|||
|
|
| StoryCloze | Cloze/完成、常识 | 5 万 5 句常识故事 | 选择正确结尾 | | [Paper](https://aclanthology.org/N16-1098/) / [HF](https://huggingface.co/datasets/story_cloze) |
|
|||
|
|
| StrategyQA | 常识、推理 | 2.8K 需隐式知识推理的问题 | | 加外部计算器效果最好 | [Paper](https://arxiv.org/abs/2101.02235) |
|
|||
|
|
| Synthetic reasoning (natural) | 逻辑推理 | 即时生成的合成数据：合成规则（条件句）、事实（属性）、逻辑 gold 输出 | | HELM 中也叫 rule_induct | [Paper](https://arxiv.org/abs/2211.09110) / [Github](https://github.com/stanford-crfm/helm/blob/main/src/helm/benchmark/scenarios/synthetic_reasoning_natural_scenario.py) |
|
|||
|
|
| Synthetic reasoning (symbolic)_HELM | 逻辑推理、符号操作 | 用模板即时生成的合成数据 | 测模式识别（"beach + beach - pear" → "A + A - B"）或给定模式做字符串替换 | | [Paper](https://arxiv.org/abs/2211.09110) / [Github](https://github.com/stanford-crfm/helm/blob/main/src/helm/benchmark/scenarios/synthetic_reasoning_scenario.py) |
|
|||
|
|
| TriviaQA | 开放域/闭卷 QA | 9.5 万 trivia QA（组合式问题、句法多样） | | | [Paper](https://aclanthology.org/P17-1147/) / [Data](https://nlp.cs.washington.edu/triviaqa/) |
|
|||
|
|
| TruthfulQA | QA | 817 个关于棘手事实主张的问题（常见误解、谬误等，38 类），含真/假参考答案+支持真实答案的来源（另有 +380 题） | | | [Paper](https://arxiv.org/abs/2109.07958) / [Github](https://github.com/sylinrl/TruthfulQA) |
|
|||
|
|
| TyDiQA-GoldP | 多语言、QA | 20.4 万多语言 QA 对（en、ar、ben、fin、ind、ja、ko、ru、tel、th、kiswahili） | MCQA | 生成过程可能问题欠定义、问题与答案语言水平不匹配；可能比其他数据集难 | [Paper](https://aclanthology.org/2020.tacl-1.30/) / [Github](https://github.com/google-research-datasets/tydiqa) |
|
|||
|
|
| Web Questions | 开放域/闭卷 QA | 从 Google Search API 抽取 10 万 "Wh?" 问题，MTurk 标注（答案可能部分过时） | MCQA | | [Paper](https://aclanthology.org/D13-1160/) / [Website](https://nlp.stanford.edu/software/sempre/) |
|
|||
|
|
| WebNLG | 生成、言语化 | 1.3 万三元组（subject/property/object，来自 DBPedia）与句子言语化（众包）的映射；主题：宇航员、大学、纪念碑、建筑、漫画角色、食物、机场、运动队、著作 | 语法正确的言语化 | 选句偏流畅、句子相对简单；无标注者来源描述，可能非「标准英语」 | [Paper](https://aclanthology.org/P17-1017.pdf) / [HF](https://huggingface.co/datasets/web_nlg) |
|
|||
|
|
| WiC | 语言理解 | 7K，判断一个词在两个不同上下文是否同义 | | | [Paper](https://aclanthology.org/N19-1128/) / [Site](https://super.gluebenchmark.com/tasks) |
|
|||
|
|
| WikiFact_HELM | Cloze/完成 | 12 个领域 1K 三元组（subject, relation, object），从 Wikipedia 采样并清理 | 预测关系句中的缺失项 | | [Paper](https://arxiv.org/abs/2211.09110) / [Codalab](https://worksheets.codalab.org/rest/bundles/0x8c3b60eb7c6b462e822a150f194d3b35/) / [Github](https://github.com/stanford-crfm/helm/blob/main/src/helm/benchmark/scenarios/wikifact_scenario.py) |
|
|||
|
|
| WikiLingua | 生成、多语言、摘要 | 4.3 万文章/摘要对（WikiHow 18 种语言）；摘要=各步摘要句拼接，文章=详细段落 | 摘要 | Palm：prompt 前缀+截断 2048 token；怀疑数据创建导致摘要基线「机械化」语言，可能低估更流畅的摘要（ROUGE 应不太受影响） | [Paper](https://aclanthology.org/2020.findings-emnlp.360/) / [Github](https://github.com/esdurmus/Wikilingua) |
|
|||
|
|
| Winogender | 偏见检测 | 原文未提供细节 | | | |
|
|||
|
|
| Winograd | 推理、Winograd | 273–285 个例句：消解代词指代（特意构造得对统计方法难、对人容易） | 代词消解 | 作者不确定 GPT-3 评测用的是这个还是 SuperGLUE 版 | [Paper](https://dl.acm.org/doi/10.5555/3031843.3031909) / [Website](https://cs.nyu.edu/~davise/papers/WinogradSchemas/WSCollection.xml) |
|
|||
|
|
| WinoGrande | 推理、Winograd | 4.3 万句对抗性 Winograd 句 | | | [Paper](https://arxiv.org/abs/1907.10641) / [Website](https://winogrande.allenai.org/) |
|
|||
|
|
| WSC | 语言理解、Winograd | Winograd Schema Challenge | | | [Paper](https://w4ngatang.github.io/static/papers/superglue.pdf) / [Website](https://super.gluebenchmark.com/tasks) |
|
|||
|
|
| XSUM | 摘要 | 22.6 万 BBC 新闻文章（2010–2017，WayBack 机器抽取）+单句摘要（来自文章本身） | 摘要 | 领域：新闻、政治、体育、天气、商业、科技、科学、健康、家庭、教育、娱乐、艺术；可手动检查模型近期知识是否让旧闻摘要产生差异 | [Paper](https://aclanthology.org/D18-1206/) / [HF](https://huggingface.co/datasets/xsum) / [Github](https://github.com/EdinburghNLP/XSum) |
|
|||
|
|
|
|||
|
|
### 4.3 作者提出的、可自行复现的数据集想法（✍️）
|
|||
|
|
|
|||
|
|
| 名称 | 任务类型 | 内容 | 来源 |
|
|||
|
|
|---|---|---|---|
|
|||
|
|
| ✍️ GSM8K-Python | Code task, Text-to-code | GSM8K 的 Python 版（8.5K 年级数学题） | [Paper](https://arxiv.org/abs/2204.02311) |
|
|||
|
|
| ✍️ MRF | 生成、人工评测、错误信息能力 | 从 MRF 抽 250 条标题，按论点聚成 80 簇；任务：从论点+5 条标题生成支持论点的可信标题；标注者评估 1) 是否支持论点 2) 是否看起来真实 | [Paper](https://arxiv.org/abs/2211.09110) / [Data](https://drive.google.com/uc?export=download&id=1uVJbsgPCHFAvH43I6SVvU3Ayo8dh-y_N)；[原始流程报告](https://cset.georgetown.edu/publication/truth-lies-and-automation/) 第 6 页 + HELM 论文 8.5.2、E.5、5.5 节 |
|
|||
|
|
| ✍️ News article generation | 生成 | 从标题与副标题生成 25 篇文章，80 人判断是生成还是原创 | [Paper](https://arxiv.org/abs/2005.14165)（GPT-3） |
|
|||
|
|
| ✍️ Numeracy Prediction | 符号操作 | 给几个例子做符号回归（symbolic regression），把数字关系应用到新输入 | [Paper](https://arxiv.org/abs/2211.09110) / [Github](https://github.com/stanford-crfm/helm/blob/main/src/helm/benchmark/scenarios/numeracy_scenario.py) |
|
|||
|
|
| ✍️ SVG datasets | — | 构造 SVG 数据集，看模型能否生成或解释 SVG 绘图 | [Twitter thread](https://twitter.com/zswitten/status/1631178997508997120) |
|
|||
|
|
| ✍️ Theory of the mind datasets | — | 心智理论数据集，可能很容易生成 | [Paper](https://arxiv.org/abs/2302.08399) |
|
|||
|
|
| ✍️ Wedging prompts | 生成、人工评测、错误信息能力 | 11 个带特定意图的 prompt（如影响投票行为、生成支持/反对 X 的言论定向特定群体），各加 3 个示例，生成后续示例 | [Paper](https://cset.georgetown.edu/wp-content/uploads/CSET-Truth-Lies-and-Automation.pdf) / [Data](https://drive.google.com/uc?export=download&id=1kWB3_F4Tobc_oVGC_T-a5DHEh-AB4GTc)；HELM 人工评测：1) 是否针对目标群体 2) 是否支持目标信息 3) 是否分裂 |
|
|||
|
|
| ✍️ Word scrambling | 符号操作 | 5 个字符操作任务各 1 万例（循环字母、字母重排、随机插入、反转），恢复原词 | [Paper](https://arxiv.org/abs/2005.14165)（GPT-3 §3.9.2）；容易生成/自动化 |
|
|||
|
|
|
|||
|
|
---
|
|||
|
|
|
|||
|
|
## 5. Tips and Tricks
|
|||
|
|
|
|||
|
|
### 5.1 管理污染（Managing contamination）
|
|||
|
|
|
|||
|
|
总原则：**凡是公开在网上的数据集，都应假设它已经（或将会）被污染**。
|
|||
|
|
|
|||
|
|
缓解措施：
|
|||
|
|
|
|||
|
|
1. **提供 canary string（金丝雀字符串）**——如 [BigBench](https://github.com/google/BIG-bench) 的做法：在评测集中放一个特殊字符组合，模型创建者可以在自己的训练集里搜索它，一旦出现即表明训练集含有评测数据。
|
|||
|
|
2. **以加密（[encrypted](https://arxiv.org/abs/2309.16575)）或门控（[gated](https://huggingface.co/datasets/Idavidrein/gpqa)，如 GPQA）形式提供评测集**——让网络爬虫难以解析，从而不会意外进入训练集。
|
|||
|
|
3. **运行动态 benchmark（[dynamic benchmarks](https://arxiv.org/abs/2104.14337)）**——随时间定期更新，模型无法「把答案背下来」（但数据集成本更高）。
|
|||
|
|
4. **事后检测污染（[detect contamination](https://arxiv.org/abs/2311.06233)）**——例如看生成结果的 perplexity，或设计对抗性 prompt 变体。注意：**没有哪种污染检测方法是万无一失的**。
|
|||
|
|
|
|||
|
|
不过也要记住：**数据集被污染不代表它不再有趣、不再有信号**——训练过程中它依然有用。
|
|||
|
|
|
|||
|
|
### 5.2 实战中会遇到的问题
|
|||
|
|
|
|||
|
|
#### 微调模型、system prompt 与 chat template
|
|||
|
|
|
|||
|
|
很多 instruction-tuned 模型如果没做到以下几点，表现会非常差：
|
|||
|
|
|
|||
|
|
- 在**推理的最开始加上它们的 system prompt**；
|
|||
|
|
- 用 **chat template** 提示它们（通常是在对话轮次上加 `Assistant` / `User` 前缀——详见 ⭐ [这个指南](https://huggingface.co/docs/transformers/main/en/chat_templating)）。
|
|||
|
|
|
|||
|
|
另外，**不要假设不同 tokenizer 行为相同**，尤其是在 chat template 方面——参见 ⭐ [这条推文](https://x.com/danielhanchen/status/1796952220619157694) 里关于 tokenization 空格与 chat template 的示意图：
|
|||
|
|
|
|||
|
|
|
|||
|
|
|
|||
|
|
#### Tokenization 细节
|
|||
|
|
|
|||
|
|
**1. 上下文与选项一起分词、还是分开分词**
|
|||
|
|
|
|||
|
|
- 做 MCQA 评测时，一般应把**上下文和选项一起分词**（tokenize context + choices together），这样产生的是模型看来自然/可能的 token 序列。
|
|||
|
|
- 但有些 tokenizer（如 [Llama 的](https://github.com/EleutherAI/lm-evaluation-harness/pull/531#issuecomment-1595586257)）不满足 `enc(context + choice) = enc(context) + enc(choice)`（会增删空格）。这意味着比较各选项的 log-probability 不容易——上下文 token 可能「渗入」选项 token，破坏比较。
|
|||
|
|
- 若你的模型如此：可以先**分别计算 context 和 choice 的 token，再去掉各自附加的特殊开始/结束 token 后拼接**。
|
|||
|
|
|
|||
|
|
**2. 注意开始与结束句子 token（start / end of sentence tokens）**
|
|||
|
|
|
|||
|
|
- 有些模型（如 `Gemma`）对[推理时是否包含 start-of-sentence token](https://github.com/EleutherAI/lm-evaluation-harness/pull/1465) 极其敏感。你可能要做几个实验确认你的模型是否如此，必要时手动加上这些 token。
|
|||
|
|
- 还可能遇到模型不在你期望的结束 token（如 `\n`）上停止的情况——因为模型不会单独预测该 token，而是把它包含在更高级 token 里（例如 `\n\n` 在代码模型中可能是单个 token）。此时需要加一个「**回溯（backtrack）**」检查：在计算 metric 前把生成文本在正确位置截断。
|
|||
|
|
|
|||
|
|
**3. 多语言与 tokenization**
|
|||
|
|
|
|||
|
|
- 做多语言评测时，要根据评测任务和 metric 决定如何分词。有些语言**不用空格作词分隔符**（韩语、泰语、日语、中文等），需要语言特定的 tokenizer 才能正确切分，否则会影响 [BLEU](https://github.com/EleutherAI/lm-evaluation-harness/issues/212)、F1 等指标得分。
|
|||
|
|
|
|||
|
|
**4. 代码评测与结束句子 token**
|
|||
|
|
|
|||
|
|
- 代码模型通常把 `\n\t` 训练成**单个 token**，生成时常一步产生 `\n\t`。
|
|||
|
|
- 若任务把 `\n` 定义为结束 token（停止生成），模型在预测 `\n\t`（作为一个 token，不等于 `\n`）后仍会继续生成，而你其实希望它停下来。
|
|||
|
|
- 对策：要么**更新你的结束 token 集合**，要么定义一个**基于字符表示回溯最新 token 的机制**，事后停止并截断生成。
|
|||
|
|
|
|||
|
|
#### MCQA 评测的提速技巧
|
|||
|
|
|
|||
|
|
- 若任务只需模型预测**一个 token**，可以大幅提速：
|
|||
|
|
- 不用跑 `number_of_choices` 次推理（`context + choice 1`、`context + choice 2` …），只需对 `context` 做一次推理，直接取**全词表概率分布**（其中包含所有单 token 选项），一次拿到所有目标 log-probability。
|
|||
|
|
- 这正是 `lighteval` 的做法。
|
|||
|
|
|
|||
|
|
### 5.3 生成式评测结果异常差时的排查
|
|||
|
|
|
|||
|
|
第一步永远是**仔细检查模型的生成结果**。常见问题：
|
|||
|
|
|
|||
|
|
| 常见问题 | 修复 |
|
|||
|
|
|---|---|
|
|||
|
|
| **输出解析过严**（算 metric 之前），导致答案丢失 | 调整你的解析逻辑 |
|
|||
|
|
| **模型无法在 few-shot 中遵循输出格式**（近期训了指令数据的模型很常见，如 llama 3.2、Qwen 2.5） | 要么调整 prompt 格式，要么就假设模型应当能在 few-shot 中遵循它 |
|
|||
|
|
| **模型过于啰嗦、永远到不了正确答案**（长上下文模型更常见；作者在 Qwen 和 CommandR 上观察到） | 要么加大允许的上下文长度，要么在 task prompt 里加「请简洁」指令，要么就假设模型应当能简洁作答 |
|
|||
|
|
|
|||
|
|
---
|
|||
|
|
|
|||
|
|
## 6. 参考资料
|
|||
|
|
|
|||
|
|
### 原文（GitHub evaluation-guidebook）
|
|||
|
|
|
|||
|
|
- 章节总览：`contents/automated-benchmarks/`
|
|||
|
|
- [basics.md](https://github.com/huggingface/evaluation-guidebook/blob/main/contents/automated-benchmarks/basics.md)
|
|||
|
|
- [designing-your-automatic-evaluation.md](https://github.com/huggingface/evaluation-guidebook/blob/main/contents/automated-benchmarks/designing-your-automatic-evaluation.md)
|
|||
|
|
- [some-evaluation-datasets.md](https://github.com/huggingface/evaluation-guidebook/blob/main/contents/automated-benchmarks/some-evaluation-datasets.md)
|
|||
|
|
- [tips-and-tricks.md](https://github.com/huggingface/evaluation-guidebook/blob/main/contents/automated-benchmarks/tips-and-tricks.md)
|
|||
|
|
- 指南仓库：https://github.com/huggingface/evaluation-guidebook （已迁移至 [OpenEvals/evaluation-guidebook](https://huggingface.co/spaces/OpenEvals/evaluation-guidebook)，见 [[00-Overview]]）
|
|||
|
|
|
|||
|
|
### 指南内部其他章节（交叉引用）
|
|||
|
|
|
|||
|
|
- [Model inference and evaluation](https://github.com/huggingface/evaluation-guidebook/blob/main/contents/general-knowledge/model-inference-and-evaluation.md)（生成式 vs log-probability 输出、约束输出）
|
|||
|
|
- [Troubleshooting reproducibility](https://github.com/huggingface/evaluation-guidebook/blob/main/contents/troubleshooting/troubleshooting-reproducibility.md)（不同 prompt 对结果的影响）
|
|||
|
|
- [Using human annotators](https://github.com/huggingface/evaluation-guidebook/blob/main/contents/human-evaluation/using-human-annotators.md)（人工标注者）
|
|||
|
|
|
|||
|
|
### 作者推荐的外部链接（⭐）
|
|||
|
|
|
|||
|
|
- ⭐ 作者的个人 evals 博客：[LLM Evaluation（clefourrier）](https://huggingface.co/blog/clefourrier/llm-evaluation)（与本文有部分重叠）
|
|||
|
|
- ⭐ [Cosmopedia 博客](https://huggingface.co/blog/cosmopedia)（用 LLM 造合成数据集）
|
|||
|
|
- ⭐ [lighteval Metric List wiki](https://github.com/huggingface/lighteval/wiki/Metric-List)（metric 清单）
|
|||
|
|
- ⭐ [Transformers chat templating 指南](https://huggingface.co/docs/transformers/main/en/chat_templating)
|
|||
|
|
- ⭐ [tokenization 空格与 chat template 示意图（Daniel Han 推文）](https://x.com/danielhanchen/status/1796952220619157694)
|
|||
|
|
- ⭐ [Prompts vs. Leaks: 模型过拟合评测格式的论文](https://arxiv.org/abs/2407.07890)
|
|||
|
|
- ⭐ [Challenges in evaluating LLMs（ehudreiter 博客，为何要测最差表现）](https://ehudreiter.com/2024/07/10/challenges-in-evaluating-llms/)
|
|||
|
|
|
|||
|
|
### 论文与工具链接（正文出现）
|
|||
|
|
|
|||
|
|
**污染相关**：[BigBench canary](https://github.com/google/BIG-bench) · [加密评测](https://arxiv.org/abs/2309.16575) · [GPQA gated 数据集](https://huggingface.co/datasets/Idavidrein/gpqa) · [动态 benchmark](https://arxiv.org/abs/2104.14337) · [污染检测](https://arxiv.org/abs/2311.06233)
|
|||
|
|
|
|||
|
|
**设计与方法**：[选项顺序偏好](https://arxiv.org/abs/2309.03882) · [Open LLM Leaderboard drop（归一化不公平）](https://huggingface.co/blog/open-llm-leaderboard-drop) · [NPHardEval](https://arxiv.org/abs/2312.14890) · [DyVal](https://arxiv.org/abs/2309.17167) · [MuSR](https://arxiv.org/abs/2310.16049) · [bAbI](https://arxiv.org/abs/1502.05698)
|
|||
|
|
|
|||
|
|
**工具**：[lm-evaluation-harness](https://github.com/EleutherAI/lm-evaluation-harness)（PR [#531 Llama tokenizer](https://github.com/EleutherAI/lm-evaluation-harness/pull/531#issuecomment-1595586257)、PR [#1465 Gemma SOS token](https://github.com/EleutherAI/lm-evaluation-harness/pull/1465)、[Issue #212 多语言 BLEU](https://github.com/EleutherAI/lm-evaluation-harness/issues/212)）· [lighteval](https://github.com/huggingface/lighteval)
|
|||
|
|
|
|||
|
|
> 数学/Pre-LLM 数据集的全部论文与数据链接见 [第 4 节表格](#4-常用评测数据集盘点)。
|