01_Projects/Personal-Tech/LLM_Evaluation/04-Reference/evaluation-guidebook/07-Resources.md

---
type: reference
tags:
  - llm-evaluation
  - evaluation-guidebook
  - resources
status: active
created: 2026-08-21
source: https://github.com/huggingface/evaluation-guidebook
---

# Resources —— 评测与 NLP 推荐资源清单

> 本页整理自 HuggingFace Evaluation Guidebook 的 `resources/about-evaluation.md` 与 `resources/about-NLP.md`，把原文链接按主题分类成清单。每项列出：链接、作者/来源、一句话中文说明（说明依据原文自带的描述翻译；原文只有链接的条目，只做最小的事实性描述，不额外发挥）。⚠️ 链接是否仍然有效、内容是否更新，以访问时为准。

## 快速导航

- [评测方法论与综述](#评测方法论与综述)
- [LLM-as-a-Judge（模型作评委）](#llm-as-a-judge模型作评委)
- [播客](#播客)
- [评测软件与工具](#评测软件与工具)
- [排行榜](#排行榜)
- [评测教程](#评测教程)
- [NLP 基础](#nlp-基础)
- [LLM 架构理解](#llm-架构理解)
- [提示词（Prompting）](#提示词prompting)

## 资源总览

> 全表共 21 项资源，按类别一览（详细清单见下文各节）。

| 类别 | 资源 | 作者/来源 | 一句话说明 |
|---|---|---|---|
| 评测方法论 | Foundational Model Development Cheatsheet | AllenAI | 基础模型开发速查表 |
| 评测方法论 | Challenges in LM Evaluation | Hailey Schoelkopf & Lintang Sutawika（ICML 2024 Tutorial） | 自动评测挑战综述演示 |
| 评测方法论 | Lessons from the trenches on Reproducible Evaluation of LMs | EleutherAI | 可复现 LM 评测的经验论文 |
| LLM-as-a-Judge | LLM Evaluators | Eugene Yan | LLM 作评测器的总结 |
| LLM-as-a-Judge | LLM as a Judge | Cameron R. Wolfe | "LLM 作评委"方法综述 |
| LLM-as-a-Judge | LLM & VLM-as-a-Judge | Dylan（Digital Garden） | LLM/VLM 作评委经验 |
| 播客 | Benchmarks 101 | Latent Space | 自动基准历史与问题 |
| 播客 | Benchmarks 201 | Latent Space | 何时用哪种评测方法 + Leaderboard 讨论 |
| 工具 | `lm_eval`（the Harness） | Eleuther | 稳定可复现的 LLM 评测引擎 |
| 工具 | `lighteval` | Hugging Face | 轻量评测套件，聚焦定制与新基准 |
| 排行榜 | Open LLM Leaderboard | Hugging Face | 开源 LLM 静态基准中立评测 |
| 排行榜 | HELM | Stanford（CRFM） | 静态基准 + 胜率排名 |
| 排行榜 | Chatbot Arena | LMSys | 众包人工评测约 150 个 LLM |
| 排行榜 | LLM Performance Leaderboard | Artificial Analysis | LLM API 性能与定价对比 |
| 排行榜 | HF 评测/排行榜博客 | Hugging Face | 官方相关博客汇总 |
| 排行榜 | Leaderboard Finder | Hugging Face | 按用例找最相关排行榜 |
| 教程 | Argilla domain-eval tutorial | Argilla | 自定义领域评测端到端教程 |
| NLP 基础 | NLP for You | Lena Voita | 最好的在线 NLP 课程之一 |
| NLP 基础 | The NLP Course | Hugging Face | 完整 NLP 课程，含代码 |
| 架构 | Annotated/Illustrated 系列 + MoE 指南 | Bastings / Rush / Alammar / Grootendorst | Transformer、S4、MoE 图解与代码讲解 |
| 提示词 | Show me the prompt | Hamel Husain | 提示词相关博客 |

---

## 评测方法论与综述

> 来自 `about-evaluation.md` 的 Knowledge 部分：自动评测的两篇高质量综述 + 一篇入门速查。

- [Foundational Model Development Cheatsheet](https://fmcheatsheet.org/) —— 作者/来源：AllenAI
  - 基础模型开发速查表（原文归在 "Knowledge > General"，评测以外的整体入门参考）。
- [Challenges in LM Evaluation](https://github.com/lm-evaluation-challenges/lm-evaluation-challenges.github.io/blob/main/%5BMain%5D%20ICML%20Tutorial%202024%20-%20Challenges%20in%20LM%20Evaluation.pdf) —— 作者/来源：Hailey Schoelkopf 与 Lintang Sutawika（ICML 2024 Tutorial 演示文稿）
  - 关于**自动评测挑战**的综述演示（原文明确推荐的两份自动评测综述之一）。
- [Lessons from the trenches on Reproducible Evaluation of LMs](https://arxiv.org/abs/2405.14782) —— 作者/来源：EleutherAI（arXiv 论文）
  - 关于**可复现 LM 评测**的"战壕经验"论文（原文明确推荐的另一份自动评测综述）。

## LLM-as-a-Judge（模型作评委）

> 来自 `about-evaluation.md` 的 "LLM as a judge" 部分，原文归类为"总结与经验反馈"（Cool summaries and experience feedbacks）。

- [LLM Evaluators](https://eugeneyan.com/writing/llm-evaluators/) —— 作者/来源：Eugene Yan（博客）
  - 关于用 LLM 做评测器的总结文章。
- [LLM as a Judge](https://cameronrwolfe.substack.com/p/llm-as-a-judge) —— 作者/来源：Cameron R. Wolfe（Substack 博客）
  - 关于"LLM 作评委"这一评测方法的综述文章。
- [LLM & VLM-as-a-Judge](https://dylandigitalgarden.com/2024/July/July+31%2C+2024+LLM+%26+VLM-as-a-Judge) —— 作者/来源：Dylan（Digital Garden 博客，2024-07-31）
  - 关于 LLM/VLM 作评委的经验与思考。

## 播客

> 来自 `about-evaluation.md` 的 Knowledge 部分，原文推荐的两个 Latent Space 播客。

- [Benchmarks 101](https://www.latent.space/p/benchmarks-101) —— 作者/来源：Latent Space（播客）
  - 关于**自动基准的历史与已知问题**（自动评测入门）。
- [Benchmarks 201](https://www.latent.space/p/benchmarks-201) —— 作者/来源：Latent Space（播客）
  - 关于**何时该用哪种评测方法**，并含与原作者（Clémentine Fourrier，指南作者）关于 Leaderboard 的讨论。

## 评测软件与工具

> 来自 `about-evaluation.md` 的 Software > Evaluation suites 部分。

- [`lm_eval`（lm-evaluation-harness）](https://github.com/EleutherAI/lm-evaluation-harness/) —— 作者/来源：Eleuther（GitHub 仓库）
  - 常称 "the Harness"，LLM 评测的"主力引擎"：以稳定、可复现的方式在众多 benchmark 上评测来自多家供应商的任意 LLM。
- [`lighteval`](https://github.com/huggingface/lighteval) —— 作者/来源：Hugging Face（GitHub 仓库；指南作者也是作者之一，原文有利益声明）
  - 轻量级 LLM 评测套件，聚焦定制化与较新的 benchmark。

## 排行榜

> 来自 `about-evaluation.md` 的 Software > Leaderboards 部分。

- [Open LLM Leaderboard](https://huggingface.co/spaces/open-llm-leaderboard/open_llm_leaderboard) —— 作者/来源：Hugging Face
  - 对开源 LLM 在参考静态基准上的中立第三方评测，开放提交。
- [HELM](https://crfm.stanford.edu/helm/lite/latest/#/leaderboard) —— 作者/来源：Stanford（CRFM）
  - 也在静态基准上评测模型，但用 **win-rates（胜率）** 排名。
- [Chatbot Arena](https://huggingface.co/spaces/lmsys/chatbot-arena-leaderboard) —— 作者/来源：LMSys
  - 用众包人工评测（竞技场投票）为约 150 个 LLM 打分排名的 Arena。
- [LLM Performance Leaderboard](https://huggingface.co/spaces/ArtificialAnalysis/LLM-Performance-Leaderboard) —— 作者/来源：Artificial Analysis
  - 主流 LLM API 提供商的性能基准与定价；想用 API 而非本地跑模型时看它。
- [Hugging Face 评测与排行榜相关博客](https://huggingface.co/blog?tag=leaderboard) —— 作者/来源：Hugging Face（博客标签页）
  - 官方关于评测与排行榜的全部博客文章汇总。
- [Leaderboard Finder](https://huggingface.co/spaces/leaderboards/LeaderboardFinder) —— 作者/来源：Hugging Face（Space）
  - 帮你找到与你的用例最相关的排行榜。

## 评测教程

> 来自 `about-evaluation.md` 的 Software > Tutorials 部分。

- [End-to-end custom domain evaluation tutorial](https://github.com/argilla-io/argilla-cookbook/tree/main/domain-eval) —— 作者/来源：Argilla（GitHub Cookbook）
  - 端到端教程：为自己的领域构建自定义评测任务，使用合成数据 + 人工评测，配套工具 [Argilla](https://github.com/argilla-io/argilla/) 与 [distilabel](https://github.com/argilla-io/distilabel)。

## NLP 基础

> 来自 `about-NLP.md` 的 General knowledge 部分。

- [NLP for You](https://lena-voita.github.io/nlp_course.html) —— 作者/来源：Lena Voita
  - 公认最好的在线 NLP 课程之一，循序渐进、阅读体验好（原文原话：step by step and nice to read）。
- [The NLP Course](https://huggingface.co/learn/nlp-course/chapter1/1) —— 作者/来源：Hugging Face
  - 极其完整的 NLP 课程，含大量代码片段，可快速上手。

## LLM 架构理解

> 来自 `about-NLP.md` 的 Understanding LLM architectures 部分。

- [The Annotated Encoder Decoder](https://bastings.github.io/annotated_encoder_decoder/) —— 作者/来源：Jasmijn Bastings
  - 逐步讲解 2015 年 Bahdanau 论文（带注意力的 RNN encoder-decoder），每一步都有代码解释。
- [The Annotated Transformer](https://nlp.seas.harvard.edu/2018/04/03/attention.html) —— 作者/来源：Sasha Rush
  - 逐步讲解 2016 年 Vaswani 的 Transformer 论文，每一步都有代码解释。
- [The Illustrated Transformer](https://jalammar.github.io/illustrated-transformer/) —— 作者/来源：Jay Alammar
  - 上一条的很好补充：用可视化（而非代码）讲 Transformer。
- [The Annotated S4](https://srush.github.io/annotated-s4/) —— 作者/来源：Sasha Rush
  - 逐步讲解 Structured State Space for Sequence Modeling（S4）论文，每一步都有代码；想知道什么是状态空间模型就看它。
- [A Visual Guide to MoE](https://newsletter.maartengrootendorst.com/p/a-visual-guide-to-mixture-of-experts) —— 作者/来源：Maarten Grootendorst
  - 混合专家（Mixture of Experts）可视化指南，大量直观图示；原文建议先读上面的 Transformer 指南再看本篇。

## 提示词（Prompting）

> 来自 `about-NLP.md` 的 Prompting 部分。

- [Show me the prompt](https://hamel.dev/blog/posts/prompt/) —— 作者/来源：Hamel Husain（博客）
  - 关于提示词（prompt）的博客文章（原文仅给出链接，未附说明）。

---

## 使用建议

- **按需取用**：先看[评测方法论与综述](#评测方法论与综述)建立框架，再按场景选择[软件工具](#评测软件与工具)与[排行榜](#排行榜)。
- **补 NLP 基础**：需要 LLM/Transformer 基础时看 [NLP 基础](#nlp-基础) 与 [LLM 架构理解](#llm-架构理解)。
- **动手实践**：想自己搭评测流程，从 [评测教程](#评测教程) 的 Argilla 领域评测教程开始，工具用 `lm_eval` 或 `lighteval`。
- **持续跟踪**：排行榜与评测工具迭代很快，重要决定前请回到原文链接核对最新状态。

## 原文位置

- `resources/about-evaluation.md`：[GitHub blob](https://github.com/huggingface/evaluation-guidebook/blob/main/resources/about-evaluation.md)
- `resources/about-NLP.md`：[GitHub blob](https://github.com/huggingface/evaluation-guidebook/blob/main/resources/about-NLP.md)

相关：[[00-Overview]] · [[06-Yearly-Dives]]