--- type: reference tags: - llm-evaluation - evaluation-guidebook - resources status: active created: 2026-08-21 source: https://github.com/huggingface/evaluation-guidebook --- # Resources —— 评测与 NLP 推荐资源清单 > 本页整理自 HuggingFace Evaluation Guidebook 的 `resources/about-evaluation.md` 与 `resources/about-NLP.md`，把原文链接按主题分类成清单。每项列出：链接、作者/来源、一句话中文说明（说明依据原文自带的描述翻译；原文只有链接的条目，只做最小的事实性描述，不额外发挥）。⚠️ 链接是否仍然有效、内容是否更新，以访问时为准。 ## 快速导航 - [评测方法论与综述](#评测方法论与综述) - [LLM-as-a-Judge（模型作评委）](#llm-as-a-judge模型作评委) - [播客](#播客) - [评测软件与工具](#评测软件与工具) - [排行榜](#排行榜) - [评测教程](#评测教程) - [NLP 基础](#nlp-基础) - [LLM 架构理解](#llm-架构理解) - [提示词（Prompting）](#提示词prompting) ## 资源总览 > 全表共 21 项资源，按类别一览（详细清单见下文各节）。 | 类别 | 资源 | 作者/来源 | 一句话说明 | |---|---|---|---| | 评测方法论 | Foundational Model Development Cheatsheet | AllenAI | 基础模型开发速查表 | | 评测方法论 | Challenges in LM Evaluation | Hailey Schoelkopf & Lintang Sutawika（ICML 2024 Tutorial） | 自动评测挑战综述演示 | | 评测方法论 | Lessons from the trenches on Reproducible Evaluation of LMs | EleutherAI | 可复现 LM 评测的经验论文 | | LLM-as-a-Judge | LLM Evaluators | Eugene Yan | LLM 作评测器的总结 | | LLM-as-a-Judge | LLM as a Judge | Cameron R. Wolfe | "LLM 作评委"方法综述 | | LLM-as-a-Judge | LLM & VLM-as-a-Judge | Dylan（Digital Garden） | LLM/VLM 作评委经验 | | 播客 | Benchmarks 101 | Latent Space | 自动基准历史与问题 | | 播客 | Benchmarks 201 | Latent Space | 何时用哪种评测方法 + Leaderboard 讨论 | | 工具 | `lm_eval`（the Harness） | Eleuther | 稳定可复现的 LLM 评测引擎 | | 工具 | `lighteval` | Hugging Face | 轻量评测套件，聚焦定制与新基准 | | 排行榜 | Open LLM Leaderboard | Hugging Face | 开源 LLM 静态基准中立评测 | | 排行榜 | HELM | Stanford（CRFM） | 静态基准 + 胜率排名 | | 排行榜 | Chatbot Arena | LMSys | 众包人工评测约 150 个 LLM | | 排行榜 | LLM Performance Leaderboard | Artificial Analysis | LLM API 性能与定价对比 | | 排行榜 | HF 评测/排行榜博客 | Hugging Face | 官方相关博客汇总 | | 排行榜 | Leaderboard Finder | Hugging Face | 按用例找最相关排行榜 | | 教程 | Argilla domain-eval tutorial | Argilla | 自定义领域评测端到端教程 | | NLP 基础 | NLP for You | Lena Voita | 最好的在线 NLP 课程之一 | | NLP 基础 | The NLP Course | Hugging Face | 完整 NLP 课程，含代码 | | 架构 | Annotated/Illustrated 系列 + MoE 指南 | Bastings / Rush / Alammar / Grootendorst | Transformer、S4、MoE 图解与代码讲解 | | 提示词 | Show me the prompt | Hamel Husain | 提示词相关博客 | --- ## 评测方法论与综述 > 来自 `about-evaluation.md` 的 Knowledge 部分：自动评测的两篇高质量综述 + 一篇入门速查。 - [Foundational Model Development Cheatsheet](https://fmcheatsheet.org/) —— 作者/来源：AllenAI - 基础模型开发速查表（原文归在 "Knowledge > General"，评测以外的整体入门参考）。 - [Challenges in LM Evaluation](https://github.com/lm-evaluation-challenges/lm-evaluation-challenges.github.io/blob/main/%5BMain%5D%20ICML%20Tutorial%202024%20-%20Challenges%20in%20LM%20Evaluation.pdf) —— 作者/来源：Hailey Schoelkopf 与 Lintang Sutawika（ICML 2024 Tutorial 演示文稿） - 关于**自动评测挑战**的综述演示（原文明确推荐的两份自动评测综述之一）。 - [Lessons from the trenches on Reproducible Evaluation of LMs](https://arxiv.org/abs/2405.14782) —— 作者/来源：EleutherAI（arXiv 论文） - 关于**可复现 LM 评测**的"战壕经验"论文（原文明确推荐的另一份自动评测综述）。 ## LLM-as-a-Judge（模型作评委） > 来自 `about-evaluation.md` 的 "LLM as a judge" 部分，原文归类为"总结与经验反馈"（Cool summaries and experience feedbacks）。 - [LLM Evaluators](https://eugeneyan.com/writing/llm-evaluators/) —— 作者/来源：Eugene Yan（博客） - 关于用 LLM 做评测器的总结文章。 - [LLM as a Judge](https://cameronrwolfe.substack.com/p/llm-as-a-judge) —— 作者/来源：Cameron R. Wolfe（Substack 博客） - 关于"LLM 作评委"这一评测方法的综述文章。 - [LLM & VLM-as-a-Judge](https://dylandigitalgarden.com/2024/July/July+31%2C+2024+LLM+%26+VLM-as-a-Judge) —— 作者/来源：Dylan（Digital Garden 博客，2024-07-31） - 关于 LLM/VLM 作评委的经验与思考。 ## 播客 > 来自 `about-evaluation.md` 的 Knowledge 部分，原文推荐的两个 Latent Space 播客。 - [Benchmarks 101](https://www.latent.space/p/benchmarks-101) —— 作者/来源：Latent Space（播客） - 关于**自动基准的历史与已知问题**（自动评测入门）。 - [Benchmarks 201](https://www.latent.space/p/benchmarks-201) —— 作者/来源：Latent Space（播客） - 关于**何时该用哪种评测方法**，并含与原作者（Clémentine Fourrier，指南作者）关于 Leaderboard 的讨论。 ## 评测软件与工具 > 来自 `about-evaluation.md` 的 Software > Evaluation suites 部分。 - [`lm_eval`（lm-evaluation-harness）](https://github.com/EleutherAI/lm-evaluation-harness/) —— 作者/来源：Eleuther（GitHub 仓库） - 常称 "the Harness"，LLM 评测的"主力引擎"：以稳定、可复现的方式在众多 benchmark 上评测来自多家供应商的任意 LLM。 - [`lighteval`](https://github.com/huggingface/lighteval) —— 作者/来源：Hugging Face（GitHub 仓库；指南作者也是作者之一，原文有利益声明） - 轻量级 LLM 评测套件，聚焦定制化与较新的 benchmark。 ## 排行榜 > 来自 `about-evaluation.md` 的 Software > Leaderboards 部分。 - [Open LLM Leaderboard](https://huggingface.co/spaces/open-llm-leaderboard/open_llm_leaderboard) —— 作者/来源：Hugging Face - 对开源 LLM 在参考静态基准上的中立第三方评测，开放提交。 - [HELM](https://crfm.stanford.edu/helm/lite/latest/#/leaderboard) —— 作者/来源：Stanford（CRFM） - 也在静态基准上评测模型，但用 **win-rates（胜率）** 排名。 - [Chatbot Arena](https://huggingface.co/spaces/lmsys/chatbot-arena-leaderboard) —— 作者/来源：LMSys - 用众包人工评测（竞技场投票）为约 150 个 LLM 打分排名的 Arena。 - [LLM Performance Leaderboard](https://huggingface.co/spaces/ArtificialAnalysis/LLM-Performance-Leaderboard) —— 作者/来源：Artificial Analysis - 主流 LLM API 提供商的性能基准与定价；想用 API 而非本地跑模型时看它。 - [Hugging Face 评测与排行榜相关博客](https://huggingface.co/blog?tag=leaderboard) —— 作者/来源：Hugging Face（博客标签页） - 官方关于评测与排行榜的全部博客文章汇总。 - [Leaderboard Finder](https://huggingface.co/spaces/leaderboards/LeaderboardFinder) —— 作者/来源：Hugging Face（Space） - 帮你找到与你的用例最相关的排行榜。 ## 评测教程 > 来自 `about-evaluation.md` 的 Software > Tutorials 部分。 - [End-to-end custom domain evaluation tutorial](https://github.com/argilla-io/argilla-cookbook/tree/main/domain-eval) —— 作者/来源：Argilla（GitHub Cookbook） - 端到端教程：为自己的领域构建自定义评测任务，使用合成数据 + 人工评测，配套工具 [Argilla](https://github.com/argilla-io/argilla/) 与 [distilabel](https://github.com/argilla-io/distilabel)。 ## NLP 基础 > 来自 `about-NLP.md` 的 General knowledge 部分。 - [NLP for You](https://lena-voita.github.io/nlp_course.html) —— 作者/来源：Lena Voita - 公认最好的在线 NLP 课程之一，循序渐进、阅读体验好（原文原话：step by step and nice to read）。 - [The NLP Course](https://huggingface.co/learn/nlp-course/chapter1/1) —— 作者/来源：Hugging Face - 极其完整的 NLP 课程，含大量代码片段，可快速上手。 ## LLM 架构理解 > 来自 `about-NLP.md` 的 Understanding LLM architectures 部分。 - [The Annotated Encoder Decoder](https://bastings.github.io/annotated_encoder_decoder/) —— 作者/来源：Jasmijn Bastings - 逐步讲解 2015 年 Bahdanau 论文（带注意力的 RNN encoder-decoder），每一步都有代码解释。 - [The Annotated Transformer](https://nlp.seas.harvard.edu/2018/04/03/attention.html) —— 作者/来源：Sasha Rush - 逐步讲解 2016 年 Vaswani 的 Transformer 论文，每一步都有代码解释。 - [The Illustrated Transformer](https://jalammar.github.io/illustrated-transformer/) —— 作者/来源：Jay Alammar - 上一条的很好补充：用可视化（而非代码）讲 Transformer。 - [The Annotated S4](https://srush.github.io/annotated-s4/) —— 作者/来源：Sasha Rush - 逐步讲解 Structured State Space for Sequence Modeling（S4）论文，每一步都有代码；想知道什么是状态空间模型就看它。 - [A Visual Guide to MoE](https://newsletter.maartengrootendorst.com/p/a-visual-guide-to-mixture-of-experts) —— 作者/来源：Maarten Grootendorst - 混合专家（Mixture of Experts）可视化指南，大量直观图示；原文建议先读上面的 Transformer 指南再看本篇。 ## 提示词（Prompting） > 来自 `about-NLP.md` 的 Prompting 部分。 - [Show me the prompt](https://hamel.dev/blog/posts/prompt/) —— 作者/来源：Hamel Husain（博客） - 关于提示词（prompt）的博客文章（原文仅给出链接，未附说明）。 --- ## 使用建议 - **按需取用**：先看[评测方法论与综述](#评测方法论与综述)建立框架，再按场景选择[软件工具](#评测软件与工具)与[排行榜](#排行榜)。 - **补 NLP 基础**：需要 LLM/Transformer 基础时看 [NLP 基础](#nlp-基础) 与 [LLM 架构理解](#llm-架构理解)。 - **动手实践**：想自己搭评测流程，从 [评测教程](#评测教程) 的 Argilla 领域评测教程开始，工具用 `lm_eval` 或 `lighteval`。 - **持续跟踪**：排行榜与评测工具迭代很快，重要决定前请回到原文链接核对最新状态。 ## 原文位置 - `resources/about-evaluation.md`：[GitHub blob](https://github.com/huggingface/evaluation-guidebook/blob/main/resources/about-evaluation.md) - `resources/about-NLP.md`：[GitHub blob](https://github.com/huggingface/evaluation-guidebook/blob/main/resources/about-NLP.md) 相关：[[00-Overview]] · [[06-Yearly-Dives]]