my-vault/01_Projects/Personal-Tech/LLM_Evaluation/04-Reference-Archive/evaluation-guidebook/07-Resources.md

type, tags, status, created, source

type	tags	status	created	source
reference	llm-evaluation evaluation-guidebook resources	active	2026-08-21	https://github.com/huggingface/evaluation-guidebook

Resources —— 评测与 NLP 推荐资源清单

本页整理自 HuggingFace Evaluation Guidebook 的 resources/about-evaluation.md 与 resources/about-NLP.md，把原文链接按主题分类成清单。每项列出：链接、作者/来源、一句话中文说明（说明依据原文自带的描述翻译；原文只有链接的条目，只做最小的事实性描述，不额外发挥）。⚠️ 链接是否仍然有效、内容是否更新，以访问时为准。

快速导航

• 评测方法论与综述
• LLM-as-a-Judge（模型作评委）
• 播客
• 评测软件与工具
• 排行榜
• 评测教程
• NLP 基础
• LLM 架构理解
• 提示词（Prompting）

资源总览

全表共 21 项资源，按类别一览（详细清单见下文各节）。

类别	资源	作者/来源	一句话说明
评测方法论	Foundational Model Development Cheatsheet	AllenAI	基础模型开发速查表
评测方法论	Challenges in LM Evaluation	Hailey Schoelkopf & Lintang Sutawika（ICML 2024 Tutorial）	自动评测挑战综述演示
评测方法论	Lessons from the trenches on Reproducible Evaluation of LMs	EleutherAI	可复现 LM 评测的经验论文
LLM-as-a-Judge	LLM Evaluators	Eugene Yan	LLM 作评测器的总结
LLM-as-a-Judge	LLM as a Judge	Cameron R. Wolfe	"LLM 作评委"方法综述
LLM-as-a-Judge	LLM & VLM-as-a-Judge	Dylan（Digital Garden）	LLM/VLM 作评委经验
播客	Benchmarks 101	Latent Space	自动基准历史与问题
播客	Benchmarks 201	Latent Space	何时用哪种评测方法 + Leaderboard 讨论
工具	lm_eval（the Harness）	Eleuther	稳定可复现的 LLM 评测引擎
工具	lighteval	Hugging Face	轻量评测套件，聚焦定制与新基准
排行榜	Open LLM Leaderboard	Hugging Face	开源 LLM 静态基准中立评测
排行榜	HELM	Stanford（CRFM）	静态基准 + 胜率排名
排行榜	Chatbot Arena	LMSys	众包人工评测约 150 个 LLM
排行榜	LLM Performance Leaderboard	Artificial Analysis	LLM API 性能与定价对比
排行榜	HF 评测/排行榜博客	Hugging Face	官方相关博客汇总
排行榜	Leaderboard Finder	Hugging Face	按用例找最相关排行榜
教程	Argilla domain-eval tutorial	Argilla	自定义领域评测端到端教程
NLP 基础	NLP for You	Lena Voita	最好的在线 NLP 课程之一
NLP 基础	The NLP Course	Hugging Face	完整 NLP 课程，含代码
架构	Annotated/Illustrated 系列 + MoE 指南	Bastings / Rush / Alammar / Grootendorst	Transformer、S4、MoE 图解与代码讲解
提示词	Show me the prompt	Hamel Husain	提示词相关博客

---

评测方法论与综述

来自 about-evaluation.md 的 Knowledge 部分：自动评测的两篇高质量综述 + 一篇入门速查。

• Foundational Model Development Cheatsheet —— 作者/来源：AllenAI
  • 基础模型开发速查表（原文归在 "Knowledge > General"，评测以外的整体入门参考）。
• Challenges in LM Evaluation —— 作者/来源：Hailey Schoelkopf 与 Lintang Sutawika（ICML 2024 Tutorial 演示文稿）
  • 关于自动评测挑战的综述演示（原文明确推荐的两份自动评测综述之一）。
• Lessons from the trenches on Reproducible Evaluation of LMs —— 作者/来源：EleutherAI（arXiv 论文）
  • 关于可复现 LM 评测的"战壕经验"论文（原文明确推荐的另一份自动评测综述）。

LLM-as-a-Judge（模型作评委）

来自 about-evaluation.md 的 "LLM as a judge" 部分，原文归类为"总结与经验反馈"（Cool summaries and experience feedbacks）。

• LLM Evaluators —— 作者/来源：Eugene Yan（博客）
  • 关于用 LLM 做评测器的总结文章。
• LLM as a Judge —— 作者/来源：Cameron R. Wolfe（Substack 博客）
  • 关于"LLM 作评委"这一评测方法的综述文章。
• LLM & VLM-as-a-Judge —— 作者/来源：Dylan（Digital Garden 博客，2024-07-31）
  • 关于 LLM/VLM 作评委的经验与思考。

播客

来自 about-evaluation.md 的 Knowledge 部分，原文推荐的两个 Latent Space 播客。

• Benchmarks 101 —— 作者/来源：Latent Space（播客）
  • 关于自动基准的历史与已知问题（自动评测入门）。
• Benchmarks 201 —— 作者/来源：Latent Space（播客）
  • 关于何时该用哪种评测方法，并含与原作者（Clémentine Fourrier，指南作者）关于 Leaderboard 的讨论。

评测软件与工具

来自 about-evaluation.md 的 Software > Evaluation suites 部分。

• lm_eval（lm-evaluation-harness） —— 作者/来源：Eleuther（GitHub 仓库）
  • 常称 "the Harness"，LLM 评测的"主力引擎"：以稳定、可复现的方式在众多 benchmark 上评测来自多家供应商的任意 LLM。
• lighteval —— 作者/来源：Hugging Face（GitHub 仓库；指南作者也是作者之一，原文有利益声明）
  • 轻量级 LLM 评测套件，聚焦定制化与较新的 benchmark。

排行榜

来自 about-evaluation.md 的 Software > Leaderboards 部分。

• Open LLM Leaderboard —— 作者/来源：Hugging Face
  • 对开源 LLM 在参考静态基准上的中立第三方评测，开放提交。
• HELM —— 作者/来源：Stanford（CRFM）
  • 也在静态基准上评测模型，但用 win-rates（胜率） 排名。
• Chatbot Arena —— 作者/来源：LMSys
  • 用众包人工评测（竞技场投票）为约 150 个 LLM 打分排名的 Arena。
• LLM Performance Leaderboard —— 作者/来源：Artificial Analysis
  • 主流 LLM API 提供商的性能基准与定价；想用 API 而非本地跑模型时看它。
• Hugging Face 评测与排行榜相关博客 —— 作者/来源：Hugging Face（博客标签页）
  • 官方关于评测与排行榜的全部博客文章汇总。
• Leaderboard Finder —— 作者/来源：Hugging Face（Space）
  • 帮你找到与你的用例最相关的排行榜。

评测教程

来自 about-evaluation.md 的 Software > Tutorials 部分。

• End-to-end custom domain evaluation tutorial —— 作者/来源：Argilla（GitHub Cookbook）
  • 端到端教程：为自己的领域构建自定义评测任务，使用合成数据 + 人工评测，配套工具 Argilla 与 distilabel。

NLP 基础

来自 about-NLP.md 的 General knowledge 部分。

• NLP for You —— 作者/来源：Lena Voita
  • 公认最好的在线 NLP 课程之一，循序渐进、阅读体验好（原文原话：step by step and nice to read）。
• The NLP Course —— 作者/来源：Hugging Face
  • 极其完整的 NLP 课程，含大量代码片段，可快速上手。

LLM 架构理解

来自 about-NLP.md 的 Understanding LLM architectures 部分。

• The Annotated Encoder Decoder —— 作者/来源：Jasmijn Bastings
  • 逐步讲解 2015 年 Bahdanau 论文（带注意力的 RNN encoder-decoder），每一步都有代码解释。
• The Annotated Transformer —— 作者/来源：Sasha Rush
  • 逐步讲解 2016 年 Vaswani 的 Transformer 论文，每一步都有代码解释。
• The Illustrated Transformer —— 作者/来源：Jay Alammar
  • 上一条的很好补充：用可视化（而非代码）讲 Transformer。
• The Annotated S4 —— 作者/来源：Sasha Rush
  • 逐步讲解 Structured State Space for Sequence Modeling（S4）论文，每一步都有代码；想知道什么是状态空间模型就看它。
• A Visual Guide to MoE —— 作者/来源：Maarten Grootendorst
  • 混合专家（Mixture of Experts）可视化指南，大量直观图示；原文建议先读上面的 Transformer 指南再看本篇。

提示词（Prompting）

来自 about-NLP.md 的 Prompting 部分。

• Show me the prompt —— 作者/来源：Hamel Husain（博客）
  • 关于提示词（prompt）的博客文章（原文仅给出链接，未附说明）。

---

使用建议

• 按需取用：先看评测方法论与综述建立框架，再按场景选择软件工具与排行榜。
• 补 NLP 基础：需要 LLM/Transformer 基础时看 NLP 基础 与 LLM 架构理解。
• 动手实践：想自己搭评测流程，从 评测教程 的 Argilla 领域评测教程开始，工具用 lm_eval 或 lighteval。
• 持续跟踪：排行榜与评测工具迭代很快，重要决定前请回到原文链接核对最新状态。

原文位置

• resources/about-evaluation.md：GitHub blob
• resources/about-NLP.md：GitHub blob

相关：00-Overview · 06-Yearly-Dives