windyboy
0dac58fb6f
- fix stage-numbering conflict (README vs 05-Progress) and unify stage-1 reading scope - resolve AWS workshop prerequisite contradiction in 04-Reference/01 - convert medium-path wikilinks to vault-root paths (~30 links), fix .pyy typos, annotate ragas fork, unify archive status, add 01-/02- README hubs - compress old-version guidebook notes (01, 05) into pointers; add 2026 reading guidance to 00-Overview - dedupe project templates and remove embedded template copy in 03-Practice/README
type, tags, status, created
| type | tags | status | created | |||
|---|---|---|---|---|---|---|
| moc |
|
active | 2026-08-21 |
04-Reference · LLM Evaluation 资源地图
本目录不是"收藏夹"，而是评测工程能力地图。
每个资源都对应明确的能力点，并标明「为什么看、什么时候看、重点看什么」。
本目录包含三类内容
| 类别 | 位置 | 定位 | 什么时候读 |
|---|---|---|---|
| 能力地图 | 01-~05- 五篇 |
个人评测工程能力地图（Harness / 可复现 / 持续评测 / Agent 安全 / 阅读方法） | 按各自"前置阶段"插入项目推进过程 |
| 外部知识 | evaluation-guidebook/ |
HuggingFace Guidebook 中文提炼（9 篇） | 设计或执行评测时按主题查阅 |
| 归档 | archive/ |
早期草案与外部资源清单 | 需要背景时查阅，不作为学习主线 |
⚠️ 本目录是分阶段查阅的工具书，不是要读完的教材。 在完成学习看板 Level 1 与第一个项目之前，不要系统阅读本目录（见 01_Projects/Personal-Tech/LLM_Evaluation/README 的停止线）。
五层能力框架
1. Evaluation Methodology
↓
2. Benchmark & Reproducibility
↓
3. System / Agent Evaluation
↓
4. Continuous Evaluation / CI
↓
5. Safety / Sandbox / Environment
注：五层能力是能力分层，与下方五个文件（01–05）不是一一对应——第 3 层（System / Agent Evaluation）的内容分散在 01 与 04 两篇；
05-Source-Reading-Checklist是阅读方法，不属于能力层。"只精读 4 个"指 4 个 S 级资源（AWS / lm-eval / Inspect / OLMES），不是 4 个文件。
对应到本仓库：
00-Foundations ← 方法论基础
01-Getting-Started ← 为什么做评测
02-Practical-Roadmap ← 工程路线
03-Practice ← 自己动手的 Lab
04-Reference ← 本目录（深度参考）
推荐学习顺序（只精读 4 个）
本清单属于阶段 4（按需回补）的深度精读计划；在完成看板 Level 1 与第一个项目之前，不需要开始（见 01_Projects/Personal-Tech/LLM_Evaluation/README 停止线）。
-
AWS Generative AI Evaluations Workshop
→ 先看实际 Eval 长什么样（RAG / Tool Calling / Multi-Agent / Red Teaming） -
EleutherAI lm-evaluation-harness
→ 理解标准化 Task、Prompt 固定、Metric 配置、去污染机制 -
Inspect AI + AISI Engineering Playbook
→ 现代 Evaluation Framework 的抽象（Task / Solver / Scorer / Sandbox / Trace） -
Ai2 OLMES / olmo-eval
→ 如何把 Evaluation Protocol 真正冻结，实现可复现比较
后续按需：
- CircleCI + RAGAS → Continuous Evaluation
- BenchFlow → Environment-based Agent Evaluation
文件索引（含前置阶段）
| 文件 | 对应能力 | 核心资源 | 前置阶段 |
|---|---|---|---|
| 01-Evaluation-Infrastructure | Harness / Sandbox / Scaling | Inspect AI, AISI Playbook, AWS Workshop | 完成第一个小项目以后 |
| 02-Benchmark-and-Reproducibility | 标准化 / 去污染 / 可复现 | lm-evaluation-harness, OLMES | 完成 Foundations + Why Guide 后 |
| 03-Continuous-Evaluation | CI Gate / Experiment Tracking | RAGAS + CircleCI, W&B | 项目已有 regression set 后 |
| 04-Agent-Safety-and-Environments | Tool Use / Sandbox / Trajectory | Inspect Sandbox, BenchFlow | 掌握 Task / Trial / Trace / Outcome / Harness 之后（后期） |
| 05-Source-Reading-Checklist | 统一阅读方法论 | 固定的 8 个问题 | 随时（读任何框架前） |
| 01_Projects/Personal-Tech/LLM_Evaluation/04-Reference/evaluation-guidebook/00-Overview | 方法论补充 | Hugging Face 官方 Guidebook | 按主题查阅 |
| 01_Projects/Personal-Tech/LLM_Evaluation/04-Reference/archive/00-Material-List | 早期草案与外部资源归档 | 索引见 00-Material-List | 需要背景时 |
原则
- 优先官方 docs、源码、Design Doc
- 二手博客 / 课程宣传只做导航，不作为主线
- 每读一个框架，强制用 05-Source-Reading-Checklist 的 8 个问题对照