reconcile LLM_Evaluation zone: align stage numbering and scopes, standardize full-path wikilinks, slim old guidebook notes, dedupe templates
- fix stage-numbering conflict (README vs 05-Progress) and unify stage-1 reading scope - resolve AWS workshop prerequisite contradiction in 04-Reference/01 - convert medium-path wikilinks to vault-root paths (~30 links), fix .pyy typos, annotate ragas fork, unify archive status, add 01-/02- README hubs - compress old-version guidebook notes (01, 05) into pointers; add 2026 reading guidance to 00-Overview - dedupe project templates and remove embedded template copy in 03-Practice/README
This commit is contained in:
@@ -13,6 +13,16 @@ created: 2026-08-21
|
||||
本目录不是"收藏夹",而是**评测工程能力地图**。
|
||||
每个资源都对应明确的能力点,并标明「为什么看、什么时候看、重点看什么」。
|
||||
|
||||
## 本目录包含三类内容
|
||||
|
||||
| 类别 | 位置 | 定位 | 什么时候读 |
|
||||
|---|---|---|---|
|
||||
| 能力地图 | `01-`~`05-` 五篇 | 个人评测工程能力地图(Harness / 可复现 / 持续评测 / Agent 安全 / 阅读方法) | 按各自"前置阶段"插入项目推进过程 |
|
||||
| 外部知识 | `evaluation-guidebook/` | HuggingFace Guidebook 中文提炼(9 篇) | 设计或执行评测时按主题查阅 |
|
||||
| 归档 | `archive/` | 早期草案与外部资源清单 | 需要背景时查阅,不作为学习主线 |
|
||||
|
||||
> ⚠️ **本目录是分阶段查阅的工具书,不是要读完的教材。** 在完成学习看板 Level 1 与第一个项目之前,不要系统阅读本目录(见 [[01_Projects/Personal-Tech/LLM_Evaluation/README|专区首页]] 的停止线)。
|
||||
|
||||
## 五层能力框架
|
||||
|
||||
```text
|
||||
@@ -27,6 +37,8 @@ created: 2026-08-21
|
||||
5. Safety / Sandbox / Environment
|
||||
```
|
||||
|
||||
> 注:五层能力是**能力分层**,与下方五个文件(01–05)不是一一对应——第 3 层(System / Agent Evaluation)的内容分散在 01 与 04 两篇;`05-Source-Reading-Checklist` 是阅读方法,不属于能力层。"只精读 4 个"指 4 个 S 级资源(AWS / lm-eval / Inspect / OLMES),不是 4 个文件。
|
||||
|
||||
对应到本仓库:
|
||||
|
||||
```text
|
||||
@@ -39,6 +51,8 @@ created: 2026-08-21
|
||||
|
||||
## 推荐学习顺序(只精读 4 个)
|
||||
|
||||
> 本清单属于阶段 4(按需回补)的深度精读计划;在完成看板 Level 1 与第一个项目之前,不需要开始(见 [[01_Projects/Personal-Tech/LLM_Evaluation/README|专区首页]] 停止线)。
|
||||
|
||||
1. **AWS Generative AI Evaluations Workshop**
|
||||
→ 先看实际 Eval 长什么样(RAG / Tool Calling / Multi-Agent / Red Teaming)
|
||||
|
||||
@@ -55,17 +69,17 @@ created: 2026-08-21
|
||||
- CircleCI + RAGAS → Continuous Evaluation
|
||||
- BenchFlow → Environment-based Agent Evaluation
|
||||
|
||||
## 文件索引
|
||||
## 文件索引(含前置阶段)
|
||||
|
||||
| 文件 | 对应能力 | 核心资源 |
|
||||
|------|----------|----------|
|
||||
| [[01-Evaluation-Infrastructure\|01-Evaluation-Infrastructure]] | Harness / Sandbox / Scaling | Inspect AI, AISI Playbook, AWS Workshop |
|
||||
| [[02-Benchmark-and-Reproducibility\|02-Benchmark-and-Reproducibility]] | 标准化 / 去污染 / 可复现 | lm-evaluation-harness, OLMES |
|
||||
| [[03-Continuous-Evaluation\|03-Continuous-Evaluation]] | CI Gate / Experiment Tracking | RAGAS + CircleCI, W&B |
|
||||
| [[04-Agent-Safety-and-Environments\|04-Agent-Safety-and-Environments]] | Tool Use / Sandbox / Trajectory | Inspect Sandbox, BenchFlow |
|
||||
| [[05-Source-Reading-Checklist\|05-Source-Reading-Checklist]] | 统一阅读方法论 | 固定的 8 个问题 |
|
||||
| [[04-Reference/evaluation-guidebook/00-Overview\|evaluation-guidebook]] | 方法论补充 | Hugging Face 官方 Guidebook |
|
||||
| [[04-Reference/archive/00-Material-List\|archive/]] | 早期草案与外部资源归档 | 索引见 00-Material-List |
|
||||
| 文件 | 对应能力 | 核心资源 | 前置阶段 |
|
||||
|------|----------|----------|----------|
|
||||
| [[01-Evaluation-Infrastructure\|01-Evaluation-Infrastructure]] | Harness / Sandbox / Scaling | Inspect AI, AISI Playbook, AWS Workshop | 完成第一个小项目以后 |
|
||||
| [[02-Benchmark-and-Reproducibility\|02-Benchmark-and-Reproducibility]] | 标准化 / 去污染 / 可复现 | lm-evaluation-harness, OLMES | 完成 Foundations + Why Guide 后 |
|
||||
| [[03-Continuous-Evaluation\|03-Continuous-Evaluation]] | CI Gate / Experiment Tracking | RAGAS + CircleCI, W&B | 项目已有 regression set 后 |
|
||||
| [[04-Agent-Safety-and-Environments\|04-Agent-Safety-and-Environments]] | Tool Use / Sandbox / Trajectory | Inspect Sandbox, BenchFlow | 掌握 Task / Trial / Trace / Outcome / Harness 之后(后期) |
|
||||
| [[05-Source-Reading-Checklist\|05-Source-Reading-Checklist]] | 统一阅读方法论 | 固定的 8 个问题 | 随时(读任何框架前) |
|
||||
| [[01_Projects/Personal-Tech/LLM_Evaluation/04-Reference/evaluation-guidebook/00-Overview\|evaluation-guidebook]] | 方法论补充 | Hugging Face 官方 Guidebook | 按主题查阅 |
|
||||
| [[01_Projects/Personal-Tech/LLM_Evaluation/04-Reference/archive/00-Material-List\|archive/]] | 早期草案与外部资源归档 | 索引见 00-Material-List | 需要背景时 |
|
||||
|
||||
## 原则
|
||||
|
||||
|
||||
Reference in New Issue
Block a user