reconcile LLM_Evaluation zone: align stage numbering and scopes, standardize full-path wikilinks, slim old guidebook notes, dedupe templates
- fix stage-numbering conflict (README vs 05-Progress) and unify stage-1 reading scope - resolve AWS workshop prerequisite contradiction in 04-Reference/01 - convert medium-path wikilinks to vault-root paths (~30 links), fix .pyy typos, annotate ragas fork, unify archive status, add 01-/02- README hubs - compress old-version guidebook notes (01, 05) into pointers; add 2026 reading guidance to 00-Overview - dedupe project templates and remove embedded template copy in 03-Practice/README
This commit is contained in:
@@ -13,8 +13,12 @@ created: 2026-08-21
|
||||
|
||||
> 这个看板只追踪“是否形成评测闭环”,不追踪看了多少篇文章或装了多少工具。
|
||||
|
||||
> **使用说明:** 勾选时在条目后补日期,例如 `- [x] 我已读完 [[02-Why-Guide]](2026-08-21)`。学习过程的详细记录(周记、卡点、复盘)见 [[01_Projects/Personal-Tech/LLM_Evaluation/05-Progress/00-当前位置与下一步|05-Progress]]。
|
||||
|
||||
## Level 1:建立判断能力
|
||||
|
||||
> **本 Level 是理论阶段的出口、实践阶段的入口。** 全部勾选后,就从"读"切换到"写":填 [[02-First-Week-Worksheet|首周工作表]],然后复制 `03-Practice/_template/` 建立第一个项目。
|
||||
|
||||
- [ ] 我能用自己的话解释:为什么先定义成功条件,再运行模型。
|
||||
- [ ] 我已读完 [[02-Why-Guide]]。
|
||||
- [ ] 我已从公开资料中选定一个范围足够小的任务。
|
||||
@@ -39,29 +43,17 @@ created: 2026-08-21
|
||||
|
||||
## Level 4:深度参考(资源地图精读)
|
||||
|
||||
> 精读顺序见 [[04-Reference/README|04-Reference 资源地图]]。只精读 4 个,其余按需查阅。
|
||||
> 精读顺序见 [[01_Projects/Personal-Tech/LLM_Evaluation/04-Reference/README|04-Reference 资源地图]]。只精读 4 个,其余按需查阅。
|
||||
|
||||
- [ ] 我已通读资源地图并选定自己的精读顺序。
|
||||
- [ ] AWS Workshop:我已拆解至少 1 个模块的 Task / Case / Rubric / Grader / Failure([[04-Reference/01-Evaluation-Infrastructure\|01-Evaluation-Infrastructure]])。
|
||||
- [ ] lm-evaluation-harness:我能讲清 Task 标准化、Prompt 固定、Metric 配置与去污染([[04-Reference/02-Benchmark-and-Reproducibility\|02-Benchmark-and-Reproducibility]])。
|
||||
- [ ] Inspect AI + AISI:我能映射 Evaluate / Isolate / Connect / Run / Scale 与 Task / Solver / Scorer / Sandbox / Trace 抽象([[04-Reference/01-Evaluation-Infrastructure\|01-Evaluation-Infrastructure]])。
|
||||
- [ ] OLMES:我能解释 Evaluation Protocol 冻结为何带来可复现比较([[04-Reference/02-Benchmark-and-Reproducibility\|02-Benchmark-and-Reproducibility]])。
|
||||
- [ ] 我已用 [[04-Reference/05-Source-Reading-Checklist\|源码阅读检查清单]] 的 8 个问题对照过至少 1 个框架。
|
||||
- [ ] AWS Workshop:我已拆解至少 1 个模块的 Task / Case / Rubric / Grader / Failure([[01_Projects/Personal-Tech/LLM_Evaluation/04-Reference/01-Evaluation-Infrastructure\|01-Evaluation-Infrastructure]])。
|
||||
- [ ] lm-evaluation-harness:我能讲清 Task 标准化、Prompt 固定、Metric 配置与去污染([[01_Projects/Personal-Tech/LLM_Evaluation/04-Reference/02-Benchmark-and-Reproducibility\|02-Benchmark-and-Reproducibility]])。
|
||||
- [ ] Inspect AI + AISI:我能映射 Evaluate / Isolate / Connect / Run / Scale 与 Task / Solver / Scorer / Sandbox / Trace 抽象([[01_Projects/Personal-Tech/LLM_Evaluation/04-Reference/01-Evaluation-Infrastructure\|01-Evaluation-Infrastructure]])。
|
||||
- [ ] OLMES:我能解释 Evaluation Protocol 冻结为何带来可复现比较([[01_Projects/Personal-Tech/LLM_Evaluation/04-Reference/02-Benchmark-and-Reproducibility\|02-Benchmark-and-Reproducibility]])。
|
||||
- [ ] 我已用 [[01_Projects/Personal-Tech/LLM_Evaluation/04-Reference/05-Source-Reading-Checklist\|源码阅读检查清单]] 的 8 个问题对照过至少 1 个框架。
|
||||
|
||||
## 每周复盘(复制到项目周记)
|
||||
## 每周复盘
|
||||
|
||||
```markdown
|
||||
## 本周目标
|
||||
|
||||
## 我新定义了什么成功 / 失败条件?
|
||||
|
||||
## 我新增或修订了哪些 case?为什么?
|
||||
|
||||
## 本周主要失败类型是什么?
|
||||
|
||||
## 我改变了什么?预期是什么?实际发生了什么?
|
||||
|
||||
## 下周只保留的一个最小动作
|
||||
```
|
||||
> 每周复盘模板见 [[01_Projects/Personal-Tech/LLM_Evaluation/05-Progress/01-学习周记|学习周记]](复制模板、改日期后插到文件最顶部);问题框架与学习看板 Level 1–3 的闭环检查一致。
|
||||
|
||||
返回 [[01_Projects/Personal-Tech/LLM_Evaluation/README|学习专区首页]]。
|
||||
|
||||
Reference in New Issue
Block a user