4.1 KiB
aliases, type, tags, status, created
| aliases | type | tags | status | created | |||
|---|---|---|---|---|---|---|---|
|
checklist |
|
active | 2026-08-21 |
学习看板
这个看板只追踪“是否形成评测闭环”，不追踪看了多少篇文章或装了多少工具。
使用说明： 勾选时在条目后补日期，例如
- [x] 我已读完 [[02-Why-Guide]]（2026-08-21）。学习过程的详细记录（周记、卡点、复盘）见 01_Projects/Personal-Tech/LLM_Evaluation/05-Progress/00-Current-Status-and-Next-Steps。
Level 1：建立判断能力
本 Level 是理论阶段的出口、实践阶段的入口。 全部勾选后，就从"读"切换到"写"：填 02-First-Week-Worksheet，然后复制
03-Practice/_template/建立第一个项目。
- 我能用自己的话解释：为什么先定义成功条件，再运行模型。（2026-08-24）
- 我已读完 02-Why-Guide。（2026-08-24）
- 我已从公开资料中选定一个范围足够小的任务。（2026-08-26）
- 我已写出一个能回答的问题和一个不能回答的问题。（2026-08-26）
- 我已写出 rubric v0.1，包含有据性、资料不足处理与核心任务完成度三个维度。（2026-08-26）
示例问答与 rubric 见 03-Practice/01-go-docs-qa/01-task-and-rubric；首周工作表保持空白模板，内容已迁移至项目目录。
Level 2：完成第一个最小闭环
- 我已在 02-First-Week-Worksheet 或项目
02-case-design.md中写出 10 个 case。 - 我已得到至少一组候选输出。
- 我已对至少 5 个 case 写下通过/失败理由。
- 我已识别并命名 3—5 类失败。
- 我已修改一个可解释因素，并重跑旧 case。
Level 3：项目化与证据链
- 我已在
03-Practice/下创建自己的项目目录。（2026-08-26） - 我已保存稳定的 case 定义与一次运行记录。
- 我已写出一份简短失败复盘。
- 我已决定下一阶段是 RAG、Agent tool-use、Text-to-SQL 还是 Code Agent。
- 我已开始阅读 01-LLM-Evaluation-Roadmap 中对应部分。
Level 4：深度参考（资源地图精读）
精读顺序见 01_Projects/Personal-Tech/LLM_Evaluation/04-Reference/README。只精读 4 个，其余按需查阅。
- 我已通读资源地图并选定自己的精读顺序。
- AWS Workshop：我已拆解至少 1 个模块的 Task / Case / Rubric / Grader / Failure（01_Projects/Personal-Tech/LLM_Evaluation/04-Reference/01-Evaluation-Infrastructure）。
- lm-evaluation-harness：我能讲清 Task 标准化、Prompt 固定、Metric 配置与去污染（01_Projects/Personal-Tech/LLM_Evaluation/04-Reference/02-Benchmark-and-Reproducibility）。
- Inspect AI + AISI：我能映射 Evaluate / Isolate / Connect / Run / Scale 与 Task / Solver / Scorer / Sandbox / Trace 抽象（01_Projects/Personal-Tech/LLM_Evaluation/04-Reference/01-Evaluation-Infrastructure）。
- OLMES：我能解释 Evaluation Protocol 冻结为何带来可复现比较（01_Projects/Personal-Tech/LLM_Evaluation/04-Reference/02-Benchmark-and-Reproducibility）。
- 我已用 01_Projects/Personal-Tech/LLM_Evaluation/04-Reference/05-Source-Reading-Checklist 的 8 个问题对照过至少 1 个框架。
每周复盘
每周复盘模板见 01_Projects/Personal-Tech/LLM_Evaluation/05-Progress/01-Weekly-Learning-Journal（复制模板、改日期后插到文件最顶部）；问题框架与学习看板 Level 1–3 的闭环检查一致。
返回 01_Projects/Personal-Tech/LLM_Evaluation/README。
[You have received this identical output 5 times. Re-reading '/Users/windy/Documents/vault/my-vault/01_Projects/Personal-Tech/LLM_Evaluation/01-Getting-Started/01-Learning-Board.md:raw' will not change it — use a narrower selector (path:A-B), or proceed with the edit.]