--- aliases: - 学习看板 type: checklist tags: - llm-evaluation - learning-board status: active created: 2026-08-21 --- # 学习看板 > 这个看板只追踪“是否形成评测闭环”,不追踪看了多少篇文章或装了多少工具。 > **使用说明:** 勾选时在条目后补日期,例如 `- [x] 我已读完 [[02-Why-Guide]](2026-08-21)`。学习过程的详细记录(周记、卡点、复盘)见 [[01_Projects/Personal-Tech/LLM_Evaluation/05-Progress/00-Current-Status-and-Next-Steps|05-Progress]]。 ## Level 1:建立判断能力 > **本 Level 是理论阶段的出口、实践阶段的入口。** 全部勾选后,就从"读"切换到"写":填 [[02-First-Week-Worksheet|首周工作表]],然后复制 `03-Practice/_template/` 建立第一个项目。 - [x] 我能用自己的话解释:为什么先定义成功条件,再运行模型。(2026-08-24) - [x] 我已读完 [[02-Why-Guide]]。(2026-08-24) - [x] 我已从公开资料中选定一个范围足够小的任务。(2026-08-26) - [x] 我已写出一个能回答的问题和一个不能回答的问题。(2026-08-26) - [x] 我已写出 rubric v0.1,包含有据性、资料不足处理与核心任务完成度三个维度。(2026-08-26) > 示例问答与 rubric 见 [[03-Practice/01-go-docs-qa/01-task-and-rubric|01-go-docs-qa/01-task-and-rubric]];首周工作表保持空白模板,内容已迁移至项目目录。 ## Level 2:完成第一个最小闭环 - [ ] 我已在 [[02-First-Week-Worksheet]] 或项目 `02-case-design.md` 中写出 10 个 case。 - [ ] 我已得到至少一组候选输出。 - [ ] 我已对至少 5 个 case 写下通过/失败理由。 - [ ] 我已识别并命名 3—5 类失败。 - [ ] 我已修改一个可解释因素,并重跑旧 case。 ## Level 3:项目化与证据链 - [x] 我已在 `03-Practice/` 下创建自己的项目目录。(2026-08-26) - [ ] 我已保存稳定的 case 定义与一次运行记录。 - [ ] 我已写出一份简短失败复盘。 - [ ] 我已决定下一阶段是 RAG、Agent tool-use、Text-to-SQL 还是 Code Agent。 - [ ] 我已开始阅读 [[01-LLM-Evaluation-Roadmap]] 中对应部分。 ## Level 4:深度参考(资源地图精读) > 精读顺序见 [[01_Projects/Personal-Tech/LLM_Evaluation/04-Reference/README|04-Reference 资源地图]]。只精读 4 个,其余按需查阅。 - [ ] 我已通读资源地图并选定自己的精读顺序。 - [ ] AWS Workshop:我已拆解至少 1 个模块的 Task / Case / Rubric / Grader / Failure([[01_Projects/Personal-Tech/LLM_Evaluation/04-Reference/01-Evaluation-Infrastructure\|01-Evaluation-Infrastructure]])。 - [ ] lm-evaluation-harness:我能讲清 Task 标准化、Prompt 固定、Metric 配置与去污染([[01_Projects/Personal-Tech/LLM_Evaluation/04-Reference/02-Benchmark-and-Reproducibility\|02-Benchmark-and-Reproducibility]])。 - [ ] Inspect AI + AISI:我能映射 Evaluate / Isolate / Connect / Run / Scale 与 Task / Solver / Scorer / Sandbox / Trace 抽象([[01_Projects/Personal-Tech/LLM_Evaluation/04-Reference/01-Evaluation-Infrastructure\|01-Evaluation-Infrastructure]])。 - [ ] OLMES:我能解释 Evaluation Protocol 冻结为何带来可复现比较([[01_Projects/Personal-Tech/LLM_Evaluation/04-Reference/02-Benchmark-and-Reproducibility\|02-Benchmark-and-Reproducibility]])。 - [ ] 我已用 [[01_Projects/Personal-Tech/LLM_Evaluation/04-Reference/05-Source-Reading-Checklist\|源码阅读检查清单]] 的 8 个问题对照过至少 1 个框架。 ## 每周复盘 > 每周复盘模板见 [[01_Projects/Personal-Tech/LLM_Evaluation/05-Progress/01-Weekly-Learning-Journal|学习周记]](复制模板、改日期后插到文件最顶部);问题框架与学习看板 Level 1–3 的闭环检查一致。 返回 [[01_Projects/Personal-Tech/LLM_Evaluation/README|学习专区首页]]。 [You have received this identical output 5 times. Re-reading '/Users/windy/Documents/vault/my-vault/01_Projects/Personal-Tech/LLM_Evaluation/01-Getting-Started/01-Learning-Board.md:raw' will not change it — use a narrower selector (path:A-B), or proceed with the edit.]