68 lines
2.8 KiB
Markdown
68 lines
2.8 KiB
Markdown
---
|
||
aliases:
|
||
- 学习看板
|
||
type: checklist
|
||
tags:
|
||
- llm-evaluation
|
||
- learning-board
|
||
status: active
|
||
created: 2026-08-21
|
||
---
|
||
|
||
# 学习看板
|
||
|
||
> 这个看板只追踪“是否形成评测闭环”，不追踪看了多少篇文章或装了多少工具。
|
||
|
||
## Level 1：建立判断能力
|
||
|
||
- [ ] 我能用自己的话解释：为什么先定义成功条件，再运行模型。
|
||
- [ ] 我已读完 [[02-Why-Guide]]。
|
||
- [ ] 我已从公开资料中选定一个范围足够小的任务。
|
||
- [ ] 我已写出一个能回答的问题和一个不能回答的问题。
|
||
- [ ] 我已写出 rubric v0.1，包含有据性、资料不足处理与核心任务完成度三个维度。
|
||
|
||
## Level 2：完成第一个最小闭环
|
||
|
||
- [ ] 我已在 [[02-First-Week-Worksheet]] 中写出 10 个 case。
|
||
- [ ] 我已得到至少一组候选输出。
|
||
- [ ] 我已对至少 5 个 case 写下通过/失败理由。
|
||
- [ ] 我已识别并命名 3—5 类失败。
|
||
- [ ] 我已修改一个可解释因素，并重跑旧 case。
|
||
|
||
## Level 3：项目化与证据链
|
||
|
||
- [ ] 我已在 `03-Practice/` 下创建自己的项目目录。
|
||
- [ ] 我已保存稳定的 case 定义与一次运行记录。
|
||
- [ ] 我已写出一份简短失败复盘。
|
||
- [ ] 我已决定下一阶段是 RAG、Agent tool-use、Text-to-SQL 还是 Code Agent。
|
||
- [ ] 我已开始阅读 [[01-LLM-Evaluation-Roadmap]] 中对应部分。
|
||
|
||
## Level 4：深度参考（资源地图精读）
|
||
|
||
> 精读顺序见 [[04-Reference/README|04-Reference 资源地图]]。只精读 4 个，其余按需查阅。
|
||
|
||
- [ ] 我已通读资源地图并选定自己的精读顺序。
|
||
- [ ] AWS Workshop：我已拆解至少 1 个模块的 Task / Case / Rubric / Grader / Failure（[[04-Reference/01-Evaluation-Infrastructure\|01-Evaluation-Infrastructure]]）。
|
||
- [ ] lm-evaluation-harness：我能讲清 Task 标准化、Prompt 固定、Metric 配置与去污染（[[04-Reference/02-Benchmark-and-Reproducibility\|02-Benchmark-and-Reproducibility]]）。
|
||
- [ ] Inspect AI + AISI：我能映射 Evaluate / Isolate / Connect / Run / Scale 与 Task / Solver / Scorer / Sandbox / Trace 抽象（[[04-Reference/01-Evaluation-Infrastructure\|01-Evaluation-Infrastructure]]）。
|
||
- [ ] OLMES：我能解释 Evaluation Protocol 冻结为何带来可复现比较（[[04-Reference/02-Benchmark-and-Reproducibility\|02-Benchmark-and-Reproducibility]]）。
|
||
- [ ] 我已用 [[04-Reference/05-Source-Reading-Checklist\|源码阅读检查清单]] 的 8 个问题对照过至少 1 个框架。
|
||
|
||
## 每周复盘（复制到项目周记）
|
||
|
||
```markdown
|
||
## 本周目标
|
||
|
||
## 我新定义了什么成功 / 失败条件？
|
||
|
||
## 我新增或修订了哪些 case？为什么？
|
||
|
||
## 本周主要失败类型是什么？
|
||
|
||
## 我改变了什么？预期是什么？实际发生了什么？
|
||
|
||
## 下周只保留的一个最小动作
|
||
```
|
||
|
||
返回 [[01_Projects/Personal-Tech/LLM_Evaluation/README|学习专区首页]]。
|