vault backup: 2026-09-16 17:56:55
This commit is contained in:
windyboy
+11
@@ -17,6 +17,13 @@ created: 2026-08-24
|
||||
|
||||
> 回答中的关键事实均可由给定文档片段支持；资料不足时明确说明
|
||||
|
||||
## 示例问题（Level 1 出口）
|
||||
|
||||
| 类型 | 示例问题 | 依据 |
|
||||
|---|---|---|
|
||||
| 能回答 | 发布前如何用本地目录测试未发布模块？ | 片段："try it while it is in a directory local to your calling code" |
|
||||
| 不能回答 | 发 alpha 前是否必须先 `go test`？ | 片段未提及测试要求；应拒答或说明资料不足 |
|
||||
|
||||
## 三类失败
|
||||
|
||||
1. 无依据事实：回答包含上下文未支持的关键事实
|
||||
@@ -51,8 +58,12 @@ created: 2026-08-24
|
||||
## 下一步最小动作
|
||||
|
||||
- [x] 填写 `01-task-and-rubric.md` 的 rubric 三维度（对应 [[02-First-Week-Worksheet]] 第 1 节）
|
||||
- [x] 项目骨架 `03`–`05` 已从 `_template/` 复制（待首次 run 时填写）
|
||||
- [ ] 对着 `02-case-design.md` 顶部"输入上下文（冻结快照）"填写 10 个 case
|
||||
|
||||
---
|
||||
|
||||
返回 [[01_Projects/Personal-Tech/LLM_Evaluation/03-Practice/README|项目实践入口]]。
|
||||
|
||||
|
||||
[You have received this identical output 5 times. Re-reading '/Users/windy/Documents/vault/my-vault/01_Projects/Personal-Tech/LLM_Evaluation/03-Practice/01-go-docs-qa/00-project-overview.md:raw' will not change it — use a narrower selector (path:A-B), or proceed with the edit.]
|
||||
+60
@@ -0,0 +1,60 @@
|
||||
---
|
||||
type: project
|
||||
status: active
|
||||
---
|
||||
|
||||
# 03 · 运行与盲评
|
||||
|
||||
> 为什么盲评、最小记录格式见 [[02-Why-Guide]] 第 4 步；run 的 JSONL schema 见 [[01-LLM-Evaluation-Roadmap]] 第五节。
|
||||
|
||||
## 候选生成条件（对应工作表第 3 节）
|
||||
|
||||
| 项目 | A | B |
|
||||
|---|---|---|
|
||||
| 模型 / 来源 | | |
|
||||
| 系统提示词版本 | | |
|
||||
| 温度 / 生成设置 | | |
|
||||
| 运行日期 | | |
|
||||
| dataset_version | | |
|
||||
|
||||
> 重要：先把来源隐藏、随机标 A/B；完成全部判断前不要看真实来源。
|
||||
|
||||
## 盲评记录（对应工作表第 4 节）
|
||||
|
||||
> 判"有据性"与"资料不足"时，对照 `02-case-design.md` 顶部"输入上下文（冻结快照）"。
|
||||
|
||||
| Case | A：有据性 | A：资料不足 | A：完成度 | B：有据性 | B：资料不足 | B：完成度 | 更优/平局 | 一句话理由 | 置信度 |
|
||||
|---|---|---|---|---|---|---|---|---|---|
|
||||
| 01 | | | | | | | | | | high/low |
|
||||
| 02 | | | | | | | | | | high/low |
|
||||
| 03 | | | | | | | | | | high/low |
|
||||
| 04 | | | | | | | | | | high/low |
|
||||
| 05 | | | | | | | | | | high/low |
|
||||
| 06 | | | | | | | | | | high/low |
|
||||
| 07 | | | | | | | | | | high/low |
|
||||
| 08 | | | | | | | | | | high/low |
|
||||
| 09 | | | | | | | | | | high/low |
|
||||
| 10 | | | | | | | | | | high/low |
|
||||
|
||||
### 低置信度归因（`low` 不是坏事，是最有价值的发现）
|
||||
|
||||
| Case | 为什么难判 | 下一步动作 |
|
||||
|---|---|---|
|
||||
| | rubric 模糊 / 文档不完整 / 问题有歧义 / 自己标错 | 改规则 / 补证据 / 移出自动评分 / 请人复核 |
|
||||
|
||||
## Run 记录（可选，脚本自动生成）
|
||||
|
||||
> 每次运行保存：case_id / system_version / model / temperature / trial / timestamp / output / grading。大输入只存 case_id + 版本号，不复制全文。
|
||||
|
||||
```json
|
||||
{
|
||||
"case_id": "rag-0001",
|
||||
"run": { "system_version": "", "model": "", "temperature": 0, "trial": 1, "timestamp": "" },
|
||||
"output": "",
|
||||
"grading": { "groundedness": "", "completeness": 0, "grader_version": "human-v0.1" }
|
||||
}
|
||||
```
|
||||
|
||||
---
|
||||
|
||||
返回 [[01_Projects/Personal-Tech/LLM_Evaluation/03-Practice/README|项目实践入口]]。
|
||||
+38
@@ -0,0 +1,38 @@
|
||||
---
|
||||
type: project
|
||||
status: active
|
||||
---
|
||||
|
||||
# 04 · 失败复盘
|
||||
|
||||
> 失败分类的权威定义见 [[02-Why-Guide]] 第 7 步（简化五类）与 [[01-LLM-Evaluation-Roadmap]] 第八节（系统级扩展分类）；严重度 S0-S4 见路线图第十节。
|
||||
|
||||
## 失败分类（对应工作表第 5 节）
|
||||
|
||||
| Case | 失败类型 | 证据 | 我准备先检查什么 |
|
||||
|---|---|---|---|
|
||||
| | 无依据事实 / 漏限制 / 不当确定 / 格式 / 规则不确定 | | prompt / 文档 / rubric / grader |
|
||||
|
||||
> 第一版只用 4-5 个类型即可。分类的目的不是"全面"，而是找到下一次唯一值得改的地方。
|
||||
|
||||
## 根因三步定位（RAG 示例）
|
||||
|
||||
1. run 里的实际 context 是否包含 expected 中的 gold context？没有 → **检索错误**
|
||||
2. 把 gold context 直接给模型重跑：答对 → 检索/拼装问题；仍错 → **模型推理 / 生成错误**
|
||||
3. 并排人工复核输出 / expected / grader：人工认为可接受但 grader 判失败 → **grader 错误**（记录 grader 版本与提示词）
|
||||
|
||||
> 不要凭直觉归因，一次失败先走完三步，通常不超过 10 分钟。
|
||||
|
||||
## 严重度标注
|
||||
|
||||
| Case | 严重度（S0-S4） | 理由 | 发布策略 |
|
||||
|---|---|---|---|
|
||||
| | | | 见路线图第十节 |
|
||||
|
||||
## 一句话复盘（每批至少一条）
|
||||
|
||||
- 本周最常见的失败类型是：…… 下一步唯一值得改的地方是：……
|
||||
|
||||
---
|
||||
|
||||
返回 [[01_Projects/Personal-Tech/LLM_Evaluation/03-Practice/README|项目实践入口]]。
|
||||
+32
@@ -0,0 +1,32 @@
|
||||
---
|
||||
type: project
|
||||
status: active
|
||||
---
|
||||
|
||||
# 05 · 变更与回归
|
||||
|
||||
> 实验日志规则（专区规则三）与回归原则见 [[02-Why-Guide]] 第 8 步：一次改一个可解释因素，重跑旧 case（不只跑失败 case）。
|
||||
|
||||
## 变更记录（对应工作表第 6 节）
|
||||
|
||||
| 你修改了什么 | 为什么改它 | 预期改善哪些 case | 必须不变差的 case | 修改后结果 |
|
||||
|---|---|---|---|---|
|
||||
| | | | | |
|
||||
|
||||
## 实验日志
|
||||
|
||||
> 每次改变 case / rubric / prompt / 模型 / 文档版本，记一条：改了什么、为什么改、预期影响、实际结果。
|
||||
|
||||
| 日期 | 改动 | 原因 | 预期影响 | 实际结果 |
|
||||
|---|---|---|---|---|
|
||||
| | | | | |
|
||||
|
||||
## 回归检查
|
||||
|
||||
- [ ] 重跑原失败 case，确认修复生效
|
||||
- [ ] 重跑一小组原本通过的 case，确认没有"修 A 坏 B"
|
||||
- [ ] 确认的失败已固化进 regression（对应 case 状态 → regression）
|
||||
|
||||
---
|
||||
|
||||
返回 [[01_Projects/Personal-Tech/LLM_Evaluation/03-Practice/README|项目实践入口]]。
|
||||
Reference in New Issue
Block a user