49 lines
1.3 KiB
Markdown
49 lines
1.3 KiB
Markdown
|
---
|
|||
|
|
type: project
|
|||
|
|
status: active
|
|||
|
|
---
|
|||
|
|
|
|||
|
|
# 01 · 任务与 Rubric
|
|||
|
|
|
|||
|
|
> 权威版本：rubric 三维度的完整定义见 [[01-LLM-Evaluation-Roadmap]] 第六节；为什么这样设计见 [[02-Why-Guide]] 第 3 步。本文件只记录本项目的填写结果。
|
|||
|
|
|
|||
|
|
## 任务边界（对应工作表第 0 节）
|
|||
|
|
|
|||
|
|
| 项目 | 你的填写 |
|
|||
|
|
|---|---|
|
|||
|
|
| 任务名称 | |
|
|||
|
|
| 用户输入 | |
|
|||
|
|
| 系统输出 | |
|
|||
|
|
| 一句话成功条件 | |
|
|||
|
|
| 三类失败 | |
|
|||
|
|
| 非目标 | |
|
|||
|
|
| 数据来源 / 许可 | |
|
|||
|
|
|
|||
|
|
## Rubric v0.1（对应工作表第 1 节）
|
|||
|
|
|
|||
|
|
| 维度 | 通过条件 | 失败条件 | 正例 | 反例 |
|
|||
|
|
|---|---|---|---|---|
|
|||
|
|
| 有据性（pass/fail） | | | | |
|
|||
|
|
| 资料不足处理（pass/fail） | | | | |
|
|||
|
|
| 核心任务完成度（0/1/2） | | | | |
|
|||
|
|
|
|||
|
|
> 0/1/2 评分定义见 [[01-LLM-Evaluation-Roadmap]] 第六节；第一版不要增加维度。
|
|||
|
|
|
|||
|
|
### 一票否决项
|
|||
|
|
|
|||
|
|
- （示例：出现任何无证据事实 → 整体 fail，无论其他维度）
|
|||
|
|
|
|||
|
|
### 无法判断时的升级路径
|
|||
|
|
|
|||
|
|
- （示例：两个片段对同一参数描述冲突 → 标记 low confidence，人工仲裁，不自动评分）
|
|||
|
|
|
|||
|
|
### Rubric 修改记录
|
|||
|
|
|
|||
|
|
| 版本 | 日期 | 改了什么 | 为什么改 | 预期影响 | 实际结果 |
|
|||
|
|
|---|---|---|---|---|---|
|
|||
|
|
| v0.1 | | | | | |
|
|||
|
|
|
|||
|
|
---
|
|||
|
|
|
|||
|
|
返回 [[01_Projects/Personal-Tech/LLM_Evaluation/03-Practice/README|项目实践入口]]。
|