48 lines
1.5 KiB
Markdown
48 lines
1.5 KiB
Markdown
|
---
|
||
|
|
type: reference
|
||
|
|
tags:
|
||
|
|
- llm-evaluation
|
||
|
|
- benchmark
|
||
|
|
- reproducibility
|
||
|
|
status: active
|
||
|
|
created: 2026-08-21
|
||
|
|
---
|
||
|
|
|
||
|
|
# 02 · Benchmark and Reproducibility
|
||
|
|
|
||
|
|
主题：标准化 Task、Prompt 固定、去污染、可复现比较
|
||
|
|
|
||
|
|
## S 级资源
|
||
|
|
|
||
|
|
### 1. EleutherAI lm-evaluation-harness
|
||
|
|
- 仓库：https://github.com/EleutherAI/lm-evaluation-harness
|
||
|
|
- 背景：学术界公认标准，Hugging Face Open LLM Leaderboard 长期后端之一
|
||
|
|
- 为什么看：理解传统 LLM Benchmark 工程最好的源码
|
||
|
|
- 真正值得学的：
|
||
|
|
- Task 如何标准化
|
||
|
|
- Dataset 如何映射
|
||
|
|
- Prompt 如何固定
|
||
|
|
- Metric 如何配置
|
||
|
|
- Few-shot 如何实现
|
||
|
|
- Benchmark Contamination 如何处理（N-gram 去污染）
|
||
|
|
- 重点理解：
|
||
|
|
Benchmark ≠ Product Eval
|
||
|
|
但 Benchmark 工程教会你：如何让测试定义可重复、可比较、可版本化
|
||
|
|
- 适合阶段：完成 Foundations + Why Guide 后即可阅读
|
||
|
|
|
||
|
|
### 2. Ai2 OLMES / olmo-eval
|
||
|
|
- 背景：艾伦人工智能研究所（Ai2）专为 OLMo/Tülu 打造的严格可复现评测标准
|
||
|
|
- 为什么看：解决「为什么不同团队跑同一个 benchmark，分数会不一样」
|
||
|
|
- 核心价值：强制冻结 Evaluation Protocol
|
||
|
|
- Prompt format
|
||
|
|
- Few-shot 样本
|
||
|
|
- Generation 参数
|
||
|
|
- Metric 实现
|
||
|
|
- Chat template
|
||
|
|
- 与本仓库理念一致：
|
||
|
|
Test Definition ≠ Test Execution
|
||
|
|
- 适合阶段：学完 lm-evaluation-harness 后
|
||
|
|
|
||
|
|
## 关键认知
|
||
|
|
Benchmark 工程的本质是把「测试定义」做成可版本化的资产。
|