windyboy
0dac58fb6f
- fix stage-numbering conflict (README vs 05-Progress) and unify stage-1 reading scope - resolve AWS workshop prerequisite contradiction in 04-Reference/01 - convert medium-path wikilinks to vault-root paths (~30 links), fix .pyy typos, annotate ragas fork, unify archive status, add 01-/02- README hubs - compress old-version guidebook notes (01, 05) into pointers; add 2026 reading guidance to 00-Overview - dedupe project templates and remove embedded template copy in 03-Practice/README
1.7 KiB
1.7 KiB
type, tags, status, created
| type | tags | status | created | |||
|---|---|---|---|---|---|---|
| reference |
|
active | 2026-08-21 |
02 · Benchmark and Reproducibility
主题：标准化 Task、Prompt 固定、去污染、可复现比较
S 级资源
1. EleutherAI lm-evaluation-harness
- 仓库：https://github.com/EleutherAI/lm-evaluation-harness
- 背景：学术界公认标准，Hugging Face Open LLM Leaderboard 长期后端之一
- 为什么看：理解传统 LLM Benchmark 工程最好的源码
- 真正值得学的：
- Task 如何标准化
- Dataset 如何映射
- Prompt 如何固定
- Metric 如何配置
- Few-shot 如何实现
- Benchmark Contamination 如何处理（N-gram 去污染）
- 重点理解：
Benchmark ≠ Product Eval
但 Benchmark 工程教会你：如何让测试定义可重复、可比较、可版本化 - 适合阶段：完成 Foundations + Why Guide 后即可阅读
2. Ai2 OLMES / olmo-eval
- 背景：艾伦人工智能研究所（Ai2）专为 OLMo/Tülu 打造的严格可复现评测标准
- 为什么看：解决「为什么不同团队跑同一个 benchmark，分数会不一样」
- 核心价值：强制冻结 Evaluation Protocol
- Prompt format
- Few-shot 样本
- Generation 参数
- Metric 实现
- Chat template
- 与本仓库理念一致： Test Definition ≠ Test Execution
- 适合阶段：学完 lm-evaluation-harness 后
关键认知
Benchmark 工程的本质是把「测试定义」做成可版本化的资产。
🔗 本页资源的完整链接、来源背景与上手建议见 01_Projects/Personal-Tech/LLM_Evaluation/04-Reference/archive/01-Curated-External-Resources（"国家级与顶级学术机构"一节）。