restructure 04-Reference: resource map for evaluation engineering (archive old drafts)

2026-08-21 17:12:45 +08:00
parent 0f25594088
commit 4523ce67b3
20 changed files with 277 additions and 3 deletions
@@ -0,0 +1,47 @@
+---
+type: reference
+tags:
+  - llm-evaluation
+  - benchmark
+  - reproducibility
+status: active
+created: 2026-08-21
+---
+
+# 02 · Benchmark and Reproducibility
+
+主题：标准化 Task、Prompt 固定、去污染、可复现比较
+
+## S 级资源
+
+### 1. EleutherAI lm-evaluation-harness
+- 仓库：https://github.com/EleutherAI/lm-evaluation-harness
+- 背景：学术界公认标准，Hugging Face Open LLM Leaderboard 长期后端之一
+- 为什么看：理解传统 LLM Benchmark 工程最好的源码
+- 真正值得学的：
+  - Task 如何标准化
+  - Dataset 如何映射
+  - Prompt 如何固定
+  - Metric 如何配置
+  - Few-shot 如何实现
+  - Benchmark Contamination 如何处理（N-gram 去污染）
+- 重点理解：
+  Benchmark ≠ Product Eval  
+  但 Benchmark 工程教会你：如何让测试定义可重复、可比较、可版本化
+- 适合阶段：完成 Foundations + Why Guide 后即可阅读
+
+### 2. Ai2 OLMES / olmo-eval
+- 背景：艾伦人工智能研究所（Ai2）专为 OLMo/Tülu 打造的严格可复现评测标准
+- 为什么看：解决「为什么不同团队跑同一个 benchmark，分数会不一样」
+- 核心价值：强制冻结 Evaluation Protocol
+  - Prompt format
+  - Few-shot 样本
+  - Generation 参数
+  - Metric 实现
+  - Chat template
+- 与本仓库理念一致：
+  Test Definition ≠ Test Execution
+- 适合阶段：学完 lm-evaluation-harness 后
+
+## 关键认知
+Benchmark 工程的本质是把「测试定义」做成可版本化的资产。