my-vault/01_Projects/Personal-Tech/LLM_Evaluation/04-Reference/02-Benchmark-and-Reproducibility.md

type, tags, status, created

type	tags	status	created
reference	llm-evaluation benchmark reproducibility	active	2026-08-21

02 · Benchmark and Reproducibility

主题：标准化 Task、Prompt 固定、去污染、可复现比较

S 级资源

1. EleutherAI lm-evaluation-harness

• 仓库：https://github.com/EleutherAI/lm-evaluation-harness
• 背景：学术界公认标准，Hugging Face Open LLM Leaderboard 长期后端之一
• 为什么看：理解传统 LLM Benchmark 工程最好的源码
• 真正值得学的：
  • Task 如何标准化
  • Dataset 如何映射
  • Prompt 如何固定
  • Metric 如何配置
  • Few-shot 如何实现
  • Benchmark Contamination 如何处理（N-gram 去污染）
• 重点理解： Benchmark ≠ Product Eval
  但 Benchmark 工程教会你：如何让测试定义可重复、可比较、可版本化
• 适合阶段：完成 Foundations + Why Guide 后即可阅读

2. Ai2 OLMES / olmo-eval

• 背景：艾伦人工智能研究所（Ai2）专为 OLMo/Tülu 打造的严格可复现评测标准
• 为什么看：解决「为什么不同团队跑同一个 benchmark，分数会不一样」
• 核心价值：强制冻结 Evaluation Protocol
  • Prompt format
  • Few-shot 样本
  • Generation 参数
  • Metric 实现
  • Chat template
• 与本仓库理念一致： Test Definition ≠ Test Execution
• 适合阶段：学完 lm-evaluation-harness 后

关键认知

Benchmark 工程的本质是把「测试定义」做成可版本化的资产。