reconcile LLM_Evaluation zone: align stage numbering and scopes, standardize full-path wikilinks, slim old guidebook notes, dedupe templates

- fix stage-numbering conflict (README vs 05-Progress) and unify stage-1 reading scope
- resolve AWS workshop prerequisite contradiction in 04-Reference/01
- convert medium-path wikilinks to vault-root paths (~30 links), fix .pyy typos, annotate ragas fork, unify archive status, add 01-/02- README hubs
- compress old-version guidebook notes (01, 05) into pointers; add 2026 reading guidance to 00-Overview
- dedupe project templates and remove embedded template copy in 03-Practice/README
This commit is contained in:
windyboy
2026-08-24 11:15:37 +08:00
parent 63add96a09
commit 0dac58fb6f
29 changed files with 644 additions and 434 deletions
@@ -7,7 +7,7 @@ tags:
- llm-evaluation
- resources
- archive
status: active
status: archive
created: 2026-08-21
---
@@ -15,7 +15,7 @@ created: 2026-08-21
> 目的:不是收藏大量 AI 资料,而是锁定顶级大厂、顶尖开源组织在生产环境中沉淀出的核心方案、底层评测基建与硬核课程源码。按需查阅,不按顺序通读。
>
> 能力地图(每个资源对应哪层能力、何时看、重点看什么)见 [[04-Reference/README|04-Reference 资源地图]];本页只负责完整链接、来源背景与上手建议。
> 能力地图(每个资源对应哪层能力、何时看、重点看什么)见 [[01_Projects/Personal-Tech/LLM_Evaluation/04-Reference/README|04-Reference 资源地图]];本页只负责完整链接、来源背景与上手建议。
## 1. 国家级与顶级学术机构的"硬核基建"
@@ -55,7 +55,7 @@ created: 2026-08-21
### Automated RAG with Ragas & CircleCI
- 博客:<https://circleci.com/blog/automated-rag-pipeline-evaluation-and-benchmarking-with-ragas/>
- 源码:<https://github.com/vibrantlabsai/ragas>
- 源码:<https://github.com/vibrantlabsai/ragas>(博客配套 fork;官方仓库为 <https://github.com/explodinggradients/ragas>
- 含金量:给出实际配置文件和 Python 脚本,展示如何利用 databricks-dolly-15k 抽样数据集,在代码提交(CI/CD)时自动触发大模型评测,计算 Faithfulness(忠实度)与 Context Recall(上下文召回率),不达标直接拒绝上线。
## 3. 名校/大牛的工业级可运行课程 Notebook
@@ -87,7 +87,7 @@ created: 2026-08-21
## 与本专区的关系
- 与 [[evaluation-guidebook/00-Overview|HuggingFace Evaluation Guidebook 中文提炼]] 互补:guidebook 回答"具体怎么做、有哪些坑"(概念与方法),本页回答"去哪找真材实料的生产级方案与源码"(资源与基建)。
- 与 [[01_Projects/Personal-Tech/LLM_Evaluation/04-Reference/evaluation-guidebook/00-Overview|HuggingFace Evaluation Guidebook 中文提炼]] 互补:guidebook 回答"具体怎么做、有哪些坑"(概念与方法),本页回答"去哪找真材实料的生产级方案与源码"(资源与基建)。
- 按需查阅:设计某个评测类型(如多模态 RAG、工具调用、Agent 安全)时回到对应小节。
返回 [[01_Projects/Personal-Tech/LLM_Evaluation/README|学习专区首页]]。