windy/my-vault
1
0
Fork 0
Code Issues Pull Requests Packages Projects Releases Wiki Activity

reconcile LLM_Evaluation zone: align stage numbering and scopes, standardize full-path wikilinks, slim old guidebook notes, dedupe templates

Browse Source 
- fix stage-numbering conflict (README vs 05-Progress) and unify stage-1 reading scope
- resolve AWS workshop prerequisite contradiction in 04-Reference/01
- convert medium-path wikilinks to vault-root paths (~30 links), fix .pyy typos, annotate ragas fork, unify archive status, add 01-/02- README hubs
- compress old-version guidebook notes (01, 05) into pointers; add 2026 reading guidance to 00-Overview
- dedupe project templates and remove embedded template copy in 03-Practice/README
This commit is contained in:
windyboy
2026-08-24 11:15:37 +08:00
parent 63add96a09
commit 0dac58fb6f
29 changed files with 644 additions and 434 deletions
Download Patch File Download Diff File Expand all files Collapse all files
01_Projects/Personal-Tech/LLM_Evaluation/04-Reference/01-Evaluation-Infrastructure.md
+4 -9
View File
@@ -34,12 +34,7 @@ created: 2026-08-21
### 2. AWS Generative AI Evaluations Workshop
- 为什么看：目前垂直场景最全、最硬核的可运行实战代码
- 覆盖场景：
- Multimodal RAG
- Tool Calling（5 种渐进式评测方法）
- Automated Reasoning（利用 SMT 求解器检查合规）
- Multi-Agent Shared Context
- Red Teaming
- 覆盖场景：Multimodal RAG / Tool Calling（5 种渐进式评测方法）/ Automated Reasoning（SMT 求解器）/ Multi-Agent Shared Context / Red Teaming（完整介绍与链接见 [[01_Projects/Personal-Tech/LLM_Evaluation/04-Reference/archive/01-Curated-External-Resources|archive/01]]）
- 学习方式（重要）：
不要只照着 Notebook 跑。每个模块都问：
- Task 是什么？
@@ -48,10 +43,10 @@ created: 2026-08-21
- Grader 是什么？
- Failure 如何定义？
- 如何做成 Regression？
- 适合阶段：最适合作为第一个实操资源
- 适合阶段：完成第一个小项目以后（与本节开头一致）；精读顺序上建议作为四个 S 级资源中第一个上手（见 [[01_Projects/Personal-Tech/LLM_Evaluation/04-Reference/README|04-Reference 资源地图]]）
## 次级参考
- Hugging Face evaluation-guidebook（已在本目录下：[[04-Reference/evaluation-guidebook/00-Overview|evaluation-guidebook]]）
- Hugging Face evaluation-guidebook（已在本目录下：[[01_Projects/Personal-Tech/LLM_Evaluation/04-Reference/evaluation-guidebook/00-Overview|evaluation-guidebook]]）
- DeepEval（应用级单元测试框架，上手快但抽象层较浅）
> 🔗 本页资源的完整链接、来源背景与上手建议见 [[04-Reference/archive/01-Curated-External-Resources|archive/01-Curated-External-Resources]]（"国家级与顶级学术机构"与"云厂商生产环境"两节）。
> 🔗 本页资源的完整链接、来源背景与上手建议见 [[01_Projects/Personal-Tech/LLM_Evaluation/04-Reference/archive/01-Curated-External-Resources|archive/01-Curated-External-Resources]]（"国家级与顶级学术机构"与"云厂商生产环境"两节）。