---
type: reference
tags:
  - llm-evaluation
  - continuous-evaluation
  - ci
status: active
created: 2026-08-21
---

# 03 · Continuous Evaluation

主题：把评测从「手工跑一次」升级为「每次变更都会跑」

## A 级资源

### 1. CircleCI + RAGAS Continuous Eval
- 价值不在 RAGAS 本身，而在：
  Eval → CI → Threshold → Gate
- 真正要学习的是：
  Metric → Baseline → Threshold → Action
  例如：
  - security_failure > 0 → fail
  - overall_pass_rate ↓ → review
  - latency regression → review
- RAGAS 只是 grader/metric 工具
- 适合阶段：项目已有 regression set 后

### 2. DeepLearning.AI + Weights & Biases
- 真正适合学习的：
  Experiment Tracking / Run / Artifact / Version / Trace / Comparison
- 建议用途：当你的目录开始出现
  runs/、runs-v2/、runs-final/、runs-final-new/
  说明该学 experiment tracking 了
- 不建议：一开始就为了"专业"搭 W&B

> 🔗 本页资源的完整链接、来源背景与上手建议见 [[01_Projects/Personal-Tech/LLM_Evaluation/04-Reference/archive/01-Curated-External-Resources|archive/01-Curated-External-Resources]]（"云厂商生产环境"与"名校/大牛的工业级课程"两节）。