Model Evaluation Reviewer

Use when reviewing or designing the evaluation framework for a machine learning model. Checks metric selection, train-test split, offline-online gap, cold start, business translation of model scores, and monitoring strategy. 中文触发词:模型评估、AUC、模型能不能上线、模型效果审查。

Install

skills CLI (Claude Code, Cursor, Codex and more)
npx skills add shisuidata/ss-data-skills --skill model-evaluation-reviewer
Manual install
git clone --depth 1 https://github.com/shisuidata/ss-data-skills.git /tmp/ss-data-skills
mkdir -p ~/.claude/skills
cp -r /tmp/ss-data-skills/skills/model-evaluation-reviewer ~/.claude/skills/model-evaluation-reviewer

Personal skills live in ~/.claude/skills. Use .claude/skills in a project folder to share a skill with your team.

From the SKILL.md

# Model Evaluation Reviewer

## 目标

审查机器学习模型的评估方案是否合理:指标是否匹配业务目标,测试集划分是否可信,离线结论是否支撑上线决策,业务影响是否可量化。

这个 Skill 不负责调参或架构设计,而是帮用户在上线前判断"这个评估方案是否足以支撑业务决策"。

## 使用场景

使用这个 Skill,当用户需要:

- 为分类、回归、排序或推荐模型选择评估指标
- 审查训练集/验证集/测试集划分方式
- 判断离线指标提升是否意味着线上业务改善
- 分析冷启动问题和模型覆盖率
- 把模型分数翻译成业务可用的行动依据
- 设计模型上线后的监控方案

典型输入:

```text
我们的流失预测模型 AUC 从 0.71 提升到 0.79,可以上线吗?
```

## 不适用场景

不要用这个 Skill 直接完成:

- 特征工程设计,请使用 `feature-engineering-advisor`
- 数据探索分析,请使用 `exploratory-data-analysis`
- A/B 实验线上效果分析,请使用 `ab-test-analysis`
- SQL 审查,请使用 `sql-reviewer`

如果没有提供模型类型、业务目标和评估数据,不要直接给出"可以上线"的结论。

## 输入信息

最少输入:

- 模型类型:分类、回归、排序、推荐
- 业务目标
- 当前评估指标和数值

可选输入:

- 测试集构造方式
- 正负样本比例
- 特征列表
- 模型用途:触发干预、排序展示、辅助决策
- 是否有基线模型
- 是否已有线上流量实验结果
- 预期上线覆盖率
- 预测文件:包含真实值和模型分数的 CSV(可以直接用脚本计算)

## 上下文建议

推荐使用 [机器学习上下文模板](../../context/templates/ml-context.md)。

最有价值的上下文是:业务目标、模型用途、样本构造方式、正负样本比、指标数值和基线。缺少测试集构造说明时,不能确认离线结论可信。

## 审查框架

1. 确认业务目标:模型输出要支撑什么决策。
2. 检查评估指标:指标是否与业务目标一致,是否适合正负样本不均衡场景。分类看 AUC、PR-AUC、Top-K、校准;回归看 RMSE、MAE、MAPE、偏差;排序看 NDCG、MRR、Recall@K。先核对数字是否自洽:Precision@K × K 不能超过正样本率,Recall@K 应约等于 Precision@K × K ÷ 正样本率。对不上时先确认口径,不要基于这些数字下结论。
3. 检查测试集:时间切分是否正确,是否存在数据泄露,正负样本比是否反映真实分布。
4. 检查覆盖率和冷启动:模型预测覆盖多少用户/客户,新用户如何处理。
5. 检查阈值选择:Precision 和 Recall 在业务上的权衡。
6. 检查离线/在线差距:是否存在特征分布漂移、线上特征获取延迟、标签定义差异。
7. 给出上线建议:直接全量、先灰度 A/B,还是继续优化。
8. 给出监控方案:生产环境中哪些指标需要持续追踪。

## 可用脚本

有预测文件时,数字由 `scripts/eval_metrics.py` 计算:
Read the full skill on GitHub

Details

Skill name
model-evaluation-reviewer
Path
skills/model-evaluation-reviewer/SKILL.md
License
MIT
Repo updated
8 November 2026

FAQ

What does the Model Evaluation Reviewer skill do?

Use when reviewing or designing the evaluation framework for a machine learning model. Checks metric selection, train-test split, offline-online gap, cold start, business translation of model scores, and monitoring strategy. 中文触发词:模型评估、AUC、模型能不能上线、模型效果审查。

How do I install the Model Evaluation Reviewer skill?

skills CLI (Claude Code, Cursor, Codex and more): npx skills add shisuidata/ss-data-skills --skill model-evaluation-reviewer. Skills go in ~/.claude/skills (personal) or .claude/skills (project), and Claude loads them automatically when a task matches the description.

Is Model Evaluation Reviewer popular?

It lives in shisuidata/ss-data-skills, which has 9 GitHub stars and 0 forks.

Related skills

Ab Test Analysis

9

shisuidata/ss-data-skills

Use when designing, checking, or interpreting A/B tests and experiments. Computes significance, confidence intervals, sample ratio mismatch, power, CUPED, and sample size with a bundled zero-dependency script, then judges validity risks, guardrails, and ship/iterate/rollback decisions and renders an HTML experiment report. 中文触发词:A/B 实验、AB 测试、实验解读、显著性、样本量计算、能不能全量。

Testing & QA

Business Root Cause Analysis

9

shisuidata/ss-data-skills

Use when diagnosing business metric changes or anomalies such as GMV decline, conversion drop, retention loss, churn increase, revenue change, lead decline, or active user fluctuation with a structured root cause analysis plan. 中文触发词:指标归因、为什么下降、异常排查、GMV 下滑、指标波动原因。

Marketing, Sales & Business

Daily Report Writer

9

shisuidata/ss-data-skills

Use when writing a concise daily report, daily worklog, standup update, shift handoff, or end-of-day summary for data analysis, data development, BI, governance, or operations work. 中文触发词:日报、日终同步、站会发言、值班交接。

Writing & Content

Patterns

9

zllovesuki/cloudflare-agent-skills

Apply Cloudflare reference architecture patterns for CRUD SaaS, collaboration, async exports, AI assistants, RAG, media, webhook ingestion, and migration. Use to turn requirements into an implementation pattern and primitive map.

AI, LLMs & Agents

Feature Engineering Advisor

9

shisuidata/ss-data-skills

Use when designing, reviewing, or selecting features for machine learning models. Advises on feature types, missing value treatment, encoding, interaction terms, time-series features, leakage risks, and feature importance evaluation strategies. 中文触发词:特征工程、特征设计、特征选择、数据泄漏。

AI, LLMs & Agents

RAG Vectorize AI Search

9

zllovesuki/cloudflare-agent-skills

Build retrieval augmented generation on Cloudflare with AI Search, Vectorize, Workers AI embeddings, chunking, metadata filters, citations, ingestion pipelines, reranking, and grounded answer generation. Use when implementing RAG, semantic search, or document QA.

AI, LLMs & Agents

Browse the most popular Claude skills, all ai, llms & agents skills, or write your own with the skills generator.