Data Quality Frameworks

Use when implementing data-quality checks, data contracts, validation pipelines, freshness monitoring, or CI/CD gates for analytical and operational datasets.

9 stars 3 forksSoftware Development

Install

skills CLI (Claude Code, Cursor, Codex and more)
npx skills add sandbaseai/workbuddy-skill --skill data-quality-frameworks
Manual install
git clone --depth 1 https://github.com/sandbaseai/workbuddy-skill.git /tmp/workbuddy-skill
mkdir -p ~/.claude/skills
cp -r /tmp/workbuddy-skill/skills/data-quality-frameworks ~/.claude/skills/data-quality-frameworks

Personal skills live in ~/.claude/skills. Use .claude/skills in a project folder to share a skill with your team.

From the SKILL.md

# Data Quality Frameworks

为数据管道建立可解释、可重复、隐私安全的质量验证。围绕数据契约和业务关键字段检查完整性、唯一性、有效性、准确性、一致性和时效性,并将失败转化为有证据的阻断、告警或人工复核决定。

## 范围和安全边界

- 开始前确认数据集、版本/分区、来源、时区、schema、业务负责人、允许的样本范围和质量目标。
- 默认只读检查 schema、元数据、统计摘要和授权测试数据;不写入生产表、不删除/隔离记录、不触发真实告警或重跑高成本全量任务。
- 采样必须有界并记录方法、覆盖率、偏差和查询成本;抽样通过不能推断全量通过。
- 记录聚合值、计数、比例和脱敏示例,不保存 PII、支付信息、秘密、完整原始行或可还原的用户标识。
- 质量失败不自动等同于业务事故;区分数据问题、契约变更、上游延迟、采集缺失、规则过时和验证器故障。

## 数据契约

为每个关键数据集建立版本化契约,至少包含:字段名/类型/可空性、允许值或范围、主键/唯一性、关系约束、分区/时区、新鲜度目标、敏感级别、所有者、兼容性策略和失败处置。契约变更必须说明新增、删除、收窄、放宽和迁移窗口;没有批准版本时标记 `unknown`,不从当前样本反推契约。

## 质量维度与检查

按风险选择检查,不盲目测试每一列:

| 维度 | 典型问题 | 证据 |
|---|---|---|
| 完整性 | 关键字段空值、分区缺失 | null ratio、分区计数 |
| 唯一性 | 主键或业务键重复 | distinct/duplicate count |
| 有效性 | 枚举、格式、范围非法 | 合法值比例、越界摘要 |
| 准确性 | 与可信源不一致 | 对账差异、抽样交叉核对 |
| 一致性 | 跨字段/跨表矛盾 | 关系失败计数、约束摘要 |
| 时效性 | 数据延迟或陈旧 | 最大事件时间、延迟分布 |

每条规则写清字段、谓词、单位、适用分区、空集行为、允许误差、严重性和失败动作。`null`、未知枚举、重复键、无数据和验证器错误不能混为一个 0 分。

## 基线、阈值和增量验证

优先在源数据进入转换前检查,再逐层检查关键转换和跨表关系。阈值以历史基线、业务 SLA 或契约为依据,记录窗口、样本量、统计方法和置信限制;不要硬编码没有来源的阈值。增量检查覆盖新增/变更分区,并定期抽查历史分区,避免旧数据永久逃逸。动态基线必须设置上下限、冷启动、季节性和异常缺失策略。

检查计算失败率和“未执行”状态,避免把空输入或查询超时当成全通过。高风险字段、跨系统对账、权限/租户隔离和金额等规则应设置阻断级别;低风险漂移可以告警但仍需记录。

## 流水线和报告

在 CI/CD 或编排中把质量检查作为有界步骤:固定数据版本/分区,输出机器可读结果和人类摘要,保留规则版本、运行时间、查询 ID、样本统计和脱敏证据。失败报告至少包含 dataset、partition、rule、expected、observed、severity、coverage、baseline、owner、下一动作和是否阻断发布。

失败处置分为:阻断下游、重试上游读取、延迟等待 freshness、进入人工复核、发布兼容变更或登记已批准例外。重试要有次数和总时限;例外必须有负责人、理由、范围、到期日和补偿检查,不得永久吞掉失败。

## 监控与演进
Read the full skill on GitHub

Details

Skill name
data-quality-frameworks
Path
skills/data-quality-frameworks/SKILL.md
License
MIT
Repo updated
8 September 2026

FAQ

What does the Data Quality Frameworks skill do?

Use when implementing data-quality checks, data contracts, validation pipelines, freshness monitoring, or CI/CD gates for analytical and operational datasets.

How do I install the Data Quality Frameworks skill?

skills CLI (Claude Code, Cursor, Codex and more): npx skills add sandbaseai/workbuddy-skill --skill data-quality-frameworks. Skills go in ~/.claude/skills (personal) or .claude/skills (project), and Claude loads them automatically when a task matches the description.

Is Data Quality Frameworks popular?

It lives in sandbaseai/workbuddy-skill, which has 9 GitHub stars and 3 forks.

Related skills

Browse the most popular Claude skills, all software development skills, or write your own with the skills generator.