数据卡（Data Card）——训练、验证与测试数据集说明书

章节结构（8）

1. 1. 一、数据集标识、版本与用途

   给出数据集的唯一标识与版本（快照日期或版本号）、在哪些模型与模型版本的哪个训练阶段被使用（预训练、继续预训练、监督微调、偏好优化、评测）、以及本数据集被创建的原始目的。同时写明数据集的物理形态：存储位置、格式、体量（样本数与字节数）、分片方式、访问权限归属。用途一栏要区分"原始采集目的"与"当前使用目的"：若数据最初为其他业务目的收集、现被用于模型训练，这一差异是 GDPR 第 6(4) 条目的兼容性分析与 PIPL 目的变更论证的触发点，应在此标注并指向相应的 DPIA/PIPIA 章节。

   需要附的证据

   • · 数据集标识与版本台账（含快照日期与哈希）
   • · 使用关系表（数据集版本 → 模型版本 → 训练阶段）
   • · 存储位置与访问权限矩阵
   • · 原始采集目的与当前使用目的的对照说明
   • · 目的兼容性分析的索引（指向 DPIA / PIPIA 对应章节）

   常见失分点

   • · 数据集无版本与快照标识，事后无法复现某个模型版本用了哪份数据；
   • · "当前使用目的"与"原始采集目的"不同却未做兼容性分析；
   • · 体量只写"大量"，无法支撑训练内容摘要中的规模区间勾选；
   • · 访问权限从未复核，离职人员仍可访问原始语料。

2. 2. 二、来源、获取方式与权利依据

   逐项写清：数据来源类型（公开数据集、商业授权、数据中介采购、自有产品用户数据、网络爬取、线下数字化、人工创作、合成生成）、具体来源标识（数据集名称与链接、供应商名称与合同号、爬取域名范围、内部系统名称）、获取时间范围、以及权利依据。权利依据要分两条线写：知识产权线——许可类型与版本、是否允许商用、是否允许训练、是否要求署名或传染性条款、TDM 权利保留信号的识别与遵守情况；个人信息线——是否含个人信息与敏感个人信息、合法性基础、告知与同意的取得情况、以及数据主体权利的可执行路径。供应商采购的数据要额外记录其权利链条：供应商能否证明其有权向你授权，合同中的权利保证与赔偿条款是什么。本节是权利人与监管追问最密集的一节，也是唯一无法靠事后补写弥补的一节——获取当时未留痕，事后就再也拿不出来了。

   需要附的证据

   • · 来源清单（类型、标识、时间范围、规模）
   • · 许可证文本与许可条款核查记录（商用/训练/署名/传染性）
   • · 采购合同与供应商权利保证、赔偿条款摘录
   • · TDM 权利保留信号的识别配置与遵守证据（生效日期）
   • · 爬取域名清单与 robots.txt 遵守记录
   • · 个人信息合法性基础说明与告知/同意证据
   • · 权利人投诉与移除请求的处理台账

   常见失分点

   • · 许可条款只看了"开源"二字，未核查是否禁止商用或禁止用于训练；
   • · 供应商无法证明其权利链条，合同也无赔偿条款，风险实际由你承担；
   • · TDM 权利保留的遵守只从某个日期开始，此前语料未做回溯处理且未说明；
   • · 声称"不含个人信息"却无筛查方法与抽样证据；
   • · 爬取范围以"公开网页"一笔带过，无域名清单，训练内容摘要的域名披露无从生成。

3. 3. 三、数据构成与统计特征

   给出可核查的构成描述：样本数量与单位（条、张、小时、token）、模态与格式、内容类型分布（按主题、体裁、领域分类并给出比例）、语言分布（列出前若干语言及占比，并单独说明欧盟官方语言覆盖情况——这是训练内容摘要 1.3 节明确要求关注的）、时间分布（数据产生时间跨度与新鲜度）、地域与来源分布（网站类型、机构类型、国别）、以及字段结构（结构化数据给出字段清单与取值范围）。若数据集包含个人信息，按类别给出规模量级与敏感类别标注。统计口径要写明：比例是按样本数还是按字节数计算、抽样统计还是全量统计、统计时点与数据集版本。这些口径决定了训练内容摘要中"数据集规模超过该模态全部公开可得数据集 3%"这类判定是否成立。

   需要附的证据

   • · 构成统计报告（含统计口径、时点与数据集版本）
   • · 语言分布表（含欧盟官方语言覆盖）
   • · 内容类型与领域分布表
   • · 时间分布与数据新鲜度截止日
   • · 字段清单与取值分布（结构化数据）
   • · 个人信息类别与规模量级标注
   • · 统计脚本与可复现的计算记录

   常见失分点

   • · 统计口径不写，同一数据集在不同文件里给出不同比例；
   • · 语言分布只写"多语言"，无法支撑训练内容摘要的语言特征描述；
   • · 个人信息规模无量级估算，DPIA 与 PIPIA 无法引用；
   • · 统计只做过一次，数据集更新后未重算；
   • · 时间分布缺失，无法回答"模型知识截止到什么时候"。

4. 4. 四、清洗、过滤与去重处理

   附件 IV 第 2(d) 项明确要求说明数据清洗方法（如离群点检测），附件 XI 第 2(c) 项要求说明数据整理方法（如清洗、过滤等）以及为检测数据来源不适当性所采取的全部其他措施。逐环节写清处理流水线：去重（精确去重与近似去重的方法与阈值、跨数据集去重）、质量过滤（规则、分类器、语言识别、困惑度筛选及其阈值）、有害内容过滤（类别体系、检测方法、召回与误杀评估）、个人信息处理（识别方法、脱敏/删除/保留的决策规则）、版权与权利保留相关的移除、以及与评测集的隔离（污染检测方法与结果）。每一环给出处理前后的数据量变化，这组数字既能证明处理真实发生，也是训练内容摘要中"预处理之后"规模口径的来源。处理流水线要版本化：不同数据集版本对应不同的处理配置，否则无法解释为何同一来源两次产出规模不同。

   需要附的证据

   • · 处理流水线说明与配置文件（版本化）
   • · 各环节处理前后数据量对比表
   • · 去重方法与阈值说明，跨数据集去重范围
   • · 有害内容过滤的类别体系与效果评估（召回/误杀、人工抽样复核）
   • · 个人信息识别与处置的决策规则与抽样验证
   • · 评测集污染检测方法与结果
   • · 处理作业的运行日志与可复现脚本

   常见失分点

   • · 流水线只写步骤名称，无参数与阈值，无法复现；
   • · 有害内容过滤只报召回率，不报误杀率，实际把大量正常语料一并删除；
   • · 未做跨数据集去重，同一内容在多个来源中重复计入规模；
   • · 评测集污染检测缺失，所有评测结果的可信度受损；
   • · 处理配置未版本化，无法解释同一来源不同批次的规模差异。

5. 5. 五、标注规则、质量控制与标注人员

   附件 IV 第 2(d) 项要求说明标注程序（如监督学习场景）。中国《生成式人工智能服务管理暂行办法》第八条的要求更具体：在进行数据标注时应当制定符合本办法要求的清晰、具体、可操作的标注规则；开展数据标注质量评估，抽样核验标注内容的准确性；对标注人员进行必要培训，监督指导标注人员规范开展标注工作。本节写明：标注任务定义与标签体系；标注规则文本的版本与变更历史；标注流程（单标/多标、仲裁机制、争议处理）；质量控制（标注者间一致性指标及其数值、抽样复核比例与准确率、返工机制）；标注人员情况（自有/外包、规模、培训内容与考核、语言与领域能力、是否接触个人信息及相应的保密与权限安排）；以及标注过程中产生的个人信息处理（标注者是否看到原始个人信息、如何最小化）。外包标注还要写明供应商的劳动合规与数据安全要求，这在欧盟企业客户的供应链尽调中会被问到。

   需要附的证据

   • · 标注规则文本（版本与变更历史）
   • · 标签体系定义与边界案例说明
   • · 标注者间一致性指标与数值（按任务类型）
   • · 抽样复核记录与准确率统计、返工台账
   • · 标注人员培训材料、考核记录与上岗资格
   • · 外包标注合同（数据安全、保密、劳动合规条款）
   • · 标注环境的访问控制与个人信息最小化措施

   常见失分点

   • · 标注规则只有口头约定或聊天记录，无正式文本与版本；
   • · 无一致性指标，质量声称完全依赖标注供应商自述；
   • · 抽样复核比例极低（如千分之一）却宣称准确率很高；
   • · 标注人员可直接访问含个人信息的原始数据且无权限记录；
   • · 外包合同中没有数据安全与保密条款，供应链尽调直接失分。

6. 6. 六、偏差、代表性与已知缺陷

   第 10 条要求高风险系统的训练、验证与测试数据集在预期用途下应当具有相关性、充分代表性，并在可能的最大程度上无错误、完整，且应当审视可能的偏差。本节回答四个问题。代表性：数据集相对于预期使用人群与场景的覆盖程度，缺口在哪里（按语言、地域、年龄、性别、族裔、行业、设备类型等相关维度）。偏差：已识别的偏差类型（选择偏差、测量偏差、历史偏差、标注者偏差、聚合偏差）、检测方法与量化结果。已知缺陷：错误率与噪声水平、标签质量问题、重复与近重复残留、时间漂移、以及不适合的用途。缓解与残余：已采取的缓解措施（重采样、加权、数据增强、定向补采、后处理约束）及其效果验证，以及缓解后仍然存在的残余偏差。诚实标注"未评估"的维度比声称"无偏差"更可信——第 10 条要求的是审视偏差，不是宣称不存在偏差。

   需要附的证据

   • · 代表性分析（覆盖维度、目标分布与实际分布对比）
   • · 偏差检测方法与量化结果（分维度）
   • · 已知缺陷清单（错误率、噪声、残留重复、时间漂移）
   • · 缓解措施与效果验证记录
   • · 残余偏差说明与不适用用途提示
   • · 未评估维度的明确标注与原因

   常见失分点

   • · 以"我们不收集族裔/性别数据"为由跳过全部偏差分析，未使用任何代理指标或定性方法；
   • · 声称"数据集无偏差"，而第 10 条要求的是审视偏差；
   • · 代表性只与训练数据自身分布比较，未与预期使用人群比较；
   • · 缓解措施写了但未验证效果，残余偏差未知；
   • · 时间漂移完全未讨论，模型上线后表现下降无解释。

7. 7. 七、个人信息处理与数据主体权利

   若数据集含个人信息，本节是 DPIA 与 PIPIA 的直接输入。写明：个人信息类别与是否含特殊类别/敏感个人信息；识别方法（正则、命名实体识别、分类器，及其召回与误判评估）；处置策略（删除、脱敏、假名化、保留，以及各自的判定规则与覆盖比例）；合法性基础与告知/同意情况；数据主体权利在本数据集层面的可执行性——访问、更正、删除请求如何定位到具体样本，定位失败时的替代措施是什么；以及数据集的留存期限与删除机制。特别要写明"删除请求的技术边界"：从语料删除、从索引删除、从已训练模型中移除三者的可行性与成本差异，以及本企业采取的实际策略。这段内容会被客户、监管与数据主体反复追问，与其每次临时解释，不如在数据卡里一次写清并保持口径一致。

   需要附的证据

   • · 个人信息识别方法与效果评估（召回/误判、抽样复核）
   • · 处置策略与覆盖比例统计
   • · 合法性基础说明与告知/同意证据索引
   • · 数据主体请求在数据集层面的定位方案与实测记录
   • · 删除请求在语料层、索引层、模型层的处置说明与成本评估
   • · 数据集留存期限与删除执行记录
   • · 与 DPIA / PIPIA 相应章节的交叉引用

   常见失分点

   • · 声称已脱敏，实则只做了直接标识符删除，未评估再识别风险；
   • · 个人信息识别只用正则，对非结构化文本的召回率很低且未评估；
   • · 数据主体请求无法定位到具体样本，也未说明替代措施；
   • · 数据卡、DPIA、PIPIA 对同一数据集的个人信息描述互相矛盾；
   • · 留存期限写"长期"，与隐私政策中的承诺不一致。

8. 8. 八、维护、分发与版本变更

   写明数据集的生命周期安排：维护责任人与团队；更新频率与更新方式（增量追加、全量重建、滚动窗口）；版本变更记录（每个版本的变化内容、原因、影响的模型版本）；质量监控（定期重算统计、漂移检测、异常告警）；以及退役与删除策略。分发部分写明：数据集是否对外分发、分发对象与许可条款、分发前的处理（脱敏、抽样、许可限制）、以及接收方的使用限制与审计安排。若数据集不对外分发，也要写明内部分发边界（哪些团队可访问、是否可导出、跨境访问的限制）——这一条会与传输影响评估中的"远程访问"链路直接对应。最后写明数据卡本身的维护：文档版本、最近更新日期、负责人、以及与模型卡、训练内容摘要的同步机制，避免三份文档各自漂移。

   需要附的证据

   • · 维护责任人与更新计划
   • · 版本变更记录（变化、原因、影响的模型版本）
   • · 质量监控配置与最近若干期监控结果
   • · 分发清单（接收方、许可、处理措施、审计安排）
   • · 内部访问边界与跨境访问限制说明
   • · 数据卡文档版本历史与三份文档的同步核对记录
   • · 退役与删除执行记录

   常见失分点

   • · 数据集持续增量更新但数据卡停留在初版，统计与实际严重脱节；
   • · 内部访问边界从未定义，境外团队可直接访问含个人信息的原始语料，而 TIA 中未记录该链路；
   • · 对外分发未附许可与使用限制，接收方将其再分发；
   • · 数据卡、模型卡、训练内容摘要三者无同步机制，数字互相矛盾；
   • · 退役数据集仍留存在对象存储中，删除策略从未执行。