理解 CSV 缺失数据并建立可审计的数据字典

先定义缺失值的语言

空单元格、NA、null、短横线和零不能互换。应逐字段记录源系统导出规则、问卷跳题逻辑以及是否真正必填。

NA 在一个数据集中可能表示不适用，在另一个数据集中可能是有效代码；脱离语境替换会静默破坏数据。

• 逐字段定义缺失标记。
• 区分零与不存在。
• 记录源系统版本。

正确解析 CSV，而不是相信视觉形状

带引号的逗号、转义引号和嵌入换行会破坏 split(',')。预检应处理引号、要求唯一表头，并在字段未闭合时明确停止。

对大文件抽样时要披露覆盖范围、选行方法和限制；样本干净不能证明全量数据干净。

从列缺失率走向共同缺失模式

某列百分之十为空并不能解释原因。城市和年龄在同一批行中同时缺失，可能指向特定来源渠道或条件表单步骤。

结合日期、来源和分群调查模式，同时避免不必要复制个人数据；因果结论仍需审查采集流程与抽样偏差。

把数据字典当作持续更新的契约

每个字段都需要名称、类型、单位、用途、敏感性、来源、负责人和保留规则。‘用于分析’过于宽泛，应写明该字段支持的决策或指标。

重复名称、无限期保留和无人负责的派生字段应进入发布门禁，并与代码、报告和隐私清单同步版本。

填补之前先记录不确定性

均值、中位数或众数填补可能改变分布和关联。完全随机缺失、受已观测变量影响的缺失和流程驱动缺失需要不同方法。

工具只展示缺失位置和模式；领域负责人决定填补、排除或重新采集，并保留原始值、方法、日期和回滚路径。

• 绝不覆盖原始数据。
• 报告不确定性影响。
• 以可复现方式记录决策。

本指南配套工具

下列工具为同一决策提供不同证据。请结合真实环境、合同或权威来源分别核验每项输出；先用合成数据复现流程，再记录人工验收标准与停止条件。

• CSV 缺失数据模式分析器
• 数据字段字典生成器
• CSV 列分析器
• 数据最小化决策矩阵