看起来相同的文本可能并非相同字节
一个字符既可由单一代码点表示,也可由基础字符加组合符号表示。不可见空格和双向控制符可能影响比较、slug 或安全审核。NFC、NFD、NFKC 与 NFKD 用途不同,兼容规范化会有意合并某些排版差异。
请保留原文,尤其对身份标识、域名、文件路径和访问规则检查代码点。规范化不能解决同形异义攻击,只能让部分表示差异更容易发现。
排序、去重与 N-gram 衡量的是不同问题
区域感知排序只改变顺序,而去重会删除数据。只有业务规则允许时才能忽略大小写或空格。应同时记录源行、唯一行和被移除条目。
N-gram 能显示重复,却不能衡量意图、质量或 SEO 成功。小样本会放大比例;无空格语言的分词还依赖浏览器语言数据。频率必须结合原句解读。
- 保留可恢复的原始顺序。
- 记录去重键。
- 报告样本大小。
公开公式、时区和抽取过程
百分比变化、百分点、税费和连续折扣是不同运算。零基数的百分比变化没有定义;当前税率和舍入规则必须来自官方来源。数学结果不是税务或法律建议。
不含偏移的日期时间使用浏览器本地时区,夏令时、休息和薪资舍入都可能改变结果。Web Crypto 可提供强随机源,但重复或不合格条目以及抽取后干预仍会破坏公平性。受监管抽奖应采用有记录的独立流程。
把指南转化为安全试用流程
使用真实资料前,请先在Unicode 规范化与字符检查中用合成数据试做《避免文本与日常计算中的隐藏错误》的步骤。勾选状态只保留在当前标签页。
把指南转化为可重复的检查流程
请使用这套包含 7 个工具的检查计划来落实《避免文本与日常计算中的隐藏错误》。目标:解释复制文本、列表和日常数值场景中的规范化、去重、公式、时区与随机性边界。 请先用安全示例代替真实数据,并记录每一步的预期结果与验收决定。
Unicode 规范化与字符检查
- 准备
- 在保留用途和目标语言的前提下需要编辑或比较的纯文本处理敏感真实数据前,请先用合成示例确认格式。
- 执行
- 运行设备端处理。在保留 Unicode、行和词边界的同时应用确定性文本规则。
- 验收检查
- 验收检查:对可能改变语义的句子、专有名词、数字、标点和多语言字符进行前后比较语言、语义和上下文仍需人工最终审核。
- 预期输出
- 编辑后的文本、变更摘要以及可量化的语言或结构指标. 检查规范化形式、码点和不可见字符。
行排序与去重工具
- 准备
- 表头和行结构一致的 CSV、TSV、表格或分隔记录处理敏感真实数据前,请先用合成示例确认格式。
- 执行
- 运行设备端处理。分隔符、引号、行边界和列边界会分别检查。
- 验收检查
- 验收检查:核对表头数量、行宽、引号转义,并在目标表格中打开代表性记录语言、语义和上下文仍需人工最终审核。
- 预期输出
- 行列统计、规范化记录以及问题单元格位置. 按语言规则排序行,并可控地移除空行或重复项。
词频与 N-gram 分析
- 准备
- 在保留用途和目标语言的前提下需要编辑或比较的纯文本处理敏感真实数据前,请先用合成示例确认格式。
- 执行
- 运行设备端处理。在保留 Unicode、行和词边界的同时应用确定性文本规则。
- 验收检查
- 验收检查:对可能改变语义的句子、专有名词、数字、标点和多语言字符进行前后比较语言、语义和上下文仍需人工最终审核。
- 预期输出
- 编辑后的文本、变更摘要以及可量化的语言或结构指标. 在本地查找高频词、二元组与三元组。
百分比变化、增减与占比计算器
- 准备
- 单位、周期和计入假设明确的数值处理敏感真实数据前,请先用合成示例确认格式。
- 执行
- 运行设备端处理。公式、中间值、舍入规则和除零边界均保持可见。
- 验收检查
- 验收检查:通过手工示例、零值、负值、极值、单位换算以及权威规则进行比较结果不构成专业财务、医疗、法律或科学建议。
- 预期输出
- 计算结果、所用公式、单位和情景假设. 使用可见公式计算变化、占比与目标增幅。
增值税 / 税费与折扣计算器
- 准备
- 单位、周期和计入假设明确的数值处理敏感真实数据前,请先用合成示例确认格式。
- 执行
- 运行设备端处理。公式、中间值、舍入规则和除零边界均保持可见。
- 验收检查
- 验收检查:通过手工示例、零值、负值、极值、单位换算以及权威规则进行比较结果不构成专业财务、医疗、法律或科学建议。
- 预期输出
- 计算结果、所用公式、单位和情景假设. 透明计算含税/未税价格和连续折扣。
时长、工时与休息计算器
- 准备
- 包含明确格式和时区的日期、时间、时长或计划表达式处理敏感真实数据前,请先用合成示例确认格式。
- 执行
- 运行设备端处理。日历、时区和计入规则会分开计算。
- 验收检查
- 验收检查:核对 UTC 对应值、夏令时切换、边界日期以及适用的官方日历规则结果不构成专业财务、医疗、法律或科学建议。
- 预期输出
- 规范化时间值、计算摘要和时区歧义警告. 计算跨夜和扣除休息后的总时长与净时长。
加密随机选择与团队分组
- 准备
- 符合工具字段说明且不含不必要个人数据的内容处理敏感真实数据前,请先用合成示例确认格式。
- 执行
- 运行设备端处理。输入依据公开规则进行结构化,未经用户操作不会发送到外部系统。
- 验收检查
- 验收检查:人工检查必填字段、日期和数值、受众适配以及任何正式要求输出是可编辑草稿,不能替代正式文件或专业批准。
- 预期输出
- 可编辑草稿、字段摘要和明确的下一步操作. 使用 Web Crypto 打乱列表、抽取条目或分组。
Unicode 规范化与字符检查适用以下边界:语言、语义和上下文仍需人工最终审核。 如果未满足该条件,请勿把输出传递到工作流的下一步。
落实《避免文本与日常计算中的隐藏错误》时,请记录工具名称、所选设置、浏览器版本,以及“使用Unicode 规范化与字符检查完成:检查规范化形式、码点和不可见字符”的接受或拒绝理由,而不是敏感内容。这样既能重复检查,也不会复制真实数据。