看起来相同的文本可能并非相同字节

一个字符既可由单一代码点表示，也可由基础字符加组合符号表示。不可见空格和双向控制符可能影响比较、slug 或安全审核。NFC、NFD、NFKC 与 NFKD 用途不同，兼容规范化会有意合并某些排版差异。

请保留原文，尤其对身份标识、域名、文件路径和访问规则检查代码点。规范化不能解决同形异义攻击，只能让部分表示差异更容易发现。

排序、去重与 N-gram 衡量的是不同问题

区域感知排序只改变顺序，而去重会删除数据。只有业务规则允许时才能忽略大小写或空格。应同时记录源行、唯一行和被移除条目。

N-gram 能显示重复，却不能衡量意图、质量或 SEO 成功。小样本会放大比例；无空格语言的分词还依赖浏览器语言数据。频率必须结合原句解读。

  • 保留可恢复的原始顺序。
  • 记录去重键。
  • 报告样本大小。

公开公式、时区和抽取过程

百分比变化、百分点、税费和连续折扣是不同运算。零基数的百分比变化没有定义；当前税率和舍入规则必须来自官方来源。数学结果不是税务或法律建议。

不含偏移的日期时间使用浏览器本地时区，夏令时、休息和薪资舍入都可能改变结果。Web Crypto 可提供强随机源，但重复或不合格条目以及抽取后干预仍会破坏公平性。受监管抽奖应采用有记录的独立流程。