Gleich aussehender Text kann technisch verschieden sein
Ein Zeichen kann als einzelner Codepoint oder als Grundzeichen plus Kombinationszeichen vorliegen. Unsichtbare Leer- und Richtungszeichen können Vergleiche, Slugs oder Sicherheitsprüfungen verändern. NFC, NFD, NFKC und NFKD haben unterschiedliche Zwecke; Kompatibilitätsformen führen bewusst manche typografischen Unterschiede zusammen.
Bewahren Sie das Original und prüfen Sie Codepoints besonders bei Identitäten, Domains, Dateipfaden und Zugriffsregeln. Normalisierung verhindert keine Homograph-Angriffe, sondern macht nur manche Repräsentationsunterschiede sichtbar.
Sortieren, Deduplizieren und N-Gramme messen Verschiedenes
Sprachabhängige Sortierung ordnet Daten; Deduplizierung löscht Datensätze. Groß-/Kleinschreibung und Leerzeichen dürfen nur ignoriert werden, wenn die Fachregel dies erlaubt. Protokollieren Sie Ausgangszeilen, eindeutige Zeilen und entfernte Einträge.
N-Gramme zeigen Wiederholung, aber weder Absicht noch Textqualität oder SEO-Erfolg. Kleine Stichproben verzerren Anteile; Segmentierung in Sprachen ohne Leerzeichen hängt von Browser-Sprachdaten ab. Lesen Sie Häufigkeiten immer im Originalkontext.
- Originalreihenfolge wiederherstellbar halten.
- Deduplizierungsschlüssel dokumentieren.
- Stichprobengröße mitberichten.
Formel, Zeitzone und Auswahlverfahren offenlegen
Prozentänderung, Prozentpunkte, Steuer und aufeinanderfolgende Rabatte sind verschiedene Rechnungen. Bei Nullbasis ist eine Prozentänderung undefiniert; aktuelle Steuer- und Rundungsregeln müssen aus offizieller Quelle kommen. Eine mathematische Ausgabe ist keine Steuer- oder Rechtsberatung.
Datum-Zeit ohne Offset verwendet die lokale Browserzone; Sommerzeit, Pausen und Lohnrundung können Ergebnisse ändern. Web Crypto kann eine starke Zufallsquelle liefern, aber doppelte oder unzulässige Einträge und Eingriffe nach der Auswahl bleiben Prozessfehler. Regulierte Ziehungen benötigen ein dokumentiertes unabhängiges Verfahren.