AI टेक्स्ट क्लीनर

गणना कैसे होती है

छिपे अक्षर उसी कोड तालिका से खोजे जाते हैं जो अदृश्य अक्षर डिटेक्टर में है। शून्य चौड़ाई वाली खाली जगहें और शब्द जोड़ने वाले (U+200B, U+2060, U+FEFF, सॉफ़्ट हाइफ़न), दिशा चिह्न और ओवरराइड (U+202A से U+202E, U+2066 से U+2069), यूनिकोड टैग अक्षर और कंट्रोल अक्षर हटाए जाते हैं। नॉन-ब्रेकिंग, पतली और आइडियोग्राफ़िक खाली जगहें सामान्य खाली जगह बन जाती हैं। शून्य चौड़ाई वाले जोड़क और वेरिएशन सेलेक्टर रहने दिए जाते हैं क्योंकि इमोजी और कुछ लिपियों को उनकी ज़रूरत है।

टेढ़े इकहरे और दोहरे उद्धरण चिह्न (‘ ’ “ ”, निचले और प्राइम रूप सहित) ' और " से बदले जाते हैं। 「」 और « » जैसी दूसरी शैलियाँ जैसी हैं वैसी रहती हैं।

लंबा डैश (U+2014) और क्षैतिज पट्टी को अल्पविराम व खाली जगह से, या दोनों ओर खाली जगह वाले हाइफ़न से बदला जाता है। 10–20 जैसे दायरों में छोटे डैश बने रहते हैं।

Markdown सफ़ाई **बोल्ड**, __बोल्ड__, *इटैलिक*, _इटैलिक_ और ~~कटे~~ के चिह्न, शीर्षक के #, सूची चिह्न (- * + •), उद्धरण का > और क्षैतिज रेखाएँ हटाकर पाठ रखती है। क्रमांकित सूचियाँ, लिंक और कोड को नहीं छुआ जाता। शब्दों के भीतर या संख्याओं के बीच के तारे (2*3*4) और snake_case नाम भी नहीं बदलते।

पंक्ति के भीतर बार-बार आई खाली जगह और टैब एक खाली जगह बन जाते हैं, पंक्ति के अंत की खाली जगह हटती है; इंडेंटेशन रहता है। लगातार खाली पंक्तियाँ एक हो जाती हैं और शुरू-अंत की खाली पंक्तियाँ हटा दी जाती हैं। बदलावों की संख्या सभी प्रतिस्थापनों का योग है।