راهنمای آزمایشگر مرتبسازی فارسی
زمان مطالعه: ۴ دقیقه
این ابزار چیست؟
فهرست شهرها را مرتب میکنید و «یزد» یکجا در وسط فهرست مینشیند و «یزد» دیگری ته آن؛ یا «۱۰ تیر» جلوتر از «۲ تیر» میآید. مرتبسازی فارسی روی رایانه چند تلهی آشنا دارد: دو نویسهی مختلف که یک شکل دارند، نیمفاصله، و ارقام فارسی که مثل متن مرتب میشوند.
این ابزار هر فهرست را همزمان سه بار مرتب میکند: با ترتیب خام کدپوینت، با Intl.Collator فارسی مرورگر، و پس از نرمالسازی. با مقایسهی کنار هم میبینید مشکل کجاست و کدام ترتیب برای کار شما درست است. کد آمادهی جاوااسکریپت، SQL و پایتون هم پایین صفحه هست.
گامبهگام
خطها را وارد کنید
هر مورد را در یک خط بنویسید یا بچسبانید. «نمونهی آماده» فهرستی پر از موارد مشکلدار میگذارد.
نوع مرتبسازی را انتخاب کنید
حالت خودکار اگر همهی خطها عدد باشند عددی و در غیر این صورت حرفی مرتب میکند؛ برای عبارتهایی مثل «۱۰ تیر» حالت ترکیبی را بزنید.
گزینههای نرمالسازی را تنظیم کنید
سه کلید تعیین میکنند «ی» و «ک» عربی با فارسی یکی حساب شوند، نیمفاصله نادیده گرفته شود و ارقام فارسی و لاتین برابر باشند.
سه ستون را مقایسه کنید
خروجی کدپوینت، Collator و نرمالشده کنار هم میآید و جدول پایین جایگاه هر خط را نشان میدهد؛ جایگاههای پررنگ با ترتیب نرمالشده فرق دارند.
کد معادل را بردارید
اگر ترتیب نرمالشده را میپسندید، قطعهکد زبان خودتان را کپی و در پروژهتان استفاده کنید.
نمونههای کاربردی
تاریخهای ناقص با ترتیب طبیعی
در حالت ترکیبی عدد داخل متن مثل یک عدد واقعی مقایسه میشود، پس «۲ تیر» پیش از «۱۰ تیر» میآید.
۱۰ تیر ۲ تیر ۱ تیر
نتیجه: ۱ تیر، ۲ تیر، ۱۰ تیر
شهرهایی با «ی» و «ک» عربی
فهرستی که بعضی شهرها را با نویسهی عربی دارد. ابزار تعداد این خطها و شمار خطهایی را که پس از نرمالسازی جابهجا میشوند میگوید.
يزد اصفهان یزد كرج کرج آبادان
نتیجه: ۲ خط نویسهی عربی دارد و جایگاه ۴ خط پس از نرمالسازی عوض میشود
اعداد فارسی با اعشار
وقتی همهی خطها عدد باشند، حالت خودکار آنها را بر پایهی مقدار مرتب میکند، نه بر پایهی ارقام.
۱۲ ۹ ۱۰۰ ۲٫۵
نتیجه: ۲٫۵، ۹، ۱۲، ۱۰۰
اشتباههای رایج
- اگر فهرست شما هم متن و هم عدد دارد و حالت خودکار آن را «حرفی» میبیند، «ترکیبی» را انتخاب کنید؛ در حالت حرفی «۱۰» پیش از «۲» میآید چون ارقام یکبهیک مقایسه میشوند.
- نتیجهی Collator به نسخهی مرورگر و دادگان ICU آن بستگی دارد و ممکن است روی دو دستگاه کمی فرق کند. اگر ترتیب باید دقیقاً ثابت باشد، آن را در سمت سرور یا پایگاهداده با یک Collation مشخص انجام دهید.
- نادیدهگرفتن نیمفاصله «میروم» و «میروم» را یکی میگیرد. اگر هر دو شکل در داده هست و میخواهید جدا بمانند، این کلید را روشن نکنید.
- نرمالسازی فقط کلید مقایسه را عوض میکند و متن شما را دستنخورده نگه میدارد. برای ذخیرهی دادهی تمیز باید نرمالساز متن را جداگانه روی خود داده اجرا کنید.
چرا مرتبسازی فارسی خراب میشود؟
رایانه متن را با شمارهی هر نویسه میشناسد. «ی» فارسی و ی عربی (با دو نقطهی زیر حرف) به چشم یکیاند، اما شمارهشان فرق دارد؛ همین برای «ک» فارسی و کاف عربی هم درست است. اگر مرتبسازی بر پایهی همین شمارهها باشد، کلمههایی که با نویسهی عربی نوشته شدهاند، همه با هم در جایی دور از کلمههای فارسی مینشینند.
Intl.Collator ترتیب الفبای فارسی را میداند، اما این دو نویسهی عربی را برابر فارسی نمیگیرد. بنابراین راه امن دو مرحله است: ابتدا داده را یکدست کنید، سپس با Collator مرتب کنید.
ترتیب طبیعی برای عدد و متن
در مرتبسازی حرفی «۱۰» پیش از «۲» میآید چون نخستین رقم «۱» کوچکتر از «۲» است. ترتیب طبیعی هر دنبالهی ارقام را یک عدد کامل میبیند و به همین دلیل «۲ تیر» را پیش از «۱۰ تیر» میگذارد؛ همان چیزی که یک انسان انتظار دارد. این ابزار ارقام فارسی و لاتین را هم یکی میگیرد، پس «۱۰» و «10» جدا حساب نمیشوند.
مرتبسازی در پایگاهداده
در پایگاهدادهها مرتبسازی به Collation ستون یا پرسوجو بستگی دارد. در PostgreSQL میتوان Collation فارسی مبتنی بر ICU را در همان پرسوجو تعیین کرد و در MySQL نسخهی هشت یک Collation فارسی آماده وجود دارد. قطعهکدهای پایین صفحه هر دو را نشان میدهند، بهعلاوهی یک دستور برای اصلاح نویسههای عربی موجود در جدول.
پرسشهای متداول
- چرا «ي» و «ك» عربی ترتیب را به هم میریزند؟
- «ي» (U+064A) و «ك» (U+0643) کدپوینتهایی جدا از «ی» (U+06CC) و «ک» (U+06A9) دارند. اگر دادهای با کیبورد یا منبع عربی وارد شده باشد، کلمههای ظاهراً یکسان در جای دیگری از فهرست مینشینند. راه درست نرمالسازی داده پیش از ذخیره و مرتبسازی است.
- ترتیب نتیجه روی همهی دستگاهها یکی است؟
- نه؛ Intl.Collator به دادهی ICU مرورگر یا Node شما بستگی دارد و ممکن است در نسخههای مختلف اندکی فرق کند. نتیجهی این صفحه همان است که مرورگر شما محاسبه میکند.
- متن من به سرور میرود؟
- نه؛ مرتبسازی کاملاً در مرورگر شما انجام میشود.