پرش به محتوای اصلی

راهنمای بازرس یونیکد

زمان مطالعه: ۳ دقیقه

این ابزار چیست؟

دو متن که کاملاً یکسان دیده می‌شوند ممکن است در جست‌وجو، مقایسه یا ورود به سایت با هم فرق کنند؛ معمولاً یک نویسه‌ی نامرئی، یک فاصله‌ی ویژه یا شکل دیگری از یک حرف در کار است. بازرس یونیکد متن را نویسه‌به‌نویسه باز می‌کند و برای هر کدام کدپوینت، بایت‌های UTF-8 و UTF-16، دسته‌ی یونیکد و نام انگلیسی‌اش را نشان می‌دهد.

نویسه‌های نامرئی با برچسب جدا مشخص می‌شوند و می‌توانید آن‌ها را با یک کلیک پاک کنید. برای مقایسه‌ی شکل‌های مختلف نوشتن یک نویسه، نرمال‌سازی یونیکد هم در دسترس است. همه‌چیز در مرورگر شما پردازش می‌شود.

گام‌به‌گام

  1. متن را بچسبانید

    متن، واژه، ایموجی یا هر نویسه‌ی مشکوکی را در کادر بگذارید. بالای جدول، شمار خوشه‌ها، کدپوینت‌ها، طول UTF-16 و بایت‌های UTF-8 را می‌بینید.

  2. جدول نویسه‌ها را بخوانید

    هر ردیف یک کدپوینت است. نویسه‌های نامرئی به‌جای شکل خالی با برچسبی مثل ZWNJ یا ZWSP نشان داده می‌شوند تا جایشان را ببینید.

  3. نرمال‌سازی را امتحان کنید

    یکی از شکل‌های NFC، NFD، NFKC یا NFKD را انتخاب کنید تا ببینید کدام نویسه‌ها تغییر می‌کنند. این کار برای پیدا کردن حرف‌های ترکیبی و شکل‌های سازگار مفید است.

  4. متن را پاک کنید

    در بخش «پاک‌سازی نویسه‌های نامرئی» تیک گروه‌هایی را که نمی‌خواهید بزنید. نیم‌فاصله به‌طور پیش‌فرض نگه داشته می‌شود، چون بخشی از نوشتار درست فارسی است. نتیجه را از «متن پاک‌سازی‌شده» کپی کنید.

نمونه‌های کاربردی

  • نیم‌فاصله در «می‌شود»

    واژه شش کدپوینت دارد و سومی نیم‌فاصله است؛ هر حرف فارسی دو بایت و نیم‌فاصله سه بایت UTF-8 می‌گیرد.

    می‌شود

    نتیجه: ۶ کدپوینت و ۱۳ بایت UTF-8؛ کدپوینت سوم U+200C است

  • فاصله‌ی نامرئی وسط کد تخفیف

    یک فاصله‌ی با پهنای صفر (ZWSP) بین «کد» و «تخفیف» پنهان شده و با تنظیم پیش‌فرض پاک‌سازی حذف می‌شود.

    کد​تخفیف ویژه

    نتیجه: کدتخفیف ویژه

  • ایموجی خانواده

    آنچه یک نویسه دیده می‌شود از چند کدپوینت ساخته شده که با اتصال‌دهنده‌ی پهنای صفر (ZWJ) به هم چسبیده‌اند.

    👨‍👩‍👧

    نتیجه: ۱ خوشه، ۵ کدپوینت، ۸ واحد UTF-16 و ۱۸ بایت UTF-8

اشتباه‌های رایج

  • پاک کردن همه‌ی نیم‌فاصله‌ها: در فارسی نیم‌فاصله نویسه‌ی درستی است و حذفش «می‌شود» را به «میشود» تبدیل می‌کند. فقط وقتی تیکش را بزنید که مطمئنید نیم‌فاصله‌ها اشتباهی‌اند.
  • حذف ZWJ از متنی که ایموجی دارد: ایموجی‌های ترکیبی مثل خانواده یا پرچم‌ها از هم باز می‌شوند. این گزینه به همین دلیل به‌طور پیش‌فرض خاموش است.
  • یکی دانستن طول متن در زبان‌های برنامه‌نویسی: جاوااسکریپت طول را با واحد UTF-16 می‌شمارد و پایگاه داده ممکن است با بایت بشمارد. برای محدودیت طول فیلد، ستون مناسب جدول را ببینید.
  • استفاده از NFKC برای ذخیره‌ی متن اصلی: این شکل برخی نویسه‌ها را با معادل ساده‌تر عوض می‌کند و برگشت‌پذیر نیست. برای مقایسه و جست‌وجو خوب است، برای نگه‌داشتن متن اصلی نه.

کدپوینت، خوشه و بایت

یونیکد به هر نویسه یک شماره می‌دهد که به آن کدپوینت می‌گویند و به شکل U+0627 نوشته می‌شود. آنچه کاربر یک نویسه می‌بیند، مثلاً یک ایموجی یا حرفی با اعراب، ممکن است از چند کدپوینت ساخته شده باشد؛ به این واحد دیداری خوشه می‌گویند.

هر کدپوینت هنگام ذخیره به بایت تبدیل می‌شود. در UTF-8 حروف لاتین یک بایت، حروف فارسی دو بایت و بسیاری از نشانه‌ها و ایموجی‌ها سه یا چهار بایت می‌گیرند. برای همین فیلدی که حد آن با بایت سنجیده می‌شود، با متن فارسی زودتر پر می‌شود.

پرسش‌های متداول

چرا طول متن با تعداد نویسه‌های دیده‌شده فرق دارد؟
یک نویسه‌ی دیداری (مثلاً ایموجی خانواده) می‌تواند از چند کدپوینت ساخته شود و هر کدپوینت در UTF-16 یک یا دو واحد و در UTF-8 تا چهار بایت جا می‌گیرد؛ اعداد کل همین تفاوت را نشان می‌دهند.
چرا نام بعضی نویسه‌ها نمایش داده نمی‌شود؟
برای کوچک ماندن ابزار فقط نام نویسه‌های لاتین، عربی و فارسی، شکل‌های ارائه‌ی عربی و علائم عمومی از فهرست رسمی یونیکد همراه شده است. دسته و بایت‌ها برای همه‌ی نویسه‌ها نمایش داده می‌شود.
پاک‌سازی چرا نیم‌فاصله را حذف نمی‌کند؟
نیم‌فاصله بخشی از املای فارسی است (مثلاً «می‌روم»)؛ پس به‌طور پیش‌فرض نگه داشته می‌شود و فقط با روشن‌کردن گزینه‌اش حذف می‌شود.

ابزارهای مرتبط