راهنمای آزمایشگر robots.txt و sitemap
زمان مطالعه: ۲ دقیقه
این ابزار چیست؟
فایل robots.txt به خزندههای موتورهای جستوجو میگوید کدام بخشهای سایت را نگردند. یک خط اشتباه میتواند کل سایت را از نتایج جستوجو بیرون بیندازد یا صفحهای را که نباید، در دسترس خزنده بگذارد. این ابزار robots.txt را میخواند و برای هر ربات و هر مسیر میگوید مجاز است یا مسدود و کدام قاعده در کدام سطر تصمیم را گرفته است.
میتوانید فایل را از دامنهی سایت دریافت کنید یا متنش را بچسبانید؛ نقشههای سایت (Sitemap) معرفیشده در فایل هم خلاصه میشوند. آزمون مسیرها کاملاً در مرورگر شما انجام میشود و فقط دریافت robots.txt و نقشهی سایت از سرور میگذرد.
گامبهگام
فایل را بدهید
دامنه را بنویسید و «دریافت robots.txt» را بزنید، یا متن فایل را مستقیم در کادر بچسبانید.
ربات را انتخاب کنید
Googlebot، Bingbot، YandexBot یا «هر ربات دیگر» را بردارید، یا نام ربات دلخواه را بنویسید.
مسیر را بیازمایید
مسیری مثل /admin/page را بنویسید. نتیجه «مجاز است» یا «مسدود است» همراه با قاعده و شمارهی سطری است که تصمیم را گرفته.
نقشهی سایت را بررسی کنید
اگر فایل Sitemap معرفی کرده باشد، تعداد نشانیها و نشانیهای نامعتبر آن نمایش داده میشود.
نمونههای کاربردی
گروه اختصاصی جای گروه عمومی را میگیرد
Googlebot گروه خودش را دارد که فقط /tmp/ را میبندد؛ پس قاعدههای گروه * برایش اعمال نمیشود و /admin/ برایش باز است.
User-agent: * Disallow: /admin/ Allow: /admin/public/ User-agent: Googlebot Disallow: /tmp/
نتیجه: مجاز است · هیچ قاعدهای با این مسیر نمیخواند؛ پیشفرض مجاز است.
Allow دقیقتر بر Disallow
برای Bingbot گروه * اعمال میشود؛ قاعدهی Allow طولانیتر است و بر Disallow پیروز میشود.
User-agent: * Disallow: /admin/ Allow: /admin/public/ User-agent: Googlebot Disallow: /tmp/
نتیجه: مجاز است با قاعدهی Allow: /admin/public/ در سطر ۳
اشتباههای رایج
- پنهان کردن صفحهی خصوصی با robots.txt: این فایل عمومی است و مسیرهایی که در آن مینویسید را همه میبینند؛ و صفحهی مسدود هم ممکن است از راه پیوندهای دیگر در نتایج بیاید. برای صفحهی خصوصی گذرواژه یا noindex بگذارید.
- Disallow: / روی سایت اصلی: این خط کل سایت را میبندد و معمولاً از سایت آزمایشی جا مانده است.
- انتظار اینکه گروه * برای همه اعمال شود: رباتی که گروه اختصاصی دارد، فقط همان گروه را میخواند. قاعدههای مشترک را در گروه اختصاصی هم تکرار کنید.
- فراموش کردن اسلش پایانی: Disallow: /admin همهی مسیرهایی را که با /admin شروع میشوند، مثل /administrator، هم میبندد.
کدام قاعده برنده است؟
ربات اول گروهی را پیدا میکند که دقیقترین نام User-agent را با خودش دارد و فقط قاعدههای همان گروه را میخواند؛ اگر چنین گروهی نباشد، گروه * را. در آن گروه، قاعدهای برنده است که بلندترین مسیر منطبق را دارد و اگر Allow و Disallow همطول باشند، Allow.
اگر هیچ قاعدهای با مسیر نخواند، مسیر مجاز است. این همان رفتاری است که در استاندارد RFC 9309 آمده و گوگل هم از آن پیروی میکند.
پرسشهای متداول
- قاعدهها با چه استانداردی سنجیده میشوند؟
- با RFC 9309 (همان که گوگل به کار میبرد): طولانیترین قاعدهی منطبق برنده است و در تساوی Allow برنده میشود؛ * و $ هم پشتیبانی میشوند.
- بدون اینترنت هم کار میکند؟
- اگر متن robots.txt را خودتان بچسبانید، بله؛ آزمون مسیرها کاملاً در مرورگر انجام میشود. فقط دریافت فایل از سایت به سرور نیاز دارد.
- Disallow یعنی صفحه در نتایج جستوجو نمیآید؟
- نه لزوماً؛ Disallow فقط خزیدن را منع میکند. برای بیرون ماندن از نتایج از noindex استفاده کنید.