این مسیر برای این ربات مجاز است؟ بررسی robots.txt و نقشهی سایت
فایل robots.txt به خزندههای موتورهای جستوجو میگوید کدام بخشهای سایت را نگردند. یک خط اشتباه میتواند کل سایت را از نتایج جستوجو بیرون بیندازد یا صفحهای را که نباید، در دسترس خزنده بگذارد. این ابزار robots.txt را میخواند و برای هر ربات و هر مسیر میگوید مجاز است یا مسدود و کدام قاعده در کدام سطر تصمیم را گرفته است.
میتوانید فایل را از دامنهی سایت دریافت کنید یا متنش را بچسبانید؛ نقشههای سایت (Sitemap) معرفیشده در فایل هم خلاصه میشوند. آزمون مسیرها کاملاً در مرورگر شما انجام میشود و فقط دریافت robots.txt و نقشهی سایت از سرور میگذرد.
فایل را بدهید
دامنه را بنویسید و «دریافت robots.txt» را بزنید، یا متن فایل را مستقیم در کادر بچسبانید.
ربات را انتخاب کنید
Googlebot، Bingbot، YandexBot یا «هر ربات دیگر» را بردارید، یا نام ربات دلخواه را بنویسید.
مسیر را بیازمایید
مسیری مثل /admin/page را بنویسید. نتیجه «مجاز است» یا «مسدود است» همراه با قاعده و شمارهی سطری است که تصمیم را گرفته.
نقشهی سایت را بررسی کنید
اگر فایل Sitemap معرفی کرده باشد، تعداد نشانیها و نشانیهای نامعتبر آن نمایش داده میشود.
گروه اختصاصی جای گروه عمومی را میگیرد
Googlebot گروه خودش را دارد که فقط /tmp/ را میبندد؛ پس قاعدههای گروه * برایش اعمال نمیشود و /admin/ برایش باز است.
User-agent: * Disallow: /admin/ Allow: /admin/public/ User-agent: Googlebot Disallow: /tmp/
نتیجه: مجاز است · هیچ قاعدهای با این مسیر نمیخواند؛ پیشفرض مجاز است.
Allow دقیقتر بر Disallow
برای Bingbot گروه * اعمال میشود؛ قاعدهی Allow طولانیتر است و بر Disallow پیروز میشود.
User-agent: * Disallow: /admin/ Allow: /admin/public/ User-agent: Googlebot Disallow: /tmp/
نتیجه: مجاز است با قاعدهی Allow: /admin/public/ در سطر ۳
مجاز است
هیچ قاعدهای با این مسیر نمیخواند؛ پیشفرض مجاز است.
گروه بهکاررفته: —
آزمون مسیرها کاملاً در مرورگر شما انجام میشود؛ فقط دریافت robots.txt و نقشهی سایت از سرور میگذرد و چیزی ذخیره نمیشود.