بدون دسته بندی

Robot.txt file چیست؟


Robots.txt یک فایل متنی است که مدیران وب یا وب مستران برای راهنمایی ربات‌های وب (به طور معمول ربات‌های موتور جستجو) ایجاد می‎کنند. فایل robots.txt بخشی از پروتکل خروج ربات‌ها (REP) است، این پروتکل شامل گروهی از استانداردهای وب است که نحوه خزیدن وب ، دسترسی و فهرست بندی محتوای ربات‌ها را تنظیم می‌کنند و این مطالب را به کاربران ارائه می‌دهند. REP همچنین شامل دستورالعمل‌هایی مانند ربات‌های متا، و همچنین دستورالعمل‌های صفحه، زیرشاخه- یا سایت در مورد چگونگی رفتار موتورهای جستجو با لینک‌ها است (مانند "follow" یا "nofollow").


انجمن تخصصی وب هاستینگ ایران
جهت کسب اطلاعات بیشتر و دریافت پاسخ به انجمن تخصصی وب هاستینگ ایران مراجعه نمایید

نوشته های مشابه

دیدگاهتان را بنویسید

نشانی ایمیل شما منتشر نخواهد شد. بخش‌های موردنیاز علامت‌گذاری شده‌اند *

یازده − 6 =

همچنین ببینید
بستن
دکمه بازگشت به بالا
WhatsApp chat