فایل robots.txt چیست و چگونه می توانیم آن را بسازیم یا ویرایش کنیم؟
robots.txt یک فایل متنی است که وب مسترها، برای آموزش نحوه خزیدن (Crowl) ربات های وب (معمولاً ربات های موتور جستجو) در صفحات وب سایت خود، این فایل را ایجاد می کنند. پرونده robots.txt بخشی از پروتکل (REP) است. پروتکل (REP…
ادامه مطلب