وظیفه فایل robots.txt جلوگیری از دسترسی ربات ها و خرنده های گوگل به برخی محتواهای خاص وبسایت شماست. […]