Search
Generic filters
Exact matches only
فایل robots.txt چیست؟

وظیفه فایل robots.txt جلوگیری از دسترسی ربات ها و خرنده های گوگل به برخی محتواهای خاص وبسایت شماست. شاید خیلی از شما از خودتون بپرسید که چرا ما باید اجازه ندیم که گوگل به محتوای صفحات سایت ما دسترسی داشته باشه و ما باید از خدامون باشه که گوگل صفحات سایت ما رو تو نتایج جستجوش بیاره و از این طریق ما کلیک های بیشتری از گوگل بگیریم!

تو این پست قصد داریم به این موضوع اشاره کنیم و قبل از این که بگیم robots.txt چیست و چه کاربردی داره، به این موضوع خواهیم پرداخت که اصلا چرا باید از قایل robots.txt استفاده کنیم؟

 

چرا باید از فایل robots.txt استفاده کنیم؟

موتور جستجوی گوگل برای پیدا کردن و ایندکس کردن صفحات وب‌سایت‌ها از ربات‌های مختلف استفاده می کنه که بهشون Crawler ها یا خزنده های گوگل هم میگن.

این ربات ها با خزیدن در صفحه های وب اطلاعات مربوط به صفحات مختلف رو به دست آورده و برای موتور جستجو ارسال می‌کنند.

با این وجود بعضی از وبمستر ها علاقه ای ندارند که بعضی از صفحات وبسایتشون که اهمیتی نداره تو گوگل ایندکس بشه و میخوان یه جوری به ربات های گوگل بفهمونن که این صفحات رو ایندکس نکن!

خب حالا ما برای این که به گوگل بفهمونیم که بعضی از صفحات سایتمون نباید ایندکس بشن و ارزش ایندکس شدن هم ندارند از فایل robots.txt استفاده می کنیم که یه فایل متنی هست که شما یه سری کد ها رو توش وارد می کنید و توی اون کد ها به صفحاتی که نباید ایندکس بشن اشاره می کنید.

 

فایل robots.txt از چه آدرسی قابل مشاهده است؟

اکثر سایت های معروفی که شما تو فضای اینترنت می بینید از فایل robots.txt و مزایا و ویژگی هایی که این فایل داره استفاده می کنند از دیجی کالا گرفته تا خود سایت پرتقالی ها!

برای دسترسی به فایل robots.txt سایت های مختلف و آنالیز اون ها کافیه که به آخر دامین سایت مورد نظرتون “robots.txt/” رو اضافه کنید.

 

آشنایی با دستورات فایل robots.txt و معنی آن ها

آشنایی با دستورات فایل robots.txt

برای این که از قابلیت های فایل robots.txt برای سئوی وب‌سایت خودتون استفاده کنید، به تخصص در کدنویسی ندارید و استفاده از کد های پیچیده نیازی ندارید. ما تو همین پست بهتون انواع کد هایی که نیاز دارید رو آموزش می دیم و شما با مطالعه کامل این پست قادر خواهید بود که فایل robots.txt سایت خودتون رو در بهینه ترین حالت ایجاد کنید.

دستورات فایل robots.txt به 3 بخش کلی تقسیم می شوند:

  1. User-agent
  2. Disallow
  3. Allow

 

دستور User-agent

همونطور که قبلا هم اشاره کردیم، گوگل از خزنده ها و ربات های مختلفی برای پیدا کردن و ایندکس کردن صفحات سایت های مختلف استفاده می کنه. شما قبل از نوشتن فایل robots.txt باید مشخص کنید که کدوم ربات گوگل نباید وبسایت شما رو بررسی کنه. با این حال، معمولا اکثر وبسایت ها همه ربات های گوگل رو هدف قرار میدن و به همه این ربات ها مثل هم دستور میدن.

  • پیشنهاد میکنیم که شما هم همینکارو انجام بدید، مخصوصا اگه در این زمینه مبتدی هستید.

اگه خواستید که به تمام ربات‌های خزنده مثل هم دستور بدید، کافیه که بعد از عبارت User-agent از علامت “*” استفاده کنید. مثلا اینطوری:

User-agent: *

ولی اگه تمایل داشتید که فقط به یه ربات خزنده گوگل دستور بدید مثل دستور زیر اقدام کنید:

User-agent: Googlebot Images

دستور بالا فقط ربات خزنده مربوط به تصاویر گوگل رو مورد خطاب قرار میده.

لیست همه User agent ها و ربات های گوگل رو میتونید از این لینک مشاهده کنید.

 

دستور Disallow

از دستور Disallow برای محدود کردن صفحاتی خاص از وبسایت استفاده می شه. اگه تمایل دارید که بعضی از صفحات سایت شما که ارزش بالایی ندارند تو گوگل ایندکس نشن باید از این دستور استفاده کنید.

فرض کنید که سایت شما یه بخش دانلود هم داره که شما نمیخواید تو گوگل ایندکس بشه. در این صورت شما باید از یه کدی مثل کد زیر استفاده کنید.

User-agent: *
Disallow: /dl

این دستور به این معنا هست که همه صفحات سایت شما ایندکس بشن به جز صفحاتی که آدرس اون ها با dl شروع شده اند.

 

دستور Allow

از دستور Allow نیز برای این استفاده میشه که به ربات گوگل اجازه دسترسی به یه فایلی که داخل پوشه ای که Disallow شده رو بدید. برای توضیح بیشتر یه مثال میزنیم:

فرض کنید که شما پوشه dl رو محدود کردید و ربات خزنده گوگل اجازه دسترسی بهش رو نداره. حالا یه فایلی داخل پوشه dl به نام porteghal هست که شما تمایل دارید که توی گوگل ایندکس بشه برای این کار از این کد استفاده می شه:

User-agent: *
Disallow: /dl
Allow: /dl/porteghal

 

نحوه ساخت فایل robots.txt

برای ساخت فایل robots.txt باید ابتدا کد مورد نظرتون رو توی نرم افزار notepad تایپ و آماده کنید و سپس این فایل رو با نام “robots.txt” ذخیره کنید.

حالا باید این فایل رو توی توی صفحه اصلی سایت از طریق هاست آپلود کنید. برای این کار مطابق تصویر زیر به بخش File Manager هاست cPanel برید.

بخش فایل منیجر در هاست CPanel

سپس وارد پوشه Public html شوید.

پوشه public html در هاست CPanel

پس از وارد شدن به این پوشه با یه سری فایل روبرو خواهید شد که این فایل ها در مسیر اصلی سایت شما وجود دارند. حالا شما باید فایل robots.txt رو در همین صفحه و مطابق با تصویر زیر آپلود کنید.

نصب وردپرس فارسی روی هاست cpanel

در این بخش باید فایل robots.txt رو از هارد دیسک خودتون و جایی که ذخیره ش کردید انتخاب کنید و با اتمام این کار، شما تونستید که فایل robots.txt رو با موفقیت ایجاد کنید.

 

اگه بخوایم مطالبی که گفته شد رو جمع بندی کنیم، باید بگیم که یکی از مواردی که در سئو سایتتون حتما باید انجامش بدین اینه که اجازه ندید که گوگل صفحاتی که اهمیت زیادی ندارند رو ندارند رو ایندکس کنه و در نتایج جستجوی خودش بیاره. گوگل همیشه تمایل داره صفحاتی که در نتایج جستجو آورده میشوند، صفحاتی مفید و با ارزش باشند و اگه شما تو سایتتون صفحاتی دارید که ارزش ایندکس شدن ندارند و یا به اندازه کافی مفید نیستند حتما باید به گوگل بفهمونید که این صفحات رو ایندکس نکنه که یکی از روش هایی که برای این کار وجود داره استفاده از فایل robots.txt هست.

  • البته برای این کار میتونید از تگ noindex هم استفاده کنید که به زودی یه آموزش هم درباره این موضوع توی سایتمون خواهیم گذاشت.

 

407 بازدید

امتیاز دهی کاربران
5 (1 رای)

دیدگاه بگذارید

avatar
  پیوستن  
خبرم کن
ورود
ما همه جا کنار شما هستیم...