(تعداد بازدید : 3801)

مزایای robots.txt و روش ساختن آن در وب سایت

سایت شما بی فایده می باشد اکر توسط موتور های جستجو ایندکس نشود.اگر می خواهید در نتایج جستجو دیده شوید ، باید به موتور های جستجو دسترسی داده شود. البته بعضی از مواقع احتیاج می باشد که قسمتی از وب سایت شما مانند اسناد خصوصی و صفحات غیر مرتبط قابل دسترسی نباشند.در این مقاله شما خواهید آموخت که چگونه مدیریت دسترسی برای موتور های جستجو را از طریق robots.txt  انجام دهید.

مزایای robots file 

قبل از اینکه به جزئیات چگونگی ایجاد یک فایل robots.txt و robots متا تگ بپردازیم ، باید نگاهی به مزایای آن بیندازیم .

1-جلوگیری از ایندکس شدن مطالب تکراری

متن های تکراری تلاش های شما برای سئو و نمایش در رتبه های بالای موتور های جستجو را کم رنگ خواهد کرد.استفاده از فایل robots  و برچسب با مسدود کردن صفحات تکراری می تواند مشکل را برطرف کند.


2-برای صفحات ناقص

اگر صفحه جدیدی را در وب سایت ایجاد کرده اید که هنوز ناقص می باشد با استفاده از فایل robots می توانید از ایندکس شدن آن صفحه در موتور های جستجو جلوگیری کنید تا زمانیکه آن صفحه را کامل کنید.

3-محدود کردن موتور های جستجو برای ایندکس کردن صفحات یا فایل های محرمانه

بعضی از وب سایت ها صفحات محرمانه ای دارند که آن را با استفاده از قرار دادن امکان login مسدود کرده اند.یک روش آسان برای مخفی کردن آن صفحات وب سایت از موتور های جستجو استفاده از فایل robots.txt می باشد.
اکنون ما می دانیم که به چه علت باید دسترسی موتور های جستجو را مدیریت کنیم.حالا زمان یاد گیری چگونگی انجام آن می باشد.

فایل robots.txt

خزنده ها می خواهند تا آنجاییکه ممکن می باشد وب سایت را ایندکس کنند ، مگر آنکه شما به آنها مطالبی را اطلاع بدهید.
زمانیکه خزنده وب سایت شما را بازدید می کند ،به دنبال robots.txt می گردد. این فایل به خزنده  دستورالعملی می دهد بابت اینکه کدام صفحات را ایندکس کن و کدام صفحات را نادیده بگیر.

با ایجاد فایل robots.txt شما می توانید از دسترسی موتور های جستجو به برخی از قسمت های وب سایتتان جلوگیری کنید.
فایل robots.txt  در مسیر دایرکتوری وب سایت شما قرار می گیرد.به طور مثال : www.yoursite.com/robots.txt
هشدار: اگر شما فایل robots.txt را به سایت خود اضافه کرده اید ، لطفا" چندین بار آن را چک کنید .احیانا" ممکن است سهوا" دسترسی خزنده ها را به صفحات مهم وب سایت خود بسته باشید.

ساختن robots.txt

Robots.txt یک فایل متنی ساده می باشد با  چند رکورد.هر رکورد شامل دو بخش می باشد: user-agent و disallow
بخش user-agent مشخص می کند که کدام خزنده ها باید از اطلاعات disallow استفاده کنند.بخش disallow مشخص می کند که خزنده های مجاز کدام بخش از وب سایت را نمی توانند ایندکس کنند.

تاریخ: ۱۳۹۲/۰۴/۰۳
© تمامی حقوق مادی و معنوی این وب سایت به شرکت توسعه نرم افزاری پارسیان مهر تعلق دارد.
تهیه و تنظیم توسط پارسیان مهر - by parsian mehr