ساخت robots.txt گامی مهم برای ایندکس بهتر مطالب و سئوی سایت

ساخت robots.txt گامی مهم برای ایندکس مطالب و سئوی سایت

یکی از مهمترین و ابتدایی ترین اقدامات برای سئوی سایت و ایندکس شدن بهتر مطالب سایت، ساخت فایل روبات.تی اکس تی هست ربات موتورهای جستجو برای بررسی ابتدا به ربات سایت شما سر میزنند ربات سایتتان باید دارای ادرس نقشه ی سایتتان باشد ربات سایت پیش فرض ترین کار برای ایندکس مطالب سایتتان در موتورهای جستجو هست، معمولا سایت های وردپرسی بطور پیشفرض این فایل را دارا هستند ولی برای تست این موضوع میتوانید ادرس وبسایت خود را تایپ کنید سپس اسلش زده و در ادامه آن robots.txt تایپ کنید برای مثال برای مشاهده ربات سایت یورفان ادرس yourfun.ir/robots.txt را وارد کنید، اکنون این عبارت در ربات سایت یورفان مشاهده خواهید کرد:

User-agent: *

Disallow: /wp-admin/

Sitemap: http://yourfun.ir/sitemap.xml

که ما در اینجا آدرش نقسه سایت را در ربات قرار داده ایم و همچنین با عبارت Disallow اجازه دسترسی رباتهای موتورهای جستجو را به فایل های خصوصی وردپرس سایت را نداده ایم شما نیز باید در قسمت مدیریت هاست خود یک پوشه بانام robots.txt ایجاد کنید و سپس دستورات مربوطه را تایپ کنید در صورتی که میخواهید ربات خود را تست کنید به قسمت carwl از وبمستر تولز گوگل رفته و بر روی robots.txt tester کلیک کنید تا مطمئن شوید که ربات خود را به درستی به گوگل معرفی کرده اید. توجه داشته باشید با برخی دستورات از جمله Dissallow:/wp-content اجاره دسترسی به فایل های آپلود شده سایت خود را به ربات های گوگل نمی دهید که بااین کار سئو سایت شما با یک دستور به هم میریزد و ووردی گوگل شما را تحت تاثیر قرار میدهد پس در ساخت ربات سایت خود دقت کافی داشته باشید.