بهینه سازی فایل Robots.txt برای سئو

آیا می خواهید فایل Robots.txt را برای سئو بهینه سازی کنید؟ نمی دانید که چرا و چگونه فایل Robots.txt برای سئو مهم است؟ در این مقاله ما به شما نحوه بهینه سازی فایل robots.txt برای موتور های جستجو را آموزش می دهیم. و به شما کمک می کنیم تا اهمیت این فایل را درک کنید.

فایل robots.txt سایت شما نقش مهمی در عملکرد کلی سئو شما دارد. این فایل شما را قادر می سازد تا با موتورهای جستجو ارتباط برقرار کنید و به آن ها نشان دهید که چه بخشی از سایت شما را باید ایندکس کنند و چه بخشی را نباید ایندکس کنند.

آیا واقعا به فایل Robots.txt نیاز است؟

عدم وجود یک فایل robots.txt موتورهای جستجو را از خزیدن و نمایه سازی وب سایت شما متوقف نخواهد کرد. با این حال، بسیار توصیه می شود که این فایل را ایجاد کنید. اگر می خواهید نقشه سایت XML خود را به موتورهای جستجو نشان دهید، این جا وقتی است که باید از این فایل استفاده کنید، مگر آنکه آن را در Google Webmaster Tools مشخص کرده باشید. ما به شدت توصیه می کنیم اگر فایل robots.txt را در سایت خود ندارید، بلافاصله آن را ایجاد کنید.

فایل Robots.txt کجاست؟ چگونه یک فایل Robots.txt ایجاد کنیم؟

فایل robots.txt معمولا در روت هاست شما قرار دارد. و شما می توانید برای ویرایش و ایجاد آن از یک FTP یا با فایل منیجر کنترل پنل هاست خود اقدام کنید. این فایل درست مثل هر فایل متنی معمولی است و شما می توانید آن را با یک ویرایشگر متن ساده مانند Notepad باز کنید.

اگر هم فایل robots.txt را در روت هاست خود ندارید، می توانید به سادگی آن را ایجاد کنید. برای ایجاد این فایل یک فایل متنی جدید در رایانه خود ایجاد کنید و آن را به عنوان robots.txt ذخیره کنید. بعد، به سادگی آن را در روت هاست خود یا همان پوشه public_html آپلود کنید.

[irp posts=”816″ name=”تاثیر SSL در سئو و رتبه بندی سایت ، مزایا و معایب استفاده از SSL”]

چگونه از Robots.txt استفاده کنیم؟

محتوا فایل robots.txt در واقع بسیار ساده است. خط اول معمولا یک عامل کاربر نامیده می شود. عامل کاربر در واقع نام ربات جستجو است که شما در حال تلاش برای برقراری ارتباط با آن هستید. به عنوان مثال، Googlebot یا Bingbot. شما می توانید با استفاده از ستاره * با تمام ربات ها ارتباط برقرار کنید.

خط بعدی با دستورالعمل های مجاز یا غیرمجاز برای موتورهای جستجو دنبال می شود، بنابراین آنها می دانند که کدام قسمت ها را باید به فهرست خود اضافه کنند و کدامیک را نباید اضافه کنند.

نمونه ساده ای از فایل robots.txt :

User-Agent: *
Allow: /wp-content/uploads/
Disallow: /wp-content/plugins/
Disallow: /readme.html

در نمونه بالا به سادگی به تمام روبات ها گفتیم که می توانند به پوشه uploads در wp-content دسترسی داشته باشند اما اجازه دسترسی به پوشه plugins در wp-content را ندارند و همچنین اجازه ایندکس فایل readme.html را نیز ندارند.

چگونه به Robots.txt نقشه سایت XML را اضافه کنیم؟

برای اضافه کردن نقشه سایت یا همان sitemap به robots.txt می توانید به سادگی همانند نمونه زیر این کار را انجام دهید.

Sitemap: https://ariawp.com/sitemap_index.xml

چگونه یک Robots.txt ایده آل داشته باشیم؟

اگر شما می خواهید روبات ها به تمام قسمت های سایت شما دسترسی داشته باشند. می توانید از نمونه زیر استفاده کنید:

User-agent: *
Disallow:

Sitemap: https://ariawp.com/sitemap_index.xml

نمونه بالا یک نمونه ساده و پرطرفدار است. که شما می توانید از آن براحتی استفاده کنید.

یک نمونه از robots.txt که هم اکنون آریا وردپرس نیز از آن استفاده میکنند. به شرح زیر است:

User-agent: *
Allow: /wp-content/uploads/
Disallow: /wp-admin/
Disallow: /wp-content/plugins/
Disallow: /readme.html

Sitemap: https://ariawp.com/sitemap_index.xml

ما امیدواریم که این مقاله به شما کمک کرده باشد تا نحوه بهینه سازی فایل robots.txt خود را برای جستجوگرها یاد گرفته باشید.

امیرحسین غلامیان

نزدیک به 7 سال است که با وردپرس آشنا شدم و این آشنایی تا الان ادامه داشته و خواهد داشت. در حال حاضر مدیریت تیم آریا وردپرس رو بر عهده دارم و سعی میکنم هر روز تجربیاتم رو با شما در اینجا به اشتراک بگذارم.