بهینه سازی فایل Robots.txt برای سئو

بهینه سازی فایل Robots.txt برای سئو

آیا می خواهید فایل Robots.txt را برای سئو بهینه سازی کنید؟ نمی دانید که چرا و چگونه فایل Robots.txt برای سئو مهم است؟ در این مقاله ما به شما نحوه بهینه سازی فایل robots.txt برای موتور های جستجو را آموزش می دهیم. و به شما کمک می کنیم تا اهمیت این فایل را درک کنید.

فایل robots.txt سایت شما نقش مهمی در عملکرد کلی سئو شما دارد. این فایل شما را قادر می سازد تا با موتورهای جستجو ارتباط برقرار کنید و به آن ها نشان دهید که چه بخشی از سایت شما را باید ایندکس کنند و چه بخشی را نباید ایندکس کنند.

آیا واقعا به فایل Robots.txt نیاز است؟

عدم وجود یک فایل robots.txt موتورهای جستجو را از خزیدن و نمایه سازی وب سایت شما متوقف نخواهد کرد. با این حال، بسیار توصیه می شود که این فایل را ایجاد کنید. اگر می خواهید نقشه سایت XML خود را به موتورهای جستجو نشان دهید، این جا وقتی است که باید از این فایل استفاده کنید، مگر آنکه آن را در Google Webmaster Tools مشخص کرده باشید. ما به شدت توصیه می کنیم اگر فایل robots.txt را در سایت خود ندارید، بلافاصله آن را ایجاد کنید.

فایل Robots.txt کجاست؟ چگونه یک فایل Robots.txt ایجاد کنیم؟

فایل robots.txt معمولا در روت هاست شما قرار دارد. و شما می توانید برای ویرایش و ایجاد آن از یک FTP یا با فایل منیجر کنترل پنل هاست خود اقدام کنید. این فایل درست مثل هر فایل متنی معمولی است و شما می توانید آن را با یک ویرایشگر متن ساده مانند Notepad باز کنید.

اگر هم فایل robots.txt را در روت هاست خود ندارید، می توانید به سادگی آن را ایجاد کنید. برای ایجاد این فایل یک فایل متنی جدید در رایانه خود ایجاد کنید و آن را به عنوان robots.txt ذخیره کنید. بعد، به سادگی آن را در روت هاست خود یا همان پوشه public_html آپلود کنید.

حتما بخوانید  تاثیر SSL در سئو و رتبه بندی سایت ، مزایا و معایب استفاده از SSL

چگونه از Robots.txt استفاده کنیم؟

محتوا فایل robots.txt در واقع بسیار ساده است. خط اول معمولا یک عامل کاربر نامیده می شود. عامل کاربر در واقع نام ربات جستجو است که شما در حال تلاش برای برقراری ارتباط با آن هستید. به عنوان مثال، Googlebot یا Bingbot. شما می توانید با استفاده از ستاره * با تمام ربات ها ارتباط برقرار کنید.

خط بعدی با دستورالعمل های مجاز یا غیرمجاز برای موتورهای جستجو دنبال می شود، بنابراین آنها می دانند که کدام قسمت ها را باید به فهرست خود اضافه کنند و کدامیک را نباید اضافه کنند.

نمونه ساده ای از فایل robots.txt :

User-Agent: *
Allow: /wp-content/uploads/
Disallow: /wp-content/plugins/
Disallow: /readme.html

در نمونه بالا به سادگی به تمام روبات ها گفتیم که می توانند به پوشه uploads در wp-content دسترسی داشته باشند اما اجازه دسترسی به پوشه plugins در wp-content را ندارند و همچنین اجازه ایندکس فایل readme.html را نیز ندارند.

چگونه به Robots.txt نقشه سایت XML را اضافه کنیم؟

برای اضافه کردن نقشه سایت یا همان sitemap به robots.txt می توانید به سادگی همانند نمونه زیر این کار را انجام دهید.

Sitemap: https://ariawp.com/sitemap_index.xml

چگونه یک Robots.txt ایده آل داشته باشیم؟

اگر شما می خواهید روبات ها به تمام قسمت های سایت شما دسترسی داشته باشند. می توانید از نمونه زیر استفاده کنید:

User-agent: *
Disallow:

Sitemap: https://ariawp.com/sitemap_index.xml

نمونه بالا یک نمونه ساده و پرطرفدار است. که شما می توانید از آن براحتی استفاده کنید.

یک نمونه از robots.txt که هم اکنون آریا وردپرس نیز از آن استفاده میکنند. به شرح زیر است:

User-agent: *
Allow: /wp-content/uploads/
Disallow: /wp-admin/
Disallow: /wp-content/plugins/
Disallow: /readme.html

Sitemap: https://ariawp.com/sitemap_index.xml

ما امیدواریم که این مقاله به شما کمک کرده باشد تا نحوه بهینه سازی فایل robots.txt خود را برای جستجوگرها یاد گرفته باشید.

امیرحسین غلامیان

نزدیک به 7 سال است که با وردپرس آشنا شدم و این آشنایی تا الان ادامه داشته و خواهد داشت. در حال حاضر مدیریت تیم آریا وردپرس رو بر عهده دارم و سعی میکنم هر روز تجربیاتم رو با شما در اینجا به اشتراک بگذارم.

10 دیدگاه

  1. کاربر
    shahin 25 خرداد 1398

    سلام در قالب آوادا و سایت چندین بار هکر سعی کرد وارد سایت بشه برای همین چون افزونه های امنیتی داخل سایت بود دسترسی پلاگین هارا برای روبات بستم ولی یکی از دسته های سایتم از رتبش چند پله پایین تر اومد فکر میکنم برای افزونه بولدر صفحه ساز است ببینید این دستور ها مناسب است
    2- فقط ایا افزونه یاست را هم ازاد بکنم دست رسیشو
    User-agent: *
    /Disallow: /wp-admin
    Disallow: /readme.html
    /Disallow: /wp-content/plugins
    /Allow: /wp-content/uploads
    Allow: /wp-admin/admin-ajax.php
    /Allow: /wp-content/plugins/fusion-builder
    /Allow: /wp-content/plugins/fusion-core
    /Allow: /wp-content/plugins/wp-schema-pro

    پاسخ
    • مدیریت
      امیرحسین غلامیان 27 خرداد 1398

      سلام، پیشنهاد میکنیم فقط از ساختار زیر استفاده کنید:
      User-agent: *
      Disallow: /wp-admin/
      قبلا پوشه plugins رو مسدود کردیم اما بیشتر به جای اینکه تاثیر مثبت بزاره تاثیر منفی میزاره.

      پاسخ
      • کاربر
        shahin 16 آذر 1398

        سلام
        در قسمت Page resources وب مستر گوگل ارور های زیادی برای plugins/fusion-builder/assets/js/min/general/fusion-video.js?ver=1

        plugins/fusion-core/js/min/avada-fusion-slider.js?ver=1

        و حدود 62 تا ارور داره من حس میکنم بهتره حساسیت نداشته باشم وبلاک نکنم این ارور هارا شما هم همین نظر را دارید ؟

        پاسخ
        • مدیریت
          امیرحسین غلامیان 17 آذر 1398

          سلام، بله. بهتره که پوشه افزونه ها رو بلاک نکنید.

          پاسخ
  2. کاربر
    shahin 17 اسفند 1397

    سلام بعد ایندیگس شدن سایتم و سوالاتی که از شما کردم همین نمونه دوم که در پایین سوال کردم وشما گفتید خوبه را قرار دادم حالا گوگل اخطار داده و خطای خزیدن میگیره برای این فایل wp-admin/admin-ajax.php

    ایا نیازی به این فایل هست بهتر نیست این را مجدد قرار دهم مثل اول ؟ شاید تاثییری داره که خود افزونه یاست هم در زمان ساخت ریبوت این فایل را قرار میده

    پاسخ
    • مدیریت
      امیرحسین غلامیان 18 اسفند 1397

      سلام، بعضی قالب ها یا پلاگین ها برای درخواست های آجاکسیشون ممکنه این فایل رو فراخوانی کرده باشن، اگر اخطار دریافت کردید میتونید این فایل رو در robots.txt آنبلاک کنید.

      پاسخ
  3. کاربر
    شاهین 26 بهمن 1397

    سلام، لطف کنید بگید به نظر شما از
    User-agent: *
    Allow: /wp-content/uploads/
    Disallow: /wp-admin/
    Disallow: /wp-admin/admin-ajax.php
    Disallow: /readme.html
    Disallow: /author
    Disallow: /author/*
    این دستور ها بهتره استفاده کنم
    User-agent: *
    Allow: /wp-content/uploads/
    Disallow: /wp-admin/
    Disallow: /readme.html
    Disallow: /author
    Disallow: /author/*
    اولی یا دومی؟
    2- اخرین سوال ایا فولدر پلاگین در قالب اوادا را برای ربات ببندیم مشکل با برقراری ارتباط بین دسته ها وکتیگوری پیدا نمیشه ؟

    پاسخ
    • مدیریت
      امیرحسین غلامیان 2 اسفند 1397

      با سلام و احترام، دومی بهتره استفاده بشه وقتی wp-admin رو بلاک کردید دیگر لازم نیست wp-admin/admin-ajax.php رو هم بلاک کنید. در ارتباط با سوال دومتون اینکار رو پیشنهاد نمیکنیم. چون اسکریپت بعضی پلاگین ها از این پوشه فراخوانی میشود.

      پاسخ
  4. کاربر
    shahin 3 آذر 1397

    خیلی عالی بود استفاده کردم

    پاسخ
  5. کاربر
    محمد 11 اسفند 1396

    سلام ممنون از مطلب خوبتون
    موفق باشید

    پاسخ

دیدگاهتان را بنویسید

نشانی ایمیل شما منتشر نخواهد شد. بخش‌های موردنیاز علامت‌گذاری شده‌اند *