بهینه سازی فایل Robots.txt برای سئو

بهینه سازی فایل Robots.txt برای سئو

آیا می خواهید فایل Robots.txt را برای سئو بهینه سازی کنید؟ نمی دانید که چرا و چگونه فایل Robots.txt برای سئو مهم است؟ در این مقاله ما به شما نحوه بهینه سازی فایل robots.txt برای موتور های جستجو را آموزش می دهیم. و به شما کمک می کنیم تا اهمیت این فایل را درک کنید.

فایل robots.txt سایت شما نقش مهمی در عملکرد کلی سئو شما دارد. این فایل شما را قادر می سازد تا با موتورهای جستجو ارتباط برقرار کنید و به آن ها نشان دهید که چه بخشی از سایت شما را باید ایندکس کنند و چه بخشی را نباید ایندکس کنند.

آیا واقعا به فایل Robots.txt نیاز است؟

عدم وجود یک فایل robots.txt موتورهای جستجو را از خزیدن و نمایه سازی وب سایت شما متوقف نخواهد کرد. با این حال، بسیار توصیه می شود که این فایل را ایجاد کنید. اگر می خواهید نقشه سایت XML خود را به موتورهای جستجو نشان دهید، این جا وقتی است که باید از این فایل استفاده کنید، مگر آنکه آن را در Google Webmaster Tools مشخص کرده باشید. ما به شدت توصیه می کنیم اگر فایل robots.txt را در سایت خود ندارید، بلافاصله آن را ایجاد کنید.

فایل Robots.txt کجاست؟ چگونه یک فایل Robots.txt ایجاد کنیم؟

فایل robots.txt معمولا در روت هاست شما قرار دارد. و شما می توانید برای ویرایش و ایجاد آن از یک FTP یا با فایل منیجر کنترل پنل هاست خود اقدام کنید. این فایل درست مثل هر فایل متنی معمولی است و شما می توانید آن را با یک ویرایشگر متن ساده مانند Notepad باز کنید.

اگر هم فایل robots.txt را در روت هاست خود ندارید، می توانید به سادگی آن را ایجاد کنید. برای ایجاد این فایل یک فایل متنی جدید در رایانه خود ایجاد کنید و آن را به عنوان robots.txt ذخیره کنید. بعد، به سادگی آن را در روت هاست خود یا همان پوشه public_html آپلود کنید.

حتما بخوانید  تاثیر SSL در سئو و رتبه بندی سایت ، مزایا و معایب استفاده از SSL

چگونه از Robots.txt استفاده کنیم؟

محتوا فایل robots.txt در واقع بسیار ساده است. خط اول معمولا یک عامل کاربر نامیده می شود. عامل کاربر در واقع نام ربات جستجو است که شما در حال تلاش برای برقراری ارتباط با آن هستید. به عنوان مثال، Googlebot یا Bingbot. شما می توانید با استفاده از ستاره * با تمام ربات ها ارتباط برقرار کنید.

خط بعدی با دستورالعمل های مجاز یا غیرمجاز برای موتورهای جستجو دنبال می شود، بنابراین آنها می دانند که کدام قسمت ها را باید به فهرست خود اضافه کنند و کدامیک را نباید اضافه کنند.

نمونه ساده ای از فایل robots.txt :

در نمونه بالا به سادگی به تمام روبات ها گفتیم که می توانند به پوشه uploads در wp-content دسترسی داشته باشند اما اجازه دسترسی به پوشه plugins در wp-content را ندارند و همچنین اجازه ایندکس فایل readme.html را نیز ندارند.

چگونه به Robots.txt نقشه سایت XML را اضافه کنیم؟

برای اضافه کردن نقشه سایت یا همان sitemap به robots.txt می توانید به سادگی همانند نمونه زیر این کار را انجام دهید.

چگونه یک Robots.txt ایده آل داشته باشیم؟

اگر شما می خواهید روبات ها به تمام قسمت های سایت شما دسترسی داشته باشند. می توانید از نمونه زیر استفاده کنید:

نمونه بالا یک نمونه ساده و پرطرفدار است. که شما می توانید از آن براحتی استفاده کنید.

یک نمونه از robots.txt که هم اکنون آریا وردپرس نیز از آن استفاده میکنند. به شرح زیر است:

ما امیدواریم که این مقاله به شما کمک کرده باشد تا نحوه بهینه سازی فایل robots.txt خود را برای جستجوگرها یاد گرفته باشید.

امیرحسین غلامیان

نزدیک به 7 سال است که با وردپرس آشنا شدم و این آشنایی تا الان ادامه داشته و خواهد داشت. در حال حاضر مدیریت تیم آریا وردپرس رو بر عهده دارم و سعی میکنم هر روز تجربیاتم رو با شما در اینجا به اشتراک بگذارم.

۱۰ دیدگاه

  1. مشتری
    shahin ۲۵ خرداد ۱۳۹۸

    سلام در قالب آوادا و سایت چندین بار هکر سعی کرد وارد سایت بشه برای همین چون افزونه های امنیتی داخل سایت بود دسترسی پلاگین هارا برای روبات بستم ولی یکی از دسته های سایتم از رتبش چند پله پایین تر اومد فکر میکنم برای افزونه بولدر صفحه ساز است ببینید این دستور ها مناسب است
    ۲- فقط ایا افزونه یاست را هم ازاد بکنم دست رسیشو
    User-agent: *
    /Disallow: /wp-admin
    Disallow: /readme.html
    /Disallow: /wp-content/plugins
    /Allow: /wp-content/uploads
    Allow: /wp-admin/admin-ajax.php
    /Allow: /wp-content/plugins/fusion-builder
    /Allow: /wp-content/plugins/fusion-core
    /Allow: /wp-content/plugins/wp-schema-pro

    پاسخ
    • مشتری
      امیرحسین غلامیان ۲۷ خرداد ۱۳۹۸

      سلام، پیشنهاد میکنیم فقط از ساختار زیر استفاده کنید:
      User-agent: *
      Disallow: /wp-admin/
      قبلا پوشه plugins رو مسدود کردیم اما بیشتر به جای اینکه تاثیر مثبت بزاره تاثیر منفی میزاره.

      پاسخ
      • مشتری
        shahin ۱۶ آذر ۱۳۹۸

        سلام
        در قسمت Page resources وب مستر گوگل ارور های زیادی برای plugins/fusion-builder/assets/js/min/general/fusion-video.js?ver=1

        plugins/fusion-core/js/min/avada-fusion-slider.js?ver=1

        و حدود ۶۲ تا ارور داره من حس میکنم بهتره حساسیت نداشته باشم وبلاک نکنم این ارور هارا شما هم همین نظر را دارید ؟

        پاسخ
        • مشتری
          امیرحسین غلامیان ۱۷ آذر ۱۳۹۸

          سلام، بله. بهتره که پوشه افزونه ها رو بلاک نکنید.

          پاسخ
  2. مشتری
    shahin ۱۷ اسفند ۱۳۹۷

    سلام بعد ایندیگس شدن سایتم و سوالاتی که از شما کردم همین نمونه دوم که در پایین سوال کردم وشما گفتید خوبه را قرار دادم حالا گوگل اخطار داده و خطای خزیدن میگیره برای این فایل wp-admin/admin-ajax.php

    ایا نیازی به این فایل هست بهتر نیست این را مجدد قرار دهم مثل اول ؟ شاید تاثییری داره که خود افزونه یاست هم در زمان ساخت ریبوت این فایل را قرار میده

    پاسخ
    • مشتری
      امیرحسین غلامیان ۱۸ اسفند ۱۳۹۷

      سلام، بعضی قالب ها یا پلاگین ها برای درخواست های آجاکسیشون ممکنه این فایل رو فراخوانی کرده باشن، اگر اخطار دریافت کردید میتونید این فایل رو در robots.txt آنبلاک کنید.

      پاسخ
  3. مشتری
    شاهین ۲۶ بهمن ۱۳۹۷

    سلام، لطف کنید بگید به نظر شما از
    User-agent: *
    Allow: /wp-content/uploads/
    Disallow: /wp-admin/
    Disallow: /wp-admin/admin-ajax.php
    Disallow: /readme.html
    Disallow: /author
    Disallow: /author/*
    این دستور ها بهتره استفاده کنم
    User-agent: *
    Allow: /wp-content/uploads/
    Disallow: /wp-admin/
    Disallow: /readme.html
    Disallow: /author
    Disallow: /author/*
    اولی یا دومی؟
    ۲- اخرین سوال ایا فولدر پلاگین در قالب اوادا را برای ربات ببندیم مشکل با برقراری ارتباط بین دسته ها وکتیگوری پیدا نمیشه ؟

    پاسخ
    • مشتری
      امیرحسین غلامیان ۲ اسفند ۱۳۹۷

      با سلام و احترام، دومی بهتره استفاده بشه وقتی wp-admin رو بلاک کردید دیگر لازم نیست wp-admin/admin-ajax.php رو هم بلاک کنید. در ارتباط با سوال دومتون اینکار رو پیشنهاد نمیکنیم. چون اسکریپت بعضی پلاگین ها از این پوشه فراخوانی میشود.

      پاسخ
  4. مشتری
    shahin ۳ آذر ۱۳۹۷

    خیلی عالی بود استفاده کردم

    پاسخ
  5. مشتری
    محمد ۱۱ اسفند ۱۳۹۶

    سلام ممنون از مطلب خوبتون
    موفق باشید

    پاسخ

پاسخی بگذارید

نشانی ایمیل شما منتشر نخواهد شد. بخش‌های موردنیاز علامت‌گذاری شده‌اند *