نحوه بهینه سازی فایل Robots.txt برای سئو

فایل Robots.txt

نحوه بهینه سازی فایل Robots.txt برای سئو – Robots.txt یک فایل متنی است که وظیفه آن محدود کردن دسترسی روبات های گوگل و سایر موتورهای جستجو به محتویات سایت شماست. صاحبان وب سایت ها می توانند تعیین کنند که موتورهای جستجو چگونه به ایندکس صفحات بپردازند.

فایل robots.txt چیست؟

این فایل معمولا در دایرکتوری ریشه ذخیره می شود که به عنوان پوشه اصلی وب سایت شما شناخته می شود.

فرمت اصلی فایل فایل robots.txt به صورت زیر است:


User-agent: [user-agent name]
Disallow: [URL string not to be crawled]
 
User-agent: [user-agent name]
Allow: [URL string to be crawled]
 
 
Sitemap: [URL of your XML Sitemap]

شما می توانید خطوط مختلفی از دستورالعمل ها را برای اجازه دادن یا رد آدرس های خاص و اضافه کردن چند نقشه سایت اضافه کنید. اگر نشانی اینترنتی را رد نکنید، موتورهای جستجو فرض می کنند که مجاز به ردیابی و ایندکس آن هستند.

در زیر یک فایل نمونه robots.txt را می توانید مشاهده کنید:


User-Agent: *
Allow: /wp-content/uploads/
Disallow: /wp-content/plugins/
Disallow: /wp-admin/
 
Sitemap: https://example.com/sitemap_index.xml

در مثال بالا ما به موتورهای جستجو اجازه دادیم تا به فایل های موجود در پوشه upload وردپرس دسترسی داشته باشند.
پس از آن، مانع دسترسی رباتهای جستجو به پوشه . wp-admin و افزونه ها شده ایم و اجازه ایندکس شدن را به این پوشه نداده ایم.
در خط آخر نیز ، ما ادرس های نقشه سایت XML را ارائه دادیم.

نحوه ایجاد فایل robots.txt در وردپرس

دو راه برای ایجاد یک فایل robots.txt در وردپرس وجود دارد.

شما می توانید هر کدام از این روش هایی که برای شما مناسب است، را انتخاب کنید.

روش 1: ویرایش فایل Robots.txt با استفاده از افزونه Yoast SEO

اگر از افزونه Yoast SEO استفاده می کنید، می توانید از آن برای ایجاد و ویرایش فایل robots.txt به طور مستقیم از پنل مدیریت وردپرس خود استفاده کنید.
به سادگی به مسیر سئو » ابزار مراجعه کنید و روی لینک ویرایشگر فایل کلیک کنید.

در صفحه بعد، صفحه جستجو Yoast SEO فایل فعلی robots.txt خود را نشان می دهد.اگر شما فایل robots.txt ندارید، Yoast SEO یک فایل robots.txt برای شما ایجاد می کند.

سئو یواست به طور پیش فرض، کدها و قوانین زیر را در فایل robots.txt اضافه می کند:


User-agent: *
Disallow: /

 

مهم است که این متن را حذف کنید چون همه موتورهای جستجو را از خزیدن وب سایت شما مسدود می‌کند.

پس از حذف متن پیش فرض، می توانید قوانین خود را اضافه کنید.توصیه میکنیم از قالب ایده الی که در بالا برای شما ارودیم استفاده کنید
پس از اتمام کار، فراموش نکنید که دکمه ذخیره فایل robots.txt را فشار دهید تا تغییرات خود را ذخیره کند.

روش 2. ویرایش فایل Robots.txt بصورت دستی با استفاده از FTP

در این روش، شما نیاز به استفاده از یک سرویس گیرنده FTP برای ویرایش فایل robots.txt دارید.
به راحتی به حساب کاربری میزبانی وردپرس خود با استفاده از یک سرویس گیرنده FTP متصل شوید.
شما قادر خواهید بود فایل robots.txt را در پوشه ریشه ی وب سایت خود ببینید.

اگر شما این فایل را پیدا نمی کنید، احتمالا فایل robots.txt ندارید.

پس شما باید این فایل را ایجاد کنید.

Robots.txt یک فایل متنی ساده است بدین معنی که شما می توانید آن را دانلود کنید و آن را با استفاده از هر ویرایشگر ساده متن مانند Notepad یا TextEdit ویرایش کنید.
پس از ذخیره تغییرات، می توانید آن را به پوشه ریشه ی وب سایت خود آپلود کنید.

چگونه فایل Robots.txt را تست کنیم؟

هنگامی که robots.txt خود را ایجاد کرده اید، میتوانید آن را با استفاده از یک ابزار تستر robots.txt تست کنید.
ابزارهای تستر robots.txt زیادی وجود دارد، اما ما توصیه می کنیم از Google Search Console استفاده کنید.
به سادگی به حساب Google Search Console خود وارد شوید و سپس به وبسایت کنسول جستجوی گوگل قدیمی بروید.

سپس شما برای تست باید از منوی Crawl ، robots.txt tester را انتخاب کنید.

 

این ابزار به طور خودکار robots.txt وبسایت شما را برداشته و خطاها و هشدارها را در صورت بروز هر گونه خطا نشان می دهد.

 

امیدواریم از خواندن این مقاله لذت برده باشید.

نظرات خود را با ما به اشتراک بگذارید.

منتظر مقالات بیشتر در ماهدیس وب باشید.

ارسال دیدگاه

نشانی ایمیل شما منتشر نخواهد شد. بخش‌های موردنیاز علامت‌گذاری شده‌اند *

کد امنیتی Time limit is exhausted. Please reload CAPTCHA.