نحوه جلوگیری از ایندکس محتوای وردپرس در جستجوی گوگل

نحوه جلوگیری از ایندکس محتوای وردپرس در جستجوی گوگل – گاهی شما باید محتوای خاص وردپرس یا فایل‌ها را در نتایج جستجوی گوگل حذف کنید. index یا ” شاخص گذاری ” قبل از ظهور گوگل و دیگر موتورهای جستجو، کلمه ای بود که بیشتر در کتاب ها بکار برده می شد که معمولا در پشت بسیاری از کتاب‌ها وجود دارد.
در سال 1995، در طی رونق اینترنت، ما خدماتی مانند موتور جستجوی یاهو را داشتیم و در سال 1997، با تاسیس موتور جستجوی گوگل به طرز چشمگیری این خدمات رشد و تغییر شگرفی کرد.
بر اساس بررسی انجام شده در ژانویه 2018، (بیش از 1.8 میلیارد) وب سایت در اینترنت وجود دارد و بسیاری از این وب سایت ها هیچ بازدید کننده ای ندارند.

چرا و چگونه باید محتوای وبسایت را از ایندکس در موتورهای جستجو منع کنیم.

درست است که ایندکس برای وبسایت و صاحبان کسب و کار عالی است،اما صفحاتی وجود دارد که ممکن است بخواهید در نتایج جستجو نمایش داده نشوند. اگر ربات های جستجو بر پوشه ها و فایل های وب سایت دسترسی داشته باشند، شما می توانید بدون کلمه عبور یا احراز هویت در معرض خطر افشای فایل های حساس و محتوا در اینترنت قرار بگیرید. در اوایل دهه ۲۰۰۰، هکرها از جستجوی گوگل برای نمایش اطلاعات کارت های اعتباری از وب سایت‌ها با یک جستجوی ساده استفاده کردند. این نقص امنیتی توسط بسیاری هکرها برای دزدیدن اطلاعات کارت ها از وب سایت‌های تجارت الکترونیک مورد استفاده قرار گرفت.

چنین مواردی اتفاق می افتد و می تواند باعث کاهش فروش و درآمد صاحبان کسب و کار شود.

این برای شرکت های تجاری، تجارت الکترونیک و وب سایت های دیگر بسیار مهم است که برای اولین بار از ایندکس محتوای حساس و فایل های خصوصی در نتایج جستجو جلوگیری کنند. بیایید نگاهی به نحوه کنترل محتوا و فایل هایی که می توان از نمایش در نتایج موتورهای جستجو جلوگیری کرد، بیندازیم.

1. استفاده از فایل Robots.txt برای تصاویر

Robots.txt یک فایل در ریشه سایت شما است که گوگل، بینگ و دیگر موتورهای جستجوگر را با دستورالعمل هایی در مورد چگونگی خزش و غیره ارائه می دهد. در حالی که robots.txt معمولا برای کنترل ترافیک خزنده ها و خزنده وب (موبایل و دسکتاپ) استفاده می شود.

همچنین می تواند برای جلوگیری از نمایش تصاویر در نتایج جستجو نیز استفاده شود.

یک فایل robots.txt در وب سایت های معمولی وردپرس چیزی مانند این خواهد بود:


User-agent: *
Disallow: /wp-admin/
Disallow: /wp-includes/

فایل robots.txt استاندارد با یک دستور برای user-agent و یک نماد ستاره شروع می شود.

ستاره یک دستورالعمل برای تمام ربات هایی است که به وب سایت می رسند تا دستورالعمل های زیر را دنبال کنند.

دور نگه داشتن ربات ها از دسترسی به فایل های دیجیتالی با استفاده از فایل Robot.txt

Robots.txt همچنین می تواند برای جلوگیری از خزش فایل های دیجیتالی مانند فایل های PDF، JPEG یا MP4 استفاده شود. برای مسدود کردن جستجو از فایل PDF و JPEG، این کد باید به فایل robots.txt اضافه شود:
فایل های PDF


User-agent: *
Disallow: /pdfs/ # Block the /pdfs/directory.
Disallow: *.pdf$  # Block pdf files from all bots. Albeit non-standard, it works for major search engines.

Images


User-agent: Googlebot-Image
Disallow: /images/cats.jpg #Block cats.jpg image for Googlebot specifically.

فایل gif


User-agent: Googlebot-Image
Disallow: /*.gif$

2. استفاده از Meta Tag برای ایندکس نشدن صفحات

استفاده از meta tag یک روش مناسب و موثر برای جلوگیری از جستجو کردن محتوای حساس در وب سایت شما است.

متا تگ در بخش <head> یک صفحه وب با یک تگ HTML بسیار ساده قرار می گیرد:

هر صفحه ای با این دستور در هدر، در نتایج جستجوی گوگل ظاهر نخواهد شد.

دستورالعمل های دیگری مانند nofollow و nonranslate نیز می تواند مورد استفاده قرار گیرد.

شما می توانید با استفاده از متا تگ های چندگانه در یک صفحه چندین خزنده را به صورت زیر استفاده کنید:

دو راه برای اضافه کردن این کد به وب سایت شما وجود دارد.

اولین گزینه شما این است که یک چایلد تم وردپرس ایجاد کنید.

سپس در فایل functions.php شما می توانید با استفاده از wp_head وردپرس برای وارد کردن noindex یا هر متا تگ دیگر استفاده کنید.

در زیر نمونه ای از نحوه جلوگیری از ورود به صفحه لاگین سایت آورده شده است.


add_action( 'wp_head', function() {
    if ( is_page( 'login' ) ) {
        echo '';
    }
} );

گزینه دوم شما این است که از افزونه سئوی خود برای کنترل استفاده کنید.

به عنوان مثال:

با Yoast می توانید به بخش تنظیمات پیشرفته بروید و به سادگی گزینه «No» را انتخاب کنید:

3. با استفاده از هدر HTTP X-Robots-Tag برای فایل های دیگر

X-Robots-Tag به شما امکان انعطاف پذیری بیشتری را برای جلوگیری از ایندکس جستجوی مطالب و فایل های شما می دهد. به عنوان مثال، شما می توانید از X-Robots-Tag برای فایل های تصویری، فیلم و سند استفاده کنید. در اینجا مثالی برای جلوگیری از ایندکس شدن یک تصویر JPEG را با استفاده از X-Robots-Tag در پاسخ HTTP اورده شده است.


HTTP/1.1 200 OK
Content-type: image/jpeg
Date: Sat, 27 Nov 2018 01:02:09 GMT
(…)
X-Robots-Tag: noindex, nofollow
(…)

هر دستورالعملی که می تواند با یک متا تگ robots مورد استفاده قرار گیرد، در X-Robots-Tag نیز قابل استفاده است.
مانند دستورالعمل های چندگانه که در زیر مشاهده می کنید:


HTTP/1.1 200 OK
Date: Tue, 21 Sep 2018 21:09:19 GMT
(…)
X-Robots-Tag: googlebot: nofollow
X-Robots-Tag: bingbot: noindex
X-Robots-Tag: otherbot: noindex, nofollow
(…)

4. استفاده از قوانین .htaccess برای سرورهای آپاچی

شما همچنین می توانید هدر HTTP X-Robots-Tag را به فایل .htaccess اضافه کنید تا خزنده ها را از ایندکس صفحات و محتوای دیجیتال وب سایت خود که در سرور آپاچی میزبانی می شود، مسدود کنید. بر خلاف meta tags ، قوانین .htaccess می تواند برای کل وب سایت و یا یک پوشه خاص استفاده شود. پشتیبانی از عبارات منظم، انعطاف پذیری بالاتری را برای شما فراهم می کند تا به طور همزمان چندین نوع فایل را هدف قرار دهید.

برای مسدود کردن Googlebot، Bing و Baidu از خزش در وب سایت یا دایرکتوری خاص،

از قوانین زیر استفاده کنید:


 
RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} (googlebot|bingbot|Baiduspider) [NC]
RewriteRule .* - [R=403,L]

برای مسدود کردن ایندکس تمام فایلهای:

.txt، .jpg، .jpeg، .pdf در کل وب سایت شما، عبارت زیر را اضافه کنید:



Header set X-Robots-Tag "noindex, nofollow"

5. استفاده از Authentication (احراز هویت) صفحه با نام کاربری و رمز عبور

روش های فوق از محتوای خصوصی و اسناد شما در نتایج جستجوی گوگل جلوگیری می کند.

با این حال، هر کاربر می تواند به محتوای شما برسد و به طور مستقیم به فایل های شما دسترسی پیدا کند.

برای امنیت، به شدت توصیه می شود که احراز هویت مناسب را با نام کاربری و رمز عبور تنظیم کنید.

به عنوان مثال:

صفحاتی که حاوی مشخصات شخصی کارکنان و اسناد حساس است نباید کاربران ناشناس به آنها دسترسی پیدا کند و باید در دروازه تأیید هویت قرار گیرند. برای انجام این کار در وردپرس، به صفحه ویرایش یک پست مراجعه کنید و از قسمت انتشار در بخش password protected یک رمز عبور تنظیم کنید.

به این ترتیب برای مشاهده محتوا در آن صفحه نیاز به وارد کردن رمز عبور خواهد بود.