| حی و حاضر در خدمت شما هستیم
صفحه اصلی » » آموزش بهینه سازی فایل robots.txt برای وردپرس
مقاله وردپرسی

آموزش بهینه سازی فایل robots.txt برای وردپرس

این روزها شاید کمتر وبمستری باشد که نداند فایل Robots.txt چیست و به چه کار می آید. این فایل، یک سند ساده متنی است که به روباتهای جستجوگر تفهیم میکند در سایت شما دنبال چه چیزی باشند و به کجاها حق ندارند سرک بکشند.

اما نکته مهم در این ماجرا نحوه نوشتن و بهینه سازی Robots.txt  می باشد. مقوله ای بسیار مهم که اگر کوچکترین اشتباهی در تنظیم آن مرتکب شوید باعث مرگ وبسایت شما میشود. در این پست از «وردپرس با طعم فارسی» میخواهیم نحوه نوشتن و بهینه سازی فایل Robots.txt  برای سایتهای وردپرسی را به شما عزیزان آموزش بدهیم. پس با ما همراه باشید.

ایجاد فایل robots.txt

فایل robots.txt معمولا در ریشه اصلی (Root) وبسایت شما قرار میگیرد. برای این منظور میتوانید با استفاده از ftp manager های مختلف، به هاست وبسایت خود وصل شده و یک فایل ساده متنی با نام و پسوند robots.txt در کنار فایلهای وردپرس ایجاد کنید. یا هم میتوانید این فایل را ابتدا روی کامپیوتر خود بسازید و بعد آن را روی هاست آپلود نمایید.

نوشتن فایل robots.txt

پیکره بندی و قالب این فایل بسیار آسان و همه فهم بوده و با یک نگاه کلی میتوان فهمید چه میگوید. خط اول معمولا حاوی user agent می باشد. User agent نام ربات موتور جستجوگری است که میخواهد به وبسایت شما وصل شده و آن را ایندکس کند. برای مثال میتوان از Googlebot  یا Bingbot بترتیب برای موتورهای جستجوی گوگل و بینگ استفاده کرد. در عین حال شما میتوانید از علامت * برای شامل شدن تمام روبات ها استفاده کنید.

خطهای بعد از این با یکی از دو عبارت Allow یا Disallow آغاز میشود که هرکدام بترتیب میگویند ربات موتور جستجو وارد مسیر بعد از عبارت برای ایندکس و ذخیره سازی در پایگاه داده موتور جستجو بشوند یا خیر.

به عنوان مثال به این قطعه کد نگاه کنید:

User-Agent: *

Allow: /wp-content/uploads/

Disallow: /wp-content/plugins/

Disallow: /readme.html

این یک مثال ساده و دم ستی از فایل Robots.txt میباشد که در خط اول میگوید این دسورالعمل برای همه روبات ها لازم الإجرا است. در خط دوم به روبات ها میگوید به مسیر wp-content/upload رفته و فایلهای موجود در آن را ایندکس نماید. در خط دوم و سوم میگوید موتورهای جستجوگر حق ندارند وارد مسیر wp-content/plugin شده و فایلها و فولدرهای موجود در آن را ذخیره کنند.

بهینه سازی فایل Robots.txt

در راهنمای وبمستر تولز، گوگل به وبمستر ها توصیه مکیند برای پنهان کردن پست های بی کیفیت خود از فابل Robots.txt استفاده نکنند. به عنوان مثال اگر قبل از این از این طریق به گوگل میفهماندید که صفحاتی مانند آرشیو، دسته بندی ها، تقویم، صفحات نویسنده و… را ایندکس نکنند باید بگویم تصمیم درستی نبوده است.

بخاطر داشته باشید، این فایل به روبات ها آموزش میدهند چگونه با محتوای ایندکس شده شما رفتار کنند. نه اینکه آنها را از خزش و به اصطلاح  Crawl کردن صفحات سایت خود مانع شوید.

noindex-archive-pages

برای این منظور راههای دیگری در نظر گرفته شده که اصلی ترین آنها استفاده از متا تگ noIndex می باشد. در وردپرس افزونه های زیادی هستند که این کار را برای شما انجام میدهند. توصیه ما در این زمینه استفاده از افزونه قدرتمند و مشهور WordPress SEO می باشد.

به این طریق دیگر نیازی نیست صفحاتی مانند لاگین، ثبت نام و… را در فایل Robots.txt ذکر کنید بلکه با استفاده از این افزونه براحای میتوانید آنها را noindex کنید.

توصیه دیگر ما به شما این است که فایل readme.html را در حتما در robots.txt غیر مجاز کنید (disallow). این فایل میتواند اطلاعات بدردبخوری مانند ورژن ورپرس را در اختیار افراد خرابکار قرار بدهد ازینرو از گوگل بخواهید اطلاعات این فایل را در نتایج حستجو نمایش ندهد.

اضافه کردن فایلهای XML sitemap به robots.txt

اگر شما از افزونه های استاندارد وردپرس برای ساختن فایلهای sitemap سایت خود استفاده میکنید، غالب این پلاگین ها بطور خودکار آدرس نقشه سایت را به انتهای فایل robots.txt اضافه میکنند. اما اگر بهر دلیلی این کار انجام نشده، بصورت دستی اینکار را انجام بدهید:

Sitemap: http://www.example.com/post-sitemap.xml

 Sitemap: http://www.example.com/page-sitemap.xml

پیشنهاد ما

با درنظر داشتن همه چیزهایی که در این پست گفته شد، پیشنها ما برای یک robots.txt استاندارد و بهینه شده برای سایتهای وردپرسی چیزی شبیه این خواهد شد:

User-Agent: *

Allow: /?display=wide

Allow: /wp-content/uploads/

Disallow: /wp-content/plugins/

Disallow: /readme.html

Disallow: /refer/

Sitemap: http://www.example.com/post-sitemap.xml

Sitemap: http://www.example.com/page-sitemap.xml

Sitemap: http://www.example.com/deals-sitemap.xml

Sitemap: http://www.example.com/hosting-sitemap.xml

در این پست سعی کردیم شما را با یک اصل مهم سئو برای سایتهای وردپرسی آشنا کنیم. توصیه میکنیم برای کامل شدن دانش خودتان در این زمینه سری به پست های گذشته ما در «وردپرس با طعم فارسی» بزنید.

امتیاز: 5٫00
برچسب ها
اشتراک گذاری

پاسخ دهید

نشانی ایمیل شما منتشر نخواهد شد. بخش‌های موردنیاز علامت‌گذاری شده‌اند *