Robots.txt і його налаштування для WordPress
13, Тра, 2012
Дана інформація стане корисним, тим, хто вже на стадії індексації сайту в пошукових системах.
Тим хто ж на стадії розробки сайту, дана інформація буде корисна в перспективі. І щоб не відкладати все на потім, давайте зробимо такий файл зараз, він нам аж ніяк не зашкодить, а навпаки!
Так, що ж то за файл robots.txt?
Файл robots.txt – це текстовий файл, що знаходиться в корені сайту, в якому записуються спеціальні інструкції для пошукових роботів. Ці інструкції можуть забороняти до індексації деякі розділи або сторінки на сайті, вказувати направильне «віддзеркалення» домену, рекомендувати пошуковому роботу дотримуватися певних часових інтервалів між скачуванням документів з сервера іт.д.
Якщо ж коротко, то даний файл говорить пошуковим ботам, що саме треба індексувати, а що взагалі не потрібно.
Навіщо це потрібно? А для того щоб пришвидшити індексацію сайта і уникнути дублювання контенту (який гальмує індексацію) і плюс не забивати пошукові системи всяким “сміттям”, а зосередити їх увагу на корисних сторінках.
Конфігурацій robots.txt може бути безліч і кожний без проблем може налаштувати його під свої потреби. Нижче наведений найбільш стандартний зміст
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 |
User-agent: * Disallow: /cgi-bin Disallow: /wp-admin Disallow: /wp-includes Disallow: /wp-content/plugins Disallow: /wp-content/cache Disallow: /wp-content/themes Disallow: /trackback Disallow: */trackback Disallow: */*/trackback Disallow: */*/feed/*/ Disallow: */feed Disallow: /*?* Disallow: /tag User-agent: Yandex Disallow: /cgi-bin Disallow: /wp-admin Disallow: /wp-includes Disallow: /wp-content/plugins Disallow: /wp-content/cache Disallow: /wp-content/themes Disallow: /trackback Disallow: */trackback Disallow: */*/trackback Disallow: */*/feed/*/ Disallow: */feed Disallow: /*?* Disallow: /tag Host: wpfan.com.ua Sitemap: http://wpfan.com.ua/sitemap.xml.gz Sitemap: http://wpfan.com.ua/sitemap.xml |
Не забуваємо змінити шлях до вашого сайта, в останніх трьох стрічках.
Створюємо файл (.txt) -> наповнюємо його -> зберігаємо -> заливаємо його в корінь вашого сайта.
Успіхів!
2