Robots.txt і його налаштування для WordPress

Дана інформація стане корисним, тим, хто вже на стадії індексації сайту в пошукових системах.

Тим хто ж на стадії розробки сайту, дана інформація буде корисна в перспективі. І щоб не відкладати все на потім, давайте зробимо такий файл зараз, він нам аж ніяк не зашкодить, а навпаки!

Так, що ж то за файл robots.txt?

Файл robots.txt - це текстовий файл, що знаходиться в корені сайту, в якому записуються спеціальні інструкції для пошукових роботів. Ці інструкції можуть забороняти до індексації деякі розділи або сторінки на сайті, вказувати направильне «віддзеркалення» домену, рекомендувати пошуковому роботу дотримуватися певних часових інтервалів між скачуванням документів з сервера іт.д.

Якщо ж коротко, то даний файл говорить пошуковим ботам, що саме треба індексувати, а що взагалі не потрібно.

Навіщо це потрібно? А для того щоб пришвидшити індексацію сайта і уникнути дублювання контенту (який гальмує індексацію) і плюс не забивати пошукові системи всяким “сміттям”, а зосередити їх увагу на корисних сторінках.

Конфігурацій robots.txt може бути безліч і кожний без проблем може налаштувати його під свої потреби. Нижче наведений найбільш стандартний зміст

Не забуваємо змінити шлях до вашого сайта, в останніх трьох стрічках.

Створюємо файл (.txt) -> наповнюємо його -> зберігаємо -> заливаємо його в корінь вашого сайта.

Успіхів!