Файл robots.txt
Правильний файл robots.txt для вашого сайту WORDPRESS: створення за допомогою плагіна All in One SEO Pack.
Заходимо в налаштування All in One SEO Pack та активуємо модуль редактор файлів:
Також ви можете завантажити файл robots.txt через FTP-кліен в кореневу папку вашого сайту.
Правила для robots.txt :
User-agent: вказівка типу агента (Пошуковий робот-павук, що обходить всі сайти)
Disallow: заборона індексації для папок адмін-панелі, тегів, пошукових фраз і т.д.
Все що не заборонено, буде проіндексованo.