Правильний файл robots.txt для вашого сайту WORDPRESS: створення за допомогою плагіна All in One SEO Pack.
Заходимо в налаштування All in One SEO Pack та активуємо модуль редактор файлів:
У вікні редактору robots.txt прописуємо:
Також ви можете завантажити файл robots.txt через FTP-кліен в кореневу папку вашого сайту.
Правила для robots.txt :
User-agent: вказівка типу агента (Пошуковий робот-павук, що обходить всі сайти)
Disallow: заборона індексації для папок адмін-панелі, тегів, пошукових фраз і т.д.
Все що не заборонено, буде проіндексована.
Зразок скачати можна за посиланням: https://wpress.in.ua/wp-content/uploads/robots.txt