Правильный файл robots.txt для вашего сайта WORDPRESS: создание посредством плагина All in One SEO Pack.
Плагин All in One SEO Pack предоставляет возможность настраивать и редактировать файл robots.txt для вашего сайта.
Заходим в настройки All in One SEO Pack и активируем модуль редактор файлов:
В окне редактора robots.txt прописываем:
Так же вы можете загрузить файл robots.txt через FTP-клиен в корневую папку вашего сайта.
Правила для robots.txt :
User-agent: указание типа агента(Поисковый робот-паук, обходящий все сайты)
Disallow: запрет индексации для папок админ-панели,тегов, поисковых фраз и т.д.
Все что не запрещено, будет проиндексированно.
Образец скачать можно по ссылке: https://wpress.in.ua/wp-content/uploads/robots.txt