Файл robots.txt

Правильный файл robots.txt для вашего сайта WORDPRESS: создание посредством плагина All in One SEO Pack.

Плагин All in One SEO Pack предоставляет возможность настраивать и редактировать файл robots.txt для вашего сайта.

Заходим в настройки All in One SEO Pack и активируем модуль редактор файлов:

В окне редактора robots.txt прописываем:

Так же вы можете загрузить файл robots.txt через FTP-клиен в корневую папку вашего сайта.

Правила для robots.txt :

User-agent: указание типа агента(Поисковый робот-паук, обходящий все сайты)

Disallow: запрет индексации для папок админ-панели,тегов, поисковых фраз и т.д.

Все что не запрещено, будет проиндексированно.

Образец скачать можно по ссылке: https://wpress.in.ua/wp-content/uploads/robots.txt

Добавить комментарий

Ваш e-mail не будет опубликован. Обязательные поля помечены *