Файл robots.txt

Правильний файл robots.txt для вашого сайту WORDPRESS: створення за допомогою плагіна All in One SEO Pack.

Заходимо в налаштування All in One SEO Pack та активуємо модуль редактор файлів:

Також ви можете завантажити файл robots.txt через FTP-кліен в кореневу папку вашого сайту.

User-agent: вказівка типу агента (Пошуковий робот-павук, що обходить всі сайти)

Disallow: заборона індексації для папок адмін-панелі, тегів, пошукових фраз і т.д.

Все що не заборонено, буде проіндексованo.

Поширити