Файл robots.txt

Правильний файл robots.txt для вашого сайту WORDPRESS: створення за допомогою плагіна All in One SEO Pack.

Заходимо в налаштування All in One SEO Pack та активуємо модуль редактор файлів:

У вікні редактору robots.txt прописуємо:

Також ви можете завантажити файл robots.txt через FTP-кліен в кореневу папку вашого сайту.

Правила для robots.txt :

User-agent: вказівка типу агента (Пошуковий робот-павук, що обходить всі сайти)

Disallow: заборона індексації для папок адмін-панелі, тегів, пошукових фраз і т.д.

Все що не заборонено, буде проіндексована.

Зразок скачати можна за посиланням: https://wpress.in.ua/wp-content/uploads/robots.txt