Зайдя на Ваш сайт поисковый робот первым делом ищет файл robots.txt. Сам файл представляет собой набор инструкций для поисковой машины, которые указывают что индексировать можно, а чего нельзя. Составить правильный robots.txt для wordpress очень и очень просто, файл создается по особым стандартам исключений для поисковых машин. но ничего сложного в этом нету. Подробнее о том как создать правильный robots.txt для wordpress можно прочитать на сайте seotimes.in.ua

Подробная информации о грамотном составлении файла robots.txt для самой популярной CMS для блога — WordPress. При всех его достоинствах, большое количество дублей контента, создаваемое WP, может довести до фильтра Яндекса, и здесь важно закрыть все лишнее от индексации в файл robots.txt для WordPress.

В этой статье я делюсь своим мнением о целесообразности использования файла robots txt для ваших блогов и сайтов. Создание robots txt, использование, ошибки при написании и т. д. Статья полезна прежде всего для новичков в блоггинге и Seo.