Все наверняка знают, что такое robots.txt, для чего он нужен и с чем его едят. Если кто же все-таки не в курсе, robots.txt – это текстовый файл, в котором содержатся инструкции для роботов поисковых систем. В нем можно запрещать индексацию страниц или разделов на сайте, указывать правильное зеркало домена, указывать наличие sitemap.xml. Есть еще много различных функций команд, но мы поговорим о самых основных, озвученных мною. И рассмотрим это на примере самого популярного на сегодняшний момент движка WordPress. Благодаря правильно составленному роботсу, можно добиться лояльности со стороны поисковых систем. Читайте подробнее на блоге.
Составляем правильный robots.txt для WordPress