Привет всем Вам и сегодня Я буду рассказывать о полезности использования файла «robots.txt» и его настройках.

Также расскажу Вам о правильном составлении данного файла и приведу пример своего «robots.txt» для WordPress, который Вы можете увидеть на моем блоге.

Полная версия статьи здесь — ссылка.

На днях все были возмущены утечками конфиденциальной информации, приватных данных в поисковые системы яндекс и гугл с интернет-магазинов и других сайтов. Это в очередной раз подчеркнуло значимость правильного составления файла robots.txt. Поэтому я предлагаю всем проверить свои файлы для блогов и сайтов на вордпресс, чтобы сохранить данные и сделать шаг к поисковой оптимизации, путем избавления от дублей.

Подробная информации о грамотном составлении файла robots.txt для самой популярной CMS для блога — WordPress. При всех его достоинствах, большое количество дублей контента, создаваемое WP, может довести до фильтра Яндекса, и здесь важно закрыть все лишнее от индексации в файл robots.txt для WordPress.

Все наверняка знают, что такое robots.txt, для чего он нужен и с чем его едят. Если кто же все-таки не в курсе, robots.txt – это текстовый файл, в котором содержатся инструкции для роботов поисковых систем. В нем можно запрещать индексацию страниц или разделов на сайте, указывать правильное зеркало домена, указывать наличие sitemap.xml. Есть еще много различных функций команд, но мы поговорим о самых основных, озвученных мною. И рассмотрим это на примере самого популярного на сегодняшний момент движка WordPress. Благодаря правильно составленному роботсу, можно добиться лояльности со стороны поисковых систем. Читайте подробнее на блоге.
Составляем правильный robots.txt для WordPress

Добрый день!

Любой вебмастер знаком с понятием User-Agent, а так же представляет, как диверсифицировать доступ разных поисковых (и не совсем поисковых) роботов к отдельным частям своего ресурса. Я постаралась собрать в одной статье некоторые примеры использования User-Agent-а вебмастером (с одной стороны) и программистом парсеров (с другой стороны). Помимо определения юзерагента и базовых правил настройки robots.txt, для вас может оказаться полезной информация о том, от каких «лишних» ресурсопожирающих спайдеров можно защитить свой ресурс (особенно в буржунете, где проблема роботов более актуальна).

Итак, моя статья User-Agent и идентификация. Взгляд с разных сторон.

Буду рада всем комментариям, дополняющим и развивающим эту тему.

Написал статью по файлу robots.txt, который отвечает за индексацию Вашего блога или сайта. Можете прочитать ее прямо сейчас, это как бы продолжение статьи про АГС. Для большего понимания сначала читайте про АГС.