Добрый день!

Любой вебмастер знаком с понятием User-Agent, а так же представляет, как диверсифицировать доступ разных поисковых (и не совсем поисковых) роботов к отдельным частям своего ресурса. Я постаралась собрать в одной статье некоторые примеры использования User-Agent-а вебмастером (с одной стороны) и программистом парсеров (с другой стороны). Помимо определения юзерагента и базовых правил настройки robots.txt, для вас может оказаться полезной информация о том, от каких «лишних» ресурсопожирающих спайдеров можно защитить свой ресурс (особенно в буржунете, где проблема роботов более актуальна).

Итак, моя статья User-Agent и идентификация. Взгляд с разных сторон.

Буду рада всем комментариям, дополняющим и развивающим эту тему.

RSSAdder — небольшая утилитка для добавления RSS в список RSS-агрегаторов. Список конфигурируется и настраивается. Для добавления достаточно ввести информацию о своем ресурсе в верхней части формы. После этого по двойному клику на элементе списка агрегаторов открывается страница с формой добавления ленты на ресурс, причем поля, прописанные в конфиге, заполняются данными из шапки. Все настройки хранятся в INI-файле.

Скриншот основной формы представлен слева.

Подробнее об утилитке написано на блоге. Там же вы найдете ссылку для скачивания. В «базовом» конфиге 10 RSS-агрегаторов. Но список я буду расширять. Уже есть первое его обновление (+10 агрегаторов, есть ссылка на страничке).

Программка неидеальна, но, по крайней мере, с ее помощью можно автоматизировать рутинные действия. Если найдете баги — пишите, исправлю. :)

Надеюсь на вашу помощь в поисках рабочих RSS-каталогов. Мне кажется, это очень удобно, когда список составляется совместно и выкладывается в общий доступ: экономия времени :)

Всем удачных продвижений :)