Робот – программа, которая ходит по вашему сайту и читает страницы, то есть индексирует. Происходит такое занятие у него раз в день, но это зависит от вашего сайта, то есть чем чаще вы его наполняете уникальным контентом, тем чаще он к вам заходит. Хотите ли вы, чтобы он почаще к вам заходил? Если вам от него скрывать нечего, кроме личных и важных страниц, то нужно сделать карту сайта в формате .xml, которую нужно поместить в корневой каталог. Файл этот должен называться sitemap.
А как создать карту сайта? Все просто, тут не надо ничего писать, что-то учить. Есть специальный сервис, который так и называется SitemapGenerator. Там все просто – жмем Сгенерировать sitemap.xml, пишем свой адрес сайта и снова жмем Создать sitemap.xml. При желании можно указать свой email адрес, чтобы знать о созданной карте сайта. Качаем готовый sitemap и грузим его на наш сайт.
А вот способ попроще.