Для того чтобы процесс индексации элементов вашего ресурса осуществлялся правильно, требуется уделять соответствующее внимание системным файлам, располагающимся в корневом каталоге сайта.
Файл sitemap – документ, содержащий информацию для поисковиков, регламентирующий их работу со страницами, открытыми к индексации.
Файл sitemap.xml позволяет поисковым роботам считать такую информацию, как расположение страниц сайта, частоту их обновления, время внесения последних изменений, а также иерархическую структуру ресурса, определяющую приоритет в индексации для тех или иных страниц. Таким образом, поисковая машина получает помощь в индексировании страниц, благодаря чему этот процесс осуществляется быстрее и продуктивнее. Файл sitemap.xml расширяет возможности предоставления поисковым роботам информации о медиаконтенте – к примеру, размещая на сайте видео, в sitemap можно прописать его продолжительность, возможность семейного просмотра и другую дополнительную информацию.
Вот так выглядит часть моей карты сайта для поисковых систем
Еще одно достоинство этого файла состоит в том, что молодым сайтам с низкими показателями ссылочного веса и отсутствием грамотной перелинковки легче попасть в индекс поисковиков при его наличии. В связи с этим его создание и правильная настройка чрезвычайно важны для поисковой оптимизации.
Создать sitemap.xml можно с помощью любого из текстовых редакторов. При отсутствии соответствующих навыков можно прибегнуть к специальным интернет ресурсам, например, htmlweb.ru. Для этого в левой колонке выбираем “Генератор sitemap ” далее заполняем поле URL, введя в него адрес сайта, для которого необходима карта сайта. Среди параметров, которые следует указывать, формат файла, периодичность обновления страниц, приоритеты индексации. Опционально можно прописать и другие параметры. После этого система генерирует код, который следует скопировать в текстовый редактор и сохранить файл как sitemap в формате *xml.
Что бы робот поисковой системы смог найти ваш файл и считать с него необходимую информацию, путь к нему требуется прописать в документе robots.txt, который также располагается в корневом каталоге ресурса. Корректно настроенный файл Sitemap – дополнительный бесплатный шаг в поисковой оптимизации и повышения посещаемости интернет ресурса.
Ну и конечно же для более продвинутых вебмастеров полные рекомендации на сайте создателей этого протокола: http://www.sitemaps.org/ru/protocol.html.