Создание Sitemap

• Преимущества платного построения карты сайта
• Описание ошибок, выдаваемых после сканирования сайта
• Вопросы и ответы по формированию карты сайта
• Подробное описание опций генератора карты сайта

Пошаговая инструкция для загрузки получившегося файла:
1. Выберите кнопку "Загрузить Sitemap.xml" или скопируйте сгенерированный для Вашего сайта код и вставьте его в чистый текстовый файл блокнота (notepad)
2. Сохраните этот файл под именем sitemap.xml
3. Загрузите этот файл в корневую директорию Вашего сайта (туда, где находится главная страница сайта)
4. В адресной строке браузера наберите полный путь к сгенерированному файлу: http://домен/sitemap.xml.
   Если Вы всё сделали правильно, то Вы увидите список URL'ов и никаких ошибок
   

   После загрузки файла в корневую директорию вашего сайта вы можете:

   • сообщить Google о новом Sitemap,
   • сообщить Live Search о новом Sitemap,
   • Добавить Sitemap Yandex-у можно в консоли управления сайтами.
   • Добавить Sitemap в свой Google Sitemap аккаунт. Для этого впишите путь sitemap.xml в соответствующую графу в аккаунте.
   • Добавить Sitemap в Yahoo можно в Yahoo site explorer.
   • Добавить в свой http://домен/robots.txt следующую строчку:
     

     Sitemap: http://домен/sitemap.xml

     Здесь Вы сможете создать файл robots.txt.
     
5. Проделывайте эти шаги применительно к каждому своему сайту.
6. Здесь Вы можете бесплатно сформировать красивую графическую карту сайта на основании отсканированной информации. Визуальная карта сайта стоится на основании древовидной структуры вашего сайта. Если сайт не имеет четкой древоводности папок/подпапок, - то визуальная карта получается не информативной.

Технические подробности sitemap

Теги файла sitemap.xml:

• changefreq - наиболее вероятная частота изменения контента указанного URL;
• lastmod - фактическая дата последнего обновления URL;
• loc - сам URL;
• priority - приоритетность указанной страницы по отношению к другим страницам сайта;
• url - этот тег служит родительским для указанных первых четырех тегов;
• urlset - этот тег объединяет теги первых пяти типов.

Особенностью применения формата XML является необходимость замены всех служебных символов на их безопасное представление. Ниже приведена таблица символов, которые встречаются в URL и подлежат обязательной замене:

• & - амперсанд;
• ' - одиночные кавычки;
• " - двойные кавычки;
• > - знак "больше";
• < - знак "меньше".

Файл Sitemap имеет ограничения на размер индексного файла в 10 мегабайт. Для того чтобы это ограничение не затронуло владельцев небольших веб-сайтов, предусмотрена возможность сжатия файлов, которые предназначены для Sitemap с помощью открытого архивного формата gz (gzip-архиватор).

Можно указать местоположение файла Sitemap, используя файл robots.txt. Для этого просто добавьте в файл robots.txt следующую строку:

Sitemap: http://ДОМЕН.ru/sitemap.xml

Для передачи поисковым системам нового Sitemap используйте строку вида:
Поисковая система/ping?sitemap=http://ДОМЕН.ru/sitemap.xml
Для Google: http://www.google.com/webmasters/sitemaps/ping?sitemap=http://ДОМЕН.ru/sitemap.xml

Для проверки корректности составления карты вашего сайта следует предварительно проверить его на правильность. Проще всего это сделать с помощью одной из утилит, расположенных на веб-сайтах w3 или xml.org. При этом вам понадобится XML-схема данных индексного файла Sitemap. Чтобы указать в XML файле ссылку на схему проверки установите флажок "Добавлять ссылку на XSD схему для проверки". После этого при открытии Sitemap.xml файла в браузере, при наличии ошибок в структуре, вы получите соответствующее сообщение.

История развития Sitemap

Сколько себя помнит Интернет, веб-мастера всегда пытались угодить поисковым паукам - помочь им собрать детальную информацию о структуре продвигаемого сайта.

Первым, самым древним и вполне естественным способом было создание специальной страницы, на которой помещались все ссылки сайта. Назывались и называются такие страницы картами сайта. Принцип их работы прост: поисковый робот при визите на эту страницу автоматически пройдёт по опубликованным там ссылкам и занесёт их в индекс.

Подобная схема была удобна до поры до времени. Позже, когда сайты перестали собой представлять исключительно статические страницы с малым количеством страниц, возникла новая проблема, связанная с неэффективностью метода публикации классического варианта карты сайта, т.к. мест для ссылок не хватало, страницы получались большими по размеру, неудобными.

На некоторых сайтах число страниц перевалило за 1 000, естественно, что абсолютно все ссылки разместить на карте сайта стало невозможно. Коэффициент проиндексированности таких сайтов стал снижаться. Мир нуждался в новом эффективном решении возникшей проблемы.

И проблема была решена. В июне 2005 года компанией Google был создан новый удобный формат описания новых страниц сайта для улучшения качества их индексации поисковыми системами.

Стандарт получил название Sitemaps 0.84. За основу был принят принцип текстовой базы данных XML, позволяющий компактно в текстовом файле описать структуру сайта, включая новые и опубликованные ранее страницы сайта с возможностью указания дополнительной META-информации. Эффективное решение Sitemaps, предложенное Google стало, пользоваться бешеной популярностью.

Популярность сказалась и на мнении других поисковых систем к новому подходу создания карт сайта. Так в ноябре 2006 года к поддержке стандарта присоединились такие поисковые гиганты, как MSN и Yahoo, а в апреле и Ask.com. На радостях формат Sitemaps получил новую версию Sitemap 0.90, расширяющую функциональные возможности.

В мае 2007 года было официально объявлено о поддержке подключения стандарта Sitemaps в файле robots.txt поисковиками Ask, Google и Yahoo, т. е. найти карту сайта Sitemap стало проще: достаточно указать его местоположение в этом файле, а за источник информации для Sitemap использовать RSS-ленты или обычные текстовые файлы.

2 июня 2008, спустя 3 года после объявления протокола Google на блоге Яндекса для вебмастеров появилось сообщение о поддержке этого протокола Яндексом.