Опции сканирования и формирования карты сайта

Формат карты сайта

XML - формат карты для поисковых систем.
HTML - список всех страниц сайта в виде ссылок.
CSV,TXT - все страницы сайта в соответствующем формате для дальнейшего использования в Excel или своих скриптах.
Дерево - формирует карту вашего сайта с отступами и подуровнями, доступна после формирования любой другой карты.

Приоритет

(0.0 - низший, 0.5 - средний, 1.0 - высший).
Задает относительную ценность страницы по отношению к другим страницам сайта.
1.0 - самая важная, 0.0 - наименьшая ценность.

Понижать приоритет по подпапкам

Чем глубже в дереве каталогов страница, тем ниже её приоритет.
Главная страница будет имень указанный Вами приоритет.
На каждый уровень вложенности "/" - приоритет уменьшается на 0.1.

Вы можете задать приоритет для отдельных страниц с помощью параметра: <meta id="priority" content="0.8" />. При этом, если включена опция "использовать старый sitemap.xml", то приоритет будет браться из него.

Брать last-modified из заголовка

При выборе этой опции дата последнего обновления страницы будет взята из самой страницы.
При выключении этой опции дата изменения всех страниц будет текущая.
Действует только для карты в формате xml.

Добавлять ссылки на XSD и XSL-схемы

При выборе этой опции в заголовке карты формата XML будет указанно, как её отображать и с помощью какого файла описания структуры проверять.
Для поисковых систем это не имеет значения. Если Вы откроете карту в браузере при выключенной опции она будет отображена как обычшый XML.
При включении опции - вы увидите отформатированную таблицу.
Действует только для карты в формате xml.

В ссылки вставлять title страницы

Если формируется html файл, то содержимое анкора - это текст из ссылки, а атрибут title - это title страницы, на которую ссылаются.
Если формируется txt и параметр не выбран, то содержимое анкора - это текст из ссылки, если выбран, то - это title страницы, на которую ссылаются.
Действует только для карты в формате html и txt.

Учитывать robots.txt, meta, rel

Выключение этой опции позволяет игнорировать директивы запрета сканирования отдельных страниц, заданные в файле robots.txt и на самих страницах сайта.
Опция действует только при сканировании сайта и не влияет на формирование карты по накопленной информации.

Переходить по переадресациям

Переходить по указаниям сервера о переносе страниц.
Выключение этой опции может привести к потере части Вашего сайта при сканировании.

Режим формирования карты

Бесплатное сканирование/досканирование - сканирует сайт и формирует карту в бесплатном режиме. Действуют ограничения.

Сформировать по накопленной базе - формирмирует карту файта в различных форматах на основании накопленной информации при сканировании сайта.

Платное сканирование - сканирует сайт и формирует карту сайта с дополнительными опциями и отменой ограничений бесплатного режима. В этом режиме, если какие-то страницы уже были отсканированны, то они будет пересканированны только если они были изменены.

Платное досканирование - досканируются неотсканированные страницы.

Платное полное пересканирование - полное пересканирвоание сайта. Перед началом сканирования вся ранее накопленная информация удаляется.

VIP-формирование карты - отправляется запрос на сканирование в максимальном режиме. По окончании сканирования, специалист проанализирует результаты, сформирует карты в форматах XML и HTML и пришлет Вам подробный отчет о найденных проблемах и готовые карты сайта.

Условия предоставления платных услуг.

Проверять "существование" внешних ссылок

Все ссылки на всех страницах сайта проверяются на существование страницы, на которую она указывает.
Очень полезно дня "старых" сайтов, когда есть множество старых ссылок на сторонние рессурсы, которые могли быть удалены или перемещены.
Также хорошо для проверки молодых сайтов, что все ссылки указаны корректно.
Опция действует только при сканировании сайта и не влияет на формирование карты.

Проверять закрытые от индексации ссылки

Проверяет не только индексируемые ссылки, но и ссылки закрытые от индексации с помощью robots.txt, meta, rel. Это нужно, если Вы закрываете внешние ссылки от поисковых систем, но хотите, чтобы Ваши посетители могли их использовать.
Опция действует только при сканировании сайта и не влияет на формирование карты.

Проверять доступность всех картинок

Проверяет доступность всех картинок на всех страницах. Опция действует только при сканировании сайта и не влияет на формирование карты.

Проверять внутренние(#) ссылки

Проверяет доступность всех внутренних ссылок на всех страницах. Опция действует только при сканировании сайта и не влияет на формирование карты.

Сформировать архив html-файлов сайта

При выборе этой опции все страницы Вашего сайта добавляются в этот zip-архив. Таким образом он будет содержать полный постраничный html-образ вашего сайта без стилей и картинок. Таким, как его видят сканера поисковых систем. Архив хранится у нас на сервере 3 дня. Для его повторного формирования воспользуйтесь опцией полное пересканирование.

Обратите внимание:

• Переход между страницами внутри архива возможен, только если все внутренние ссылки были без параметров. При сохранении на диск страниц, которые вызывались с GET-параметрами их имена преобразуются для совместимости с именами файлов в операционной системе.
• Никакие файлы стилей, картинок, внешняя музыка, внешние скрипты и т.д. не сохраняются.

Архивировать gzip

Упаковывает XML-файл карты сайта в GZIP архив.
Поисковые системы коректно работают с этим форматом.

Использовать существующий sitemap.xml

При выборе этой опции сканер ищет на сайте существующий sitemap и использует из него параметры: Частота обновления страниц (changefreq) и Приоритет (priority). Кроме того, это существенно повышает скорость сканирования, т.к. сканер использует дату прошлого изменения и не сканирует те страницы, которые не изменились и присутствуют в прошлой карте сайта. В этом режиме title страниц и анкоры ссылок не будет прочитаны. Рекомендуется использовать при формировании карты сайта только в формате XML.

Параметр <meta id="revisit-after" content="1 days">, указанный на странице имеет меньший приоритет, чем параметр указанный в существующем sitemap.xml

Число ссылок в одном файле

Эта опция позволяет разбить html-файл на отдельные файлы, содержащие части карты. Для создания нескольких файлов с частями карты и постраничной навигации укажите в опции "Ссылок в одном файле:" число больше 0. Также будет создан объединяющий файл со ссылками на созданные части карты.

Вы получите архив, содержащий файл sitemap.htm, и для каждой части карты отдельный sitemapN.htm, содержащий заданное количество ссылок. Рекомендуется для сайтов, содержащих более, чем 500 страниц.

Укажите 0 для создания одного общего файла.

Интервал между запросами, сек

Чтобы не создать очень большую нагрузку на Ваш сервер, Вы можете указать сколько секунд ждать сканеру перед чтением каждой следующей страницы. Например: "0.5".

По умолчанию используется параметр Crawl-delay из robots.txt.

.
Прокомментировать/Отблагодарить