Вопросы и ответы по формированию карты сайта

За время работы сервиса ко мне обращались с различными вопросами, наиболее часто встречающиеся я собрал на этой странице. Стилистика вопросов сохранена. ;-)

Вопрос:

Здравствуйте, оплатил ваш сервис создание saitemap, делал сформатировать HTML но понял, что карта все же формируется в xml, скажите, как сформатировать в html и её получить? Заранее благодарен.

Вопрос:

Скажите, мне нужно сделать карту HTML в текстовом виде с гипрелинками и т.д... как обычная карта сайта. а не xml. сайт xxx страниц в индексе яндекса около 1300. Вы сможете сделать мне такую карту? и скажите., сколько это будет стоить для меня? Заранее благодарен.

Ответ:

После сканирования вашего сайта, вы можете сформировать карту в любом формате. Если вы хотите HTML для размещения на сайте, то укажите ваш сайт, затем нажмите "Загрузить HTML", сохраните на диск и вставьте в ту страницу своего сайта. Вы получите полный набор ссылок на все страницы вашего сайта.

Если страниц более 500, то или бесплатное досканирование на следующий день или все сразу за минимальную сумму в 35 рублей.

Вопроc:

В гугле проиндексировано 1700 страниц, а у вас нашло только 233

Ответ:

Сканер выдал на Ваш сайт сообщение "Обнаружено более 200 ошибочных ссылок." Карта сайта построена для всех корректных страниц. Если Вас смутило сообщение о том, что остались недосканированные страницы, так это те, которые у Вас на сайте ошибочные! Возможно их удалили или это какая-то ошибка у вас на сервере. Скрипт обнаружил их отсутствие и сообщил. Когда исправите, вы можете повторить сканирование. Могу также предположить, что у вашего сервера был какой-то сбой в это время и он не отдавал страницы или у него стоит защита от массового скачивания. Если стоит защита, то на время сканирования её стоит отключить.

Вопроc:

я так и делал. но генерация прервалась через 20 минут. У меня adsl 1 мегабит, скорость нормальная.... теперь получается заново нужно оплачивать сервис?

Ответ:

Ваша скорость в данном случае не имеет значения. Имеет значение скорость вашего хостера. Т.е. какой канал у хостера. Сервис обращается напрямую к указанному сайту и скачивает все страницы, анализирует их, находит ссылки, все складыает в базу данных. Есть ограничение на общее время скачивания и на скачивание каждой страницы. Параметры ограничений описаны на странице http://htmlweb.ru/analiz/sitemap_pay.php.

После сканирования в течение суток вы можете построить карту в любом формате на основании сохраненной в базе информации.

На следующие сутки, если измененных страниц менее 500, сканер бесплатно обновит базу и вы опять сможете строить карту в любом формате. И так хоть каждый день. Если страниц обновилось больше, то заходите через день или оплатите чисто символическую сумму в 35 рублей.

Вопроc:

Я оплатил построение карты сайта xxx. Очень долго ждал. Почему не все страницы попали в сайтмап? Почему много сообщений об ошибках на чужих сайтах?

Ответ:

Вы запросили анализ доступности внутренних и внешних ссылок, поэтому сканирование длилось достаточно долго. Сканер проверял доступна ли страница, на которую вы ссылаетесь со своего сайта. Соответственно, если внешних ссылок очень много и они на различные сайты, то время сканирования существенно увеличивается и Вы можете выйти за ограничения времени сканирования. Если Вы действительно хотите проверить все ссылки, то оплатите за досканирование и получите полную карту сайта и сообщения обо всех ошибочных ссылках.

Вопроc:

Подскажите, пожалуйста, как применить маскирование символов при таком результате, когда в URL используется кириллица?
Например: http://xxx.ru/фото_и_видео/раздел_1

Ответ:

Вы НЕ сможете построить для такого сайта корректную карту, которую будут понимать поисковые системы.

Вопроc:

Добрый день! Я админ сайта xxx, вчера платно сканировали мой сайт, прочитал следующую инфу: "При закрытии страницы, скрипт продолжает работать, результаты будут доступны в любое время в течение суток без пересканирования.". Где мне теперь скачать мой sitemap.xml?

Ответ:

Заходите на сайт http://htmlweb.ru/analiz/sitemap.php, укажите свой сайт и формируете sitemap.xml в бесплатном режиме. Он будет сформирован без пересканирования на основании информации из базы данных. В течение месяца Вам будет доступно ускоренное пересканирование, когда сканируются только страницы с измененными датами.

Вопроc:

Зашел на следующий день, пишет "Сайт сканируется, ждите завершения", и показывает меньшее количество страниц, вчера было 1477, а сегодня 1086

Ответ:

Видимо часть страниц не выдает дату изменения, сканер их быстро пересканирует, если до 500, то бесплатно.

Вопроc:

В получаемой карте, установлены ли параметры страниц: приорити и частота обновления. Если да, то можем ли мы изначально указать список страниц, по которым эти параметры надо изменить на максимальные или минимальные

Ответ:

Да, конечно параметры страниц устанавливаются. Сейчас вам доступно два варианта или установить всем страницам одинаковое значение или "Понижать приоритет по подпапкам", в этом случае, чем глубже в дереве каталогов страница, тем ниже её приоритет. На каждый уровень глубины отнимается "0.1" от указанного Вами начального приоритета.

Вы можете указать приоритет в заголовке страницы(head) с помощью параметра: <meta name="priority" content="0.8" />.

Вопроc:

Можно у вас заказать платную автоматическую генерацию sitemap к нескольким сайтам? Сайты по несколько тысяч страниц. Всего 7 сайтов. Насколько я понял (http://www.htmlweb.ru/analiz/sitemap.php) она стоит 35WMR на сайт?! Я так понимаю, нужно перевести WMR и дать вам адреса сайтов и электронный адрес, куда вы отправите карты?

Ответ:

Вы неправильно поняли. Каждые 2тыс страниц за 35WMR. если Вы сами используете сервис генерации карты сайта. Если на Вашем аккаунте будет достаточно денег, то карта будет построен для всего сайта. Если средств недостаточно, то сканирование прервется, для продолжения сканирования, пополните баланс и выберите "Оплата за досканирование".

Сервис полностью автоматизирован и не требует моего участия, поэтому и цена чисто символическая. Если Вы хотите, чтобы я сам сделал вам карту и прислал на почту, то это будет стоить не менее 500WMR за каждые 2000 страниц на каждом сайте.

Вопроc:

Помогите пожалуйста, разобраться в одном моменте в главе "Поддержание карты сайта". Создал благодаря вашему сервису sitemap.xml, разместил в корне и далее все по списку Ваших рекомендаций. Остался ОЧЕНЬ доволен. Перешел к разделу "поддержание карты сайта" и столкнулся с загадочным для меня выражением (или это просто так не совсем точно описано) - "создать в корневой папке вашего сайта каталог sitemap, установить на него атрибуты 777". Мне понятно, как создать эту папку и где. Ясно как её назвать. Но что означает "установить на нее атрибуты 777"?

Ответ:

дело в том, что запись в корень вашего сайта, где лежит сейчас карта хостер как правило ограничивает. И средствами php создавать и перезаписывать карту, лежащую в корне становиться невозможно. Поэтому для поддержания, мы её перемещаем в папку sitemap. По умолчанию, у большинства хостеров, при создании папок сразу устанавливаются права доступа достаточные для записи из php. Если будет сообщение об ошибке, то вам необходимо разрешить доступ на запись и создание файлов. Например, в Far-е это делается по горячей клавише Ctrl+A, когда курсор находится на папке.

Вопроc:

Я оплатил платное сканирование. Где мне увидеть внешние ссылки с моего сайта? (к сожалению без подписи)

Ответ:

На сегодняшний день сервис предоставляет возможность при первом сканировании Проверять "существование" внешних ссылок. Т.к. очень часто поставишь ссылку на какой-то полезный ресурс, а через год его нет, а ссылка "болтается". Никому никогда пока не нужно было сформировать их список. Если этот сервис вам нужен, откройте секрет зачем и в каком виде его удобнее сделать? Если он действительно нужен, то я его добавлю, т.к. список ссылок все равно формируется и мне не составит труда его выдавать.

Вопроc:

У меня следующий вопрос по платному сервису htmlweb.ru/analiz/sitemap_online.php
Если я хочу, чтобы у меня автоматически делалась карта сайта 2 раза в неделю с глубиной 3000 страниц, то сколько я буду платить?
Вот сейчас, на моем сайте xxx я буду платить за добавление 3к страниц 2 раза в неделю, даже если при прошлой индексации эти страницы были найдены?

Ответ:

Если сайт сделан правильно, то в заголовке каждой страницы возвращается её дата изменения.

Если на ваших страницах изменений мало, до 300 страниц, то за каждое обновление Вы будете платить 35 руб. за каждое автоматическое обновление. Если информации об обновлении нет(сайт криво написан), или изменяются ВСЕ 3000 страниц вашего сайта, то в режиме автоматического поддержания карты Вам это будет обходиться в 3000/300*25= 350 руб. По умолчанию, бесплатно, при первом сканировании "парсится" 500 страниц. Платно: каждые 2000 за 25. Ещё раз подчеркну, это речь о начальном сканировании. Т.е. при "кривом" сайте вручную пересканировать дешевле.

Вопроc:

Ваш сканер после оплаты начал сканировать понедельно, а мне нужно ежедневно.

Ответ:

Видимо Вы имеете ввиду параметр "Частота обновления страниц", который по-умолчанию установлен в "Еженедельно". Этот параметр Вы можете задать сами в форме чуть ниже url сайта. Если Вы запустили сканирование в режиме "еженедельно", или не с тем параметром "Приоритет", с каким хотелось бы, не расстраивйтесь. Дождитесь окончания сканирования. После чего поставьте желаемые режимы и выберите тот формат карты сайта, который хотите. Карта сформируется с вновь заданными параметрами на основании собранной ранее информации. При этом платить повторно не нужно. Все манипуляции с отсканированным сайтом в течение суток абсолютно бесплатны. В т.ч. и построение карты в html формате и дерево сайта и т.д. В течение месяца, если новых или измененных страниц меньше 500 в сутки, то тоже бесплатно.

Вопроc:

я нихрена в этом не шарю, сделайте мне карту.

Ответ:

Сервис полностью автоматизирован. Если Вы хотите участие человека, это стоит 500 руб за карту до 2000 страниц. Предвидя вопросы почему так дорого, отвечаю "Стоимость работы программы и стоимость работы человека существенно отличается."

Вопроc:

Ваш сканер "ругается" на ссылку с пробелом.

Ответ:

Ваша CMS неверно формирует ссылки. Настоятельно рекомендую ссылки сделать корректными, иначе некоторые браузеры не смогут их открывать. В CMS, если она на PHP, нужно в том месте, где формируется ссылка вызвать функцию urlencode().

Вопроc:

Если бы в Вашем генераторе присутствовала функция (nofollow) - запрета сканирования определенных страниц по маске - это бы решило проблему. Подозреваю, что это можно поправить с помощью внесения определенной строки в robots.txt - подтвердите, пожалуйста, если это так.

Ответ:

По robots.txt - вы совершенно правы, все, что запрещено для индексации сканер - игнорирует. Аналогично и с атрибутом тегa A rel='nofollow'. Это можно включить/выключить параметром при старте сканирования.

Вопроc:

При автоматической создании карты сайта, дата изменения для всех материалов будет дата создания карты или система отслеживает изменения и будут указаны свежие даты только у измененных страниц, а старые будут с предыдущими датами изменений?

Ответ:

Дата создания страниц берется из заголовка каждой страницы Вашего сайта из поля "Last-Modified:".

Вопроc:

Построение карты сайта перегружает процессор хостера. От количества запросов. Можно как-то настроить количество обращений к сайту при построении карты сайта? На данный момент у меня ограничение не более 600 хитов в течении 5 минут

Ответ:

Да, укажите задержку в robots.txt: Crawl-delay: 2

Вопроc:

Мне не пришло письмо с картой. Что делать?

Ответ:

Проверьте папку SPAM на вашем почтовом сервере, возможно оно там. Письмо приходит от sitemap@htmlweb.ru. Добавьте этот адрес в список надежных отправителей. Также Вы можете запросить карту повторно в бесплатном режиме и сразу загрузить её с сервера. Она будет сформирована без пересканирования на основании информации из базы данных.

Вопроc:

Что за опция "Сформировать архив HTML файлов сайта"?

Ответ:

При выборе этой опции все страницы Вашего сайта добавляются в этот ZIP-архив. Таким образом он будет содержать полный постраничный html-образ вашего сайта без стилей и картинок. Таким как его видят сканера поисковых систем. Архив хранится у нас на сервере 3 дня. Для его повторного формирования воспользуйтесь опцией полное пересканирование.

Обратите внимание:

• Переход между страницами внутри архива возможен, только если все внутренние ссылки были без параметров. При сохранении на диск страниц, которые вызывались с GET-параметрами их имена преобразуются для совместимости с именами файлов в операционной системе.
• Никакие файлы стилей, картинок, внешняя музыка, внешние скрипты и т.д. не сохраняются.

Вопроc:

Что за опция "Использовать существующий sitemap.xml"?

Ответ:

При выборе этой опции сканер ищет на сайте существующий sitemap и использует из него параметры: Частота обновления страниц(changefreq) и Приоритет(priority). Кроме того, это существенно повышает скорость сканирования, т.к. сканер использует дату прошлого изменения и не сканирует те страницы, которые не изменились и присутствуют в прошлой карте сайта. В этом режиме title страниц и анкоры ссылок не будет прочитаны. Рекомендуется использовать при формировании карты сайта только в формате XML.

Параметр <meta name="revisit-after" content="1 days" />, указанный на странице имеет меньший приоритет, чем параметр указанный в существующем sitemap.xml

Вопроc:

Сколько страниц может содержать карта сайта в формате XML?

Ответ:

Согласно спецификации карта сайта может содержать не более 50000 URL, а размер каждого из этих файлов не должен превышать 10 МБ.

Вопроc:

Как задать приоритет для отдельных страниц?

Ответ:

Вы можете указать приоритет в заголовке страницы(head) с помощью параметра: <meta name="priority" content="0.8" />. При этом, если включена опция "использовать старый sitemap.xml", то приоритет будет браться из него.

Вопроc:

Что за опция "В ссылки вставлять Title страницы(html,txt)"?

Ответ:

Если формируется html файл, то содержимое анкора - это текст из ссылки, а атрибут title - это title страницы, на которую ссылаются. Если формируется txt и параметр не выбран, то содержимое анкора - это текст из ссылки, если выбран, то - это title страницы, на которую ссылаются.

Вопроc:

Вопрос я загрузил сайтмап который делал у Вас на сайте, на гугле он выдал мне:
Для робота Google установлен запрет на http://xxxxx.ru/ Что делать?

Ответ:

У Вас в robots.txt полный "бардак". На Вашем сайте в http://xxxxx.ru/robots.txt Вы пытались защититься от сканирования роботами, которые, как правило этот файл вообще игнорируют. Кроме того Вы не совсем корректно указали директивы, что привело к игнорированию части сайта поисковыми системами. А вот то, что реально стоило закрыть, например, страницы админки, обратной связи, поиска Вы не закрыли – это не есть хорошо.

Вопроc:

Как разбить большую карту на части?

Как сделать карту с постраничной навигацией?

Ответ:

Укажите в опции "Ссылок в одном файле:" число больше 0.
Эта опция позволяет разбить HTML файл на отдельные файлы, содержащие части карты. Также будет создан объединяющий файл со ссылками на созданные части карты.

Вы получите архив, содержащий файл sitemap.htm, и для каждой части карты отдельный sitemapN.htm, содержащий заданное количество ссылок. Рекомендуется для сайтов с более, чем 500 страниц. Укажите 0 для создания одного общего файла.

Вопроc:

Сервер не возвращает в заголовке время изменения страницы.

Ответ:

В заголовке большинства страниц нет информации о дате/времени последнего изменения. Это вынуждает браузер ваших клиентов постоянно загружать все страницы сайта, вместо того, чтобы брать их из КЭШа. Тем самым увеличивая нагрузку на Ваш сайт и ухудшает отношение посетителей к Вашему сайту из-за долгого повторного открытия уже посещенных страниц.

Вопроc:

Когда открываю карту сайта в браузере вылетает ошибка:
Ошибка загрузки таблицы стилей: Произошла неизвестная ошибка (805303f4)http://htmlweb.ru/analiz/sitemap.xsl.

Ответ:

Это защита браузера от ссылок на сторонние домены. Пути решения:

• или не обращать внимания, т.к. с картой все нормально,
• или скачать и положить XSL файл к себе на сервер,
• или из карты убрать на него ссылку. Для этого при формировании карты в режиме "Эксперт" выключить опцию "Добавлять ссылки на XSD и XSL-схемы",
• или отключить эту защиту в браузере, для этого в адресной строке браузера набрать about:config найти переменную, security.fileuri.strict_origin_policy установить её значение в false и перезагрузить браузер.

Чтобы задать свой вопрос, воспользуйтесь контактами.

.
Прокомментировать/Отблагодарить