Перечень сообщений об ошибках в результатах сканирования

"Битые" ссылки

    При указании, что ссылка "битая" указывается код причины. Возможные причины:
  • 1 - пробел в адресе или длина адреса больше 255 символов.
  • 2 - не найдена внутреняя ссылка #.
  • 3 - сервер возвращает пустую страницу.
  • 404 - страница не доступна. Подробнее о http кодах можно прочитать здесь.
  • xxx - другие http коды, кроме 200.

Запрет индексации

    При указании, что страницу запрещена к индексации указывается причина. Возможные причины:
  • rel="nofollow" - атрибут ссылки ПС 'Google', говорящей не идти по ссылке, подробности здесь.
  • noindex - ссылка в блоке <noindex> .. </noindex> это способ указать ПС 'Яндекс' об игнорированнии блока при сканированнии, подробности здесь.
  • META-тег noindex - не индексировать страницу, подробности здесь.
  • robots.txt, подробности здесь.
  • class="robots-nocontent" - класс ссылки ПС 'Yahoo!', подробности здесь.
  • расширение имени файла - не индексируются файлы, расширение которых заведомо говорит о не html содержимом, например mp3, avi и т.п.

Прочие ошибки

Сервер не возвращает в заголовке время изменения страницы

Сервер не возвращает в заголовке поле Last-modified.

В этом случае ни генератор карты сайта ни сканер поисковой системы не способен определить время создания и время последнего изменения каждой из страниц вашего сайта. Т.е. не возможно определить, есть на странице изменения или нет и сканеру, как и поисковой системе приходится весь сайт полностью пересканировать, вместо того, чтобы пересканировать только измененные страницы.

Необходимо с помощью php или с помощью директив Apach "заставить" Ваш сервер сообщать когда последний раз изменялась ваша страница.

Это сообщение выдается на первые 10 страниц, у которых нет Last-modified в заголовке, остальные игнорируются.

Подробнее о кешировании и указании времени изменения страницы можно почитать здесь. А готовый пример кеширования на php взять здесь.

Не указан размер страницы в заголовке

Сервер обычно перед отправкой страницы выдает заголовок в котором содержится поле Content-Length, указывающиее размер страницы в байтах. Ваш сервер его не выдает.

Указана сессия (PHPSESSID) при вызове

При обращении к указанной странице среди прочих параметров указан параметр "PHPSESSID". Это может вызвать дублирование страниц при повторных обращениях сканера поисковой системы.

Для отключения добавления PHPSESSID к URL добавьте в начало index.php ниже следующий код:

ini_set("session.use_trans_sid", 0);

Для отключения с помощью .htaccess необходимо в файле .htaccess добавить следующую строчку:

php_flag session.use_trans_sid Off

В sitemap добавлена только 1 страница

Возможные причины:

  • на главной странице нет ссылок или все ссылки реализованны с помощью Flash;
  • все страницы, указанные на главной запрещены к индексированию с помощью мета-тега, атрибутов rel или в robots.txt. Дополнительная информация будет в разделе "Запрет индексации";
  • на главной странице все ссылки только на внешние ресурсы;
  • на главной странице стоит редирект с помощью javascript или meta тега на другую страницу;
  • главная страница не загрузилась в течение 20 секунд. Дополнительная информация будет в разделе "прочие ошибки при сканировании";
  • возможно, что из-за частых обращений к вашему серверу, хостинг определяет его как DDOS-атака и блокирует. (пока ни разу не сталкивался).

Ошибка в структуре

Структура страницы совсем не соответствует HTML стандарту. Обычно такое бывает, если страница имеет расширение html или php, а фактически содержит звуковой или видео файлы. Мелкие ошибки структуры игнорируются.

Недопустимое время xxx в заголовке URL

Указанное в поле заголовка Last-modified значение не является временем в формате GMT.

Недопустимое время xxx в META URL

В секции head в <meta http-equiv="Last-Modified" content="xxx"> некорректное время.

Переадресация (http код) URL1 на URL2

Страница переадресует с помощью http заголовка Location http коды 3xx. По возможности от них нужно избавляться, т.к. это замедляет загрузку страниц.

Главная страница сайта переадресует!
А параметр "Переходить по переадресациям" выключен!

Или включите параметр "Переходить по переадресациям" или удалите переадресацию главной страницы. Второе предпочтительнее. ;-)

URL Нет секции HEAD

У документа отсутствует секция <head>. Не фатально, но в этом случае у страницы не может быть заголовка, т.к. title должен распологаться в секции head.

Пустой title у URL

title в секции head есть, но он пустой.

Нет title у URL

Нет title в секции head.

Размер страницы URL n1 в заголовке n2

Указанное в поле заголовка Content-length значение не соответствует фактическому размеру переданной страницы.

URL Operation timed out after nn seconds with 0 bytes received вызов из URL1

Страница URL не получена за nn секунд. Указанная на URL1 страница не полученна от сервера за период в nn секунд. Это может быть связанно с временным сбоем на вашем сервере или его недоступностью. Если это повторяется, то скорей всего у вас неправильная ссылка.

URL Could not resolve host: xxx; No data record of requested type вызов из URL1

Не удалось ничего получить от указанного вами сервера xxx.

Остались недосканированные страницы или страницы, которые не удалось получить от сервера!

Остались внутренние страницы сайта, которые не удалось получить от сервера за предусмотренное время сканирования. Возможно у Вас очень медленный хостинг или часть страниц недоступна. Вы можете воспользоваться платным сканированием или бесплатно продолжить сканирование через сутки.

Content-Type: xxxx страницы URL

Недопустимый тип страницы в заголовке. Допустимые типы: text/html, application/xhtml+xml. Все остальные страницы не включаются в карту сайта.

Content-Type не содержит charset для страницы xxx

Вам необходимо настроить Apach-сервер для корректной выдачи заголовков. Если не исправить, то в некоторых браузерах страницы будут отображаться не в той кодировке. Для этого нужно прописать в настройках сервера php.ini или .htaccess или в заголовке PHP команду добавления кодовой страницы.

В .htaccess это делается командой:

    AddDefaultCharset utf-8
В PHP:
    header("Content-type: text/html; charset=utf-8");

Указан некорректный тег <base href=>

Указанно недопустимое содержимое атрибута href тега <base>. Описание тега <base>.


.