Разбор robots.txt и проверка запрета индексации страницы

Разбор robots.txt

С помощью этой формы вы можете проверить корректность своего robots.txt

Проверка запрета индексации страницы в robots.txt

С помощью этой формы вы можете проверить правильно ли вы закрыли от индексации те или иные страницы. Проверка осуществляется для основного робота (*)

API проверки robots.txt

Входные параметры:

• domain - адрес сайта (обязательный)
• url - адрес страницы для проверки на запрет индексации
• short - убрать лишнюю информацию из ответа
• reload - перечитать robots.txt. Иначе взять из кеша, если прошло меньше суток.

Возвращает:

• error - список найденых ошибок разделенный перереводом строки
• message - список найденых особенностей разделенный перереводом строки
• url - полный путь к robots.txt
• domain = {zone, base, www, url, domain}
• user-agent {список, содержащий вложенные директивы disallow и allow}
• Clean-param =[] - массив удаляемых параметров
• Host - основной домен, если указан
• Sitemap - ссылка на карту сайта, если найдена
в режиме проверки запрета индексации:
• disallow = на какой директиве сработал запрет или
  allow = ваш разрешенный url

Для проверки robots.txt используйте следующий API запрос:

https://htmlweb.ru/api/domain/robots/?domain=ДОМЕН&API_KEY_из_профиля

- получить информацию о robots.txt в html формате, удобно для вывода в DIV-блок

https://htmlweb.ru/json/domain/robots/?domain=ДОМЕН&api_key=API_KEY_из_профиля

- получить информацию о robots.txt в json формате, удобно для дальнейшей обработки

Пример запроса:

https://htmlweb.ru/json/domain/robots/?domain=htmlweb.ru&url=/user/&short

Ответ:

{
"status": 200,
"message": "Переадресация с http:// на https://",
"error": "В robots.txt в директиве host: https://htmlweb.ru указан другой протокол https!",
"url": "htmlweb.ru/robots.txt",
"domain": {
    "schema": "https://",
    "zone": "ru",
    "base": "htmlweb.ru",
    "www": false,
    "url": "/robots.txt",
    "domain": "htmlweb.ru"
},
"user-agent": {
    "*": {
      "disallow": [
        "/G/",
        "/Gs/",
        "/log/",
        "/links.php?",
        "/blinks/",
        "/user/",
        "/analiz/sm.php",
        "/analiz/sm_0.php",
        "/search",
        "/*?lang=",
        "/*?page=1$",
        "/*&post=",
        "/*?del=",
        "/sendsms/?",
        "/other/plat/",
        "/andreapol/",
        "/php/function/*_setup.php",
        "/php/function/*_configuration.php",
        "/php/function/*_installation.php",
        "/php/function/*_requirements.php",
        "/php/function/*_resources.php",
        "/php/function/book_*.php",
        "*/api.php",
        "/pic/?",
        "/pic/pic.php",
        "/geo/adm_"
      ]
    },
    "Mediapartners-Google": {
      "disallow": [
        "*/api.php",
        "/pic/?"
      ]
    },
    "MJ12bot": {
      "disallow": [
        "/"
      ]
    },
    "Baiduspider": {
      "disallow": [
        "/"
      ]
    }
},
"Clean-param": [
    "bd",
    "add",
    "bf",
    "reload",
    "mobile",
    "r",
    "q",
    "ref",
    "api_key"
],
"Host": "https://htmlweb.ru",
"Sitemap": "https://htmlweb.ru/search/sitemap.xml",
"limit": 20,
"balans": 0
}

Для проверки запрета индексации страницы используйте следующий API запрос:

https://htmlweb.ru/api/domain/robots/?domain=ДОМЕН&url=СТРАНИЦА&API_KEY_из_профиля

или для получения ответа в формате json:

https://htmlweb.ru/json/domain/robots/?domain=ДОМЕН&url=СТРАНИЦА&API_KEY_из_профиля

Пример запроса проверки:

https://htmlweb.ru/json/domain/robots/?domain=htmlweb.ru&url=/user/&short

Ответ:

{
"status": 200,
"message": "Переадресация с http:// на https://\n/user/ запрещен для индексации",
"error": "В robots.txt в директиве host: https://htmlweb.ru указан другой протокол https!",
"disallow": "/user/",
"limit": 20,
"balans": 0
}

Смотрите также:

• Пример на PHP разбора robots.txt и проверка запрета индексации страницы
• Создание Robots.txt
• Анализ сайта
• Создание карты сайта