Список IP адресов с которых заходили роботы

Для отслеживания создаваемой нагрузки и корректной выдачи информации мы стали определять и запоминать роботов. Роботы, которые создают высокую нагрузку и заходят чтобы содрать у нас информацию банятся с помощью iptables, что убирает бессмысленную нагрузку на сервер. Чтобы отличить хорошего робота от плохого, используется обратный DNS запрос.

API проверки ip адреса в дополнительном поле возвращает информацию о присутствии ip в этом списке

Робот Яндекса


Робот Гугл



Другие Роботы


Черный список IP адресов, с которых производились атаки типа BruteForce здесь.


.