Наш чат в Telegram для обмена идеями, проектами, мыслями, людьми в сфере ИТ г.Ростова-на-Дону: @it_rostov

История развития сайта

Март 2024

  • Выверено административное деление стран: Малайзия.

Февраль 2024

Январь 2024

Декабрь 2023

  • Новое API получения курса валют и криптовалют к рублю на сейчас:
    https://htmlweb.ru/json/valuta/kurs/eth - вернуть курс ETH
    {"status":200,"eth":{"high":"208537.34958922",..."kurs":207506}}
    https://htmlweb.ru/json/valuta/kurs/eth?fields=kurs - вернуть только средний курс на сейчас
    {"eth":{"kurs":207506}}
    https://htmlweb.ru/json/valuta/kurs/usd - вернуть курс USD
    {"status":200,"USD":{"num":840,"name":"Доллар США","kurs":915823}}
    https://htmlweb.ru/json/valuta/kurs/usdt - вернуть курс USDT
    {"status":200,"usdt":{"high":92.44,"low":89.68,"avg":91.06,....,"kurs":92.42}}
    Для валют курс берется с ЦБ РФ, для криптовалют с биржи Yobit, для TON с ton.sh.
    Набор полей разный для валют и криптовалют, всегда присутствует поле kurs.
  • .
  • Телеграм бот также теперь может показывать и конвертировать любую валюту и криптовалюту в рубли:
    /kurs ТИКЕР - курс любой (крипто-)валюты
    /kurs ТИКЕР СУММА - для конвертации СУММА ТИКЕР в рубли
    Например: /kurs usd 1000
  • Каждое 1-ое и 15-ое число месяца производится полная синхронизация MNP перенесенных номеров, т.к. удаление номеров из базы переносов, когда абонент вернулся к первоначальному оператору, иногда к нам не поступает.
  • Сервис коротких ссылок теперь может уведомлять в телеграм о каждом переходе по ссылке. Очень удобно публиковать объявление с QR кодом и сразу узнавать что его открыли, и кто конкретно открыл.
  • Добавления в Специальные символы HTML
  • Большое обновление алгоритмов и возможностей в Телеграм бот для защиты от спама в чате
  • К сожалению, из-за спамеров мы вынуждены ограничить бесплатное пользование сервисом коротких ссылок.
  • Новые API в сервисе получения информации об абоненте.

Ноябрь 2023

  • Бесплатный телеграм бот для приема участника в чат, если он правильно заполнил анкету. Бот позволяет посчитать сообщения, содержащие указанную строку в разрезе участников чата.
  • В настройках СМС-шлюза добавлен чекбокс "Медленная отправка" - при включении, на шлюз, за одно его обращение на сервер, отправляется только одна смс. Это позволяет избежать блокировок операторов, которые не дают отправлять несколько смс в минуту.
  • Все почтовые адреса при регистрации будут нормализоваться, никаких точек и плюсов в @gmail.com и плюсов в @yandex.ru больше не принимаем. Задублировано было более 5% нашей базы пользователей.
  • Выверено административное деление стран: Япония

Октябрь 2023

  • Добавили возможность пополнить баланс через кошелек телеграмма. Для этого при пополнении баланса выбирайте "Telegram Wallet", укажите сумму которую хотите получить в рублях и ту валюту, в которой будете оплачивать: TON, BTC, USDT. В этом случае суммарная комиссия и конвертация не превысит 5%.
  • При пакетной проверке номеров телефонов добавили столбец "город" - в нем указывается областной центр, т.к. в большинстве случаев оператор сообщает только регион привязки абонента, а наибольшее скопление абонентов в областном центре, то вероятность попадания высокая.
  • Полная пересинхронизация MNP перенесенных номеров
  • В связи с низкой ликвидностью WMZ(конвертация в USDT - потеря 20%, в другие валюты более 15%), комиссия за пополнение в WMZ составит 8%

Сентябрь 2023

Август 2023

Июль 2023

  • Выверено административное деление стран: Латвия с 1 июля 2021 года
  • Если ваш SMS шлюз не отвечает более 30 минут, на почту приходит сообщение с заголовком "Ваш SMS шлюз недоступен" и телом SMS шлюз name(phone) не доступен более 30 минут, с d.m.y H:i. Добавил дублирование этого сообщения в привязанный телеграм. Повторное сообщение придёт только после перехода шлюза в рабочее состояние и потом опять 30 минут не активного при наличии смс для отправки.

Июнь 2023

Май 2023

  • Api проверки Email на валидность возвращает дополнительный параметр:
    normalise - нормализованный e-mail. Адреса на yandex и gmail приводит к единому адресу исключая лишние точки, плюсы и т.д., которые могут использоваться для двойных регистраций или отслеживания.

Апрель 2023

Март 2023

Январь 2023

  • Выверено административное деление стран: Уругвай
  • Пополнение баланса через нашего телеграм-бота посредством Робокассы - команда /pay

Февраль 2023

  • Выверено административное деление стран: Панама
  • Добавлен тариф 50тыс.запросов в линейку тарифов: Тарифы

Декабрь 2022

  • Счет на оплату наших услуг обзавелся QR кодом для вашего удобства: пополнить баланс
  • Исправлены одинаковые координаты у разных населенных пунктов с одинаковым названием из разных регионов России
  • Все подразделы на страницах теперь кликабельные, при клике на подзаголовке в буфер обмена сохраняется ссылка на это место.

Ноябрь 2022

Октябрь 2022

Сентябрь 2022

Август 2022

  • У нашего телеграм-бота новые команды:
    • /site - перейти на htmlweb.ru с авторизацией.
    • /% - Расчет обратного процента:
      Сколько нужно денег перевести чтобы за вычетом % налога получилась нужная сумма
      Сколько сумма с НДС, если есть сумма без НДС
  • Последнее время идет большое количество бесплатных запросов без передачи API_KEY с превышением лимита. Мы вынуждены блокировать такие IP. Усложнили алгоритм отслеживания использования различных IP (прокси) для обхода ограничения на кол-во бесплатных запросов.

Июль 2022

Июнь 2022

  • Обновил комплект скриптов выбора города и других для работы в PHP 8.1 без сообщений deprecated
  • Телеграмм бот для организации мероприятий и записи на участие по заказу клуба "Соль": описание
  • Пример на PHP уведомление о платежах из Бланк-Банка по Webhook. Удобно автоматом разносить поступающие по СБП платежи в режиме реального времени.
  • Новый API метод /json/money/yobit_fees возвращает актуальные комиссии на вывод с криптовалютной биржи Yobit.
  • Новая команда у телеграм-бота /yobit - возвращает актуальные курсы по валютным парам ETH и BTC к рублю и доллару и комиссию на вывод.

Май 2022

  • C 1 мая мы предоставляем скидку 80%, если обновляться не реже 1 раза в 12 месяцев, иначе скидка - 50% на обновления базы данных телефонных def-кодов и справочник банков России.
  • Новые возможности интеграции СМС шлюза:
    • Отправка смс с вашим текстом в ответ на входящий звонок, опция:
      [x] Отправлять СМС в ответ
    • Возможность не уведомлять об исходящих СМС через программу обратного вызова/телеграм/Email, опция:
      [x] Не вызывать callback при отправке СМС
  • Телеграмм бот для организации встреч по заказу бизнес группы: описание
  • Теперь у нас можно скачать базу MCC, MNC кодов с данными по всему миру в формате CSV. Так же действует скидка на все обновления в течение года - 80%, если реже - 50%
  • Заполнение полей time_zone и tz. На сейчас заполнено у 1 176 632 из 1 368 664 населенных пунктов в мире, т.е. заполнено 86%.

Апрель 2022

  • Заполнено поле названия временной зоны tz для большинства населенных пунктов мира в базе городов, добавлено это поле в выгрузку. Для тех кто приобретал временные зоны в виде числа(поле time_zone), при обновлении будет выгружено поле tz без доп.оплаты. На сейчас заполнено у 512 629 из 1 368 664 населенных пунктов в мире.
  • В базу операторов связи добавлен ИНН
  • Нам постоянно приходят письма из полиции с запросами на выдачу информации по конкретным сотовым абонентам в рамках заведенных уголовных дел. Следователи используют наш сайт для поиска какому оператору принадлежит номер телефона и потом шлют нам письма, как оператору. Информационное сообщение рядом с нашим юр.адресом о том, что мы не оператор - частично помогло, теперь письма приходят не каждый день. Но это не решило проблему. Мы решили облегчить задачу наших высокоинтеллектуальных следователей и вместе с информацией об операторе теперь показываем и его юридический адрес, который берем из базы зарегистрированных юридических лиц. Будем надеяться это поможет раскрываемости преступлений!

Март 2022

Февраль 2022

Январь 2022

Декабрь 2021

Ноябрь 2021

Октябрь 2021

  • Выверены страны: Непал (новое административное деление 2015г), Бермуды.

Сентябрь 2021

  • Пользователи, у которых нет купленных запросов и денег на балансе, продолжающие отправлять запросы после исчерпания бесплатных, будут получать предупреждение и если запросы не прекращаются, их IP-адрес будет полностью заблокирован, чтобы не создавать лишнюю нагрузку на наш сервер.
  • Выверены страны: Турция, Кипр.

Август 2021

  • Наш телеграм-бот может подтверждать номер телефона и открываться сразу с авторизацией: открыть бота
  • Подключили прием оплаты через Payeer
  • Выверены страны: Камбоджа, Австрия.
  • API получения города по GPS - координатам изменился формат вызова и дополнилось параметрами country и level, которые позволяют сузить выборку, ограничив поиск в пределах указанной страны, и исключив маленькие населенные пункты.

Июль 2021

Июнь 2021

  • Добавили описание конического градиента в CSS-градиент.
  • Информация об IP адресе теперь выдает сообщение о найденных Прокси-серверах на данном ip, например: 167.99.62.12.
    При запросе информации по API дополнительно возвращается:
    "proxy": {"type": ["HTTP"],"ip": "167.99.62.12:8080"},
    "message": "На данном IP адресе обнаружен прокси-сервер!"
    . Описание здесь
  • В списке бесплатных прокси серверов добавилась возможность выбирать только анонимные прокси.
  • Восстановлено пополнение баланса через RoboKassa.
  • Получение оператора и регион по номеру телефона.
    Раньше мы не проверяли длину номера и клиенты получали большое количество проверок по нереальным(ошибочным) номерам, чем были недовольны. Сейчас столкнулись с обращением, что бывают номера длиннее, чем стандарт в стране. В связи с этим, добавили проверку длины в форме, учли что длина в Германии может быть 12 и 13 цифр, если длина больше, то сообщение будет, но проверка все равно будет производиться.
  • Обновили систему нумерации телефонных номеров Германии

Май 2021

  • Защита от халявщиков, которые использовали прокси для проверки e-mail адресов и других сервисов. Если вам очень хочется работать через прокси, - авторизуйтесь или передавайте api_key: 20 запросов в сутки - бесплатно, потом от 1.5 копейки за запрос.
  • В профиле можно задать IP адреса, с которых можно вызывать API и домены для доступа из javascript. А также задать порог информирования о балансе.
  • C 1 июня 2021г. вводится ограничение на количество бесплатных запросов с одного сайта без передачи api_key.
  • Начинаем заполнять ISO коды для районов внутри регионов по странам.

Апрель 2021

Март 2021

  • Выверены страны: Польша. При выверке активно заполняем поле wiki. Если нет в русской википедии, даем ссылку на английскую или национальную.
  • Добавили возможность обновления базы данных городов со скидкой 80%, если обновляться не реже 1 раза в 12 месяцев, иначе скидка - 50% !
  • Переделали систему поиска, теперь в одном флаконе поиск по сайту, страны, города, регионы и функции PHP

Февраль 2021

Январь 2021

Декабрь 2020

Ноябрь 2020

Сентябрь 2020

Август 2020

Июнь 2020

Апрель 2020

Март 2020

Февраль 2020

  • Обновили парсер авито, сделали парсер авито онлайн.
  • Мультипоточность каждому пользователю по API.
  • Приложение GSM - шлюз вернулось в google play
  • Новые возможности telegram бота:
    • Команда /kurs - курс ЦБ РФ доллара и евро
    • Команда /num2str - написание числа (суммы) словами
    • Поддержка языка пользователя, т.е. вы получите все ответы на том языке, который Вы установили командой /lang
  • Большое обновление по Украине. Добавлены мелкие села, добавлены синонимы к большинству населенных пунктов на украинском языке.
  • API для уведомления себя на телеграмм
  • API склонения и грамматики перехал на новую платформу и дополнился новыми возможностями.
    Возможность получать слово в любом склонении, падеже, роде. Например у вас есть именительный падеж слова Австралия, а вам нужно написать "флаги Австралии", вызовите:
    http://htmlweb.ru/api/service/inflect/?inflect=Австралия&grammems=РД&nolimit&html&letter_case=ucfirst
    И получите:
    Австралии

Январь 2020

Декабрь 2019

Ноябрь 2019

  • Проверка вероятности попадания письма в спам
  • Написание чисел словами теперь позволяет писать до дециллиона, например запрос: https://htmlweb.ru/api/convert/num2str?num=123456789012345678901234567890123456&noLimit&html вернет: "сто двадцать три дециллиона четыреста пятьдесят шесть нониллионов семьсот восемьдесят девять октиллионов двенадцать септиллионов триста сорок пять секстиллионов шестьсот семьдесят восемь квинтиллионов девятьсот один квадраллион двести тридцать четыре триллиона пятьсот шестьдесят семь миллиардов восемьсот девяносто миллионов сто двадцать три тысячи четыреста пятьдесят шесть рублей 00 копеек"

Октябрь 2019

  • Список операторов России дополнен признаком "Виртуальный оператор (MVNO - mobile virtual network operator)"
  • В связи с изменениями ЦБ РФ справочник банков поменял структуру, добавлены поля.
  • Новый параметр no_empty, переданный в API запросе убирает из ответа все пустые поля.
  • Пакетная проверка номеров телефонов позволяет по каждому корректному мобильному телефонному номеру дополнительно сделать HLR-запрос для проверки актуальности и получения номера SIM-карты
  • Новые возможности интеграции СМС шлюза с telegram ботом:
    • Информация о проблеме на СМС шлюзе отправляется на мыло и в телеграмм
    • Пересылка СМС в Telegram
    • Команда /gate_info - выводит состояние ваших шлюзов
    • Команда /gate_balans - выводит все последние балансовые СМС, по всем вашим шлюзам

Сентябрь 2019

Август 2019

Июль 2019

Июнь 2019

Май 2019

Февраль 2019

Январь 2019

Декабрь 2018

Ноябрь 2018

Август 2018

  • Оказывается нашим API пользуются аппаратные устройства, которые не могут работать по https. Сделали если браузер явно не требует https и явно указать http, то будет контент отдаваться по http. Кому интересно это делается следующим кодом в .htaccess:
    RewriteCond %{HTTP:Upgrade-Insecure-Requests} (1) [NC]
    RewriteCond %{HTTPS} !on
    #RewriteCond %{HTTP:HTTPS} !on
    #RewriteCond %{SERVER_PORT} !^443$
    #RewriteCond %{ENV:HTTPS} !on
    #RewriteCond %{HTTP:X-HTTPS} !1
    #RewriteCond %{HTTP:CF-Visitor} '"scheme":"http"'
    #RewriteCond %{HTTP:X-Forwarded-Protocol} !=https
    ##RewriteCond %{HTTP:X-Forwarded-Proto} !https
    ##RewriteCond %{HTTPS} off
    #RewriteCond %{HTTP:Front-End-Https} !on
    RewriteRule .* https://%{HTTP_HOST}%{REQUEST_URI} [L,R=307]
    #RewriteRule ^/?(.*)$ https://%{SERVER_NAME}/$1 [L,R=307]
    
    закомментированные строчки помогут на разных хостингах

Июль 2018

Июнь 2018

Май 2018

Март 2018

Январь 2018

  • Добавилась авторизация через Facebook и Google.
  • С 27.01.2018г изменена тарификация запросов. Стоимость единичного запроса возросла с 0.15 до 0.25. Пакеты запросов и бесплатные запросы остались без изменений.

Декабрь 2017

  • СМС шлюз позволяет разделять СМС по регионам и операторам.
  • Продолжаем исправлять косячки после перехода на UTF-8

Ноябрь 2017

  • ТИЦ 220. В поисковый индекс Яндекса вернулась большая часть сайта 539тыс.страниц.

Октябрь 2017

  • Полный переход сайта на UTF-8.

Сентябрь 2017

Август 2017

Июль 2017

Июнь 2017

Апрель 2017

Март 2017

Январь 2017

  • ТИЦ 180. В поисковом индексе яндекса 0.014% страниц от того, что было до обнуления ТИЦ. Было 700тыс. Сейчас 10тыс.
  • Запустили банилку по ip всех сканеров, троянов и пр.нечести. В первые сутки забанено больше 100 IP-адресов.

Декабрь 2016

  • Добавили возможность отправки USSD запросов через SMS шлюз. Добавлен суточный лимит на отправку SMS.
  • Количество бесплатных запросов в сутки сокращено до 20. Если денег на балансе недостаточно для приобретения указанного в профиле пакета запросов, но достаточно для списания одного запроса, запрос будет обработан и списаны средства за единичный запрос.

Ноябрь 2016

  • Яндекс обнулил ТИЦ за продажу ссылок.

Июль 2016

Апрель 2016

Январь 2016

Декабрь 2015

  • Comepay подняли комиссию по банковским картам до 1.7%. Глюков меньше не стало.
  • СМС шлюз на андроид теперь принимает не только входящие СМС, но и входящие звонки

Ноябрь 2015

  • Подключил платежную систему Comepay. Комиссия по банковским картам 1.3%. Глючная безумно, но комиссия радует.
  • ТИЦ 220

Сентябрь 2015

Август 2015

Май 2015

  • ТИЦ сайта неожиданно вырос со 140 до 200

Апрель 2015

Март 2015

Февраль 2015

Январь 2015

Декабрь 2014

Ноябрь 2014

Октябрь 2014

Сентябрь 2014

Май 2014

Март 2014

  • Qiwi стал взимать комиссию 3% при перечислении на счет

Январь 2014

  • Новый шлюз для отправки СМС с ценой от 10 копеек оптом и 25 копеек в розницу на Россию. Телефонная книга, загрузка телефонов из текстового файла любого формата, выгрузка в VCARD, формирование QR-кода для отправки смс с телефона и для загрузки контактов в телефон.
  • API праздников

Декабрь 2013

Ноябрь 2013

Октябрь 2013

Новые API сервисы:

23.10.2013 без предварительного уведомления и возможности забрать актуальный дамп, хостинг-провайдер hosting.ua, на котором был наш проект, заблокировал доступ к аккаунту. Несколько десятков сайтов потеряли актуальную информацию и вынуждены были переехать на другой хостинг. Сейчас мы на серверах в Германии у hetzner.de.

Сентябрь 2013

Август 2013

Июль 2013

  • Сервис учета доменов
  • Сервис продажи доменов
  • База ip-адресов теперь автоматически вычищается. Все ip адреса, по которым не было запросов более года удаляются из базы. При первом запросе ip адрес запрашивается у сервера ip-адресов. Это позволяет поддерживать актуальной информацию, не увеличивая объемы.
  • Введено ограничение на количество запросов в сутки от одного ip адреса или пользователя. Теперь в течение суток один пользователь может сделать не более 50 запросов. Это обусловлено тем, что некоторые, не совсем порядочные пользователи, используют наши сервисы для автоматизированного получения информации для своих сайтов, что приводит к огромному, бессмысленному трафику и снижению скорости работы для нормальных пользователей.

Май 2013

Март 2013

Февраль 2013

  • Все старны мира с детализацией до города, телефонные номера городов, правило набора номера, географические координаты, три варианта карт. Все это здесь.

Январь 2013

Декабрь 2012

  • Временно забросил этот проект т.к. занимался развитием студий загара "Барабу", "Карамель" и "SunLife".

Ноябрь 2012

Октябрь 2012

Сентябрь 2012

Август 2012

  • GEO-сервисы.
  • Сервис Whois позволяет дополнительно сразу узнать всю информацию о домене из DNS.
  • Сервис Чей ip позволяет получить информацию о любом IP в мире опрашивая все известные WHOIS сервера: whois.ripe.net, whois.arin.net, whois.lacnic.net, whois.afrinic.net.

Июль 2012

  • Возможность добавить комментарий к любой записи в черном списке сайтов.
  • Модальные окна. Буду потихоньку переписывать все сервисы сайта по новым правилам.

Июнь 2012

Май 2012

  • Изменения в генераторе карты сайта. Теперь он содержит вкладки:
    Новичок Эксперт VIP Информация Структура XML История
  • В бесплатном режиме для зарегистрированных пользователей возможна отправка карты на электронную почту. Почта задается в профиле.
  • Возможно вручную задать задержку при сканировании для медленных хостингов. Ранее только через параметр Crawl-delay из robots.txt
  • Разобрался с системой истории и навигации с подменой адресной строки браузера в HTML5
  • Добавил возможность построить карту SSL-сайта, т.е. сайта с httpS://
  • ТИЦ 130.
  • Из-за частой смены ссылок на витрине ссылок поднял цену размещения до 70 рублей.

Март 2012

Февраль 2012

  • ТИЦ упал до 100 :(

Декабрь 2011

  • Новый PHP скрипт для поиска по сайту с учетом морфологии русского языка + карта сайта
  • Новая возможность сервиса коротких ссылок: C помощью этого сервиса Вы можете налету преобразовать любой GET запрос в POST, например для перехода на оплату Webmoney требуется передать данные POST-запросом. Иногда это бывает неудобно, например, для перехода на оплату по сформированной ссылке. В этом случае Вам поможет сервис преобразования GET в POST. Вы передаете обычную строку с параметрами, она будет преобразована в POST-запрос и пользователь будет отправлен на сервер оплаты. Сервис абсолютно бесплатный.
  • Оплата любой услуги без регистрации.
  • Уроды спамеры стали использовать ссылки через сервис коротких ссылок в своих письмах. Хостеру пофигу - они не разбираясь - тупо отключают сервер, на котором хостится домен. И вместе с ним все остальные сайты.
  • Очередная спам рассылка со ссылкой на 0pi.ru заставила меня принять жесткие меры: теперь если нет referer, то перед переходом задаю вопрос не спам ли это!?
  • В справочник PHP добавил классы с их методами.

Ноябрь 2011

  • Сменил дизайн главной страницы....чего-то нехватает.
  • ТИЦ со 140 поднялся до 150. PR=3. Сайт посащает стабильно более 5тысяч уникальных посетителей.
  • Стал чаще задумываться о выделенном сервере и предоставлении услуг хостинга...
  • Генератор карты сайта теперь понимает карты изображений: <map ...><area href=...>

Октябрь 2011

  • Много всего поменял по-мелочи в октябре.
  • Немножко переделал алгоритм формирования карты сайта. Вроде в некоторых ситуациях должна работать стабильнее.
  • Подключил оплату через PayPal.

Сентябрь 2011

Август 2011

Июль 2011

  • HTML вариант карты сайта может разбиваться на части по N ссылок.
  • Новые возможности генератора карты сайта в новом интерфейсе.

Июнь 2011

  • Защита от подбора пароля. При единожды неправильно введенном пароле, к запросу на логин и пароль добавляется КАПЧА для этого логина и IP.
  • Яндекс отказал мне в размещении на сайте рекламы ссылаясь на нарушение правил.
  • Пополнение счета с Qiwi-кошелька.

Май 2011

  • При построении карты сайта используются параметры: <meta name="revisit-after" content="1 days" /> и <meta name="priority" content="0.8" />.
    Теперь можно использовать существующий sitemap.xml для получения из него приоритета и периода обновления. При этом скорость построения карты существенно выше, т.к. страницы без изменений не сканируются повторно.

Апрель 2011

  • Поддержка кириллических доменов ".РФ" в карте сайта и в Whois.
  • При построении карты сайта используется параметр Crawl-delay в robots.txt, который определяет задержку перед сканированием следующей страницы.
  • При сканировании сайта есть возможность получить архив со всеми HTML страницами сайта.
  • Наконец то Google снова "оценил" сайт в PR=3.
  • Новый алгоритм распознавания кодировки страницы при сканировании сайта

Март 2011

  • Сделал возможность покупки некоторых скриптов. Как правило, это полные версии представленных на сайте примеров.
  • Стоимость платного построения карты стала 15 рублей ~ 0.5$
  • Сервис коротких ссылок позволяет добавлять информационную строку и отображать сайт во фрейме.
  • Новый сервис "Vip-построение карты сайта"
  • Добавил в сервис "Чей домен" новые зоны и поддержку зоны РФ
  • ТИЦ стабильно болтается 80-90. Количество ежедневных уникальных посетителей стабильно перевалило за 4000. В некоторые дни более 6000. Сервер стабильно стал не справляться с нагрузкой.

Февраль 2011

  • В генераторе карты сайта появилась дополнительная галочка, которая включает или выключает разбор слов на всех страницах для формирования поиска по сайту. Разбор слов существенно замедляет формирование карты. Если Вам не нужно создавать базу слов для поиска на вашем сайте, то включать её не нужно. На карту сайта это никак не влияет.
  • Генератор при сканировании исключает ссылки "skype:", "wmk:"
  • Запустил сервис коротких ссылок. Поддержка POST-запросов. Поддержка e-mail через Яндекс-сервис.

Декабрь 2010

Ноябрь 2010

Июль 2010

Июнь 2010

Май 2010

  • 12 новых примеров JavaScript
  • Новые возможности генератора карты сайта:
    • проверять даже ссылки закрытые от индексации;
    • проверять доступность всех картинок на сканируемых страницах.
  • Из-за добавления возможности делать поиск по вашему сайту база разрослась до нереальных размеров и сайт стал сильно тормозить. Пришлось сократить время сохранения базы слов вашего сайта до 3-х суток.
  • IP-телефония

Апрель 2010

  • Добавлено пополнение аккаунта с помощью WebMoney, PerfectMoney, SMS, и любыми другими валютами через RoboKass-у. Теперь, как меня давно просили пользователи, при наличии достаточного количества средств на балансе аккаунта, карта сайта строится для всего сайта за один раз.
  • Исправил мелкие проблемки связанные с работой генератора карты сайта в режиме полного пересканирования.
  • Добавил анализ '*' в директивах Disallow файла robots.txt.
  • GZIP-архивирование страниц в выдаче
  • Поиск на вашем сайте на основании сканера для генерации карты сайта.
  • Автоматическая покупка скрипта выбора страна, область, город и списание с баланса в оплату.
  • Gif-Аниматор без ограничений на размер изображений.
  • Пополнение баланса в кредит с WMC-кошелька.
  • Поиск на вашем сайте
  • Витрина ссылок

Март 2010

  • В связи с пожаром на хостинге 27 марта в Одессе и нерегулярностью бэкапов многое пришлось восстанавливать.
  • Новая система оплаты, партнерка.

Февраль 2010

Январь 2010

  • Много новых примеров PHP и AJAX.
  • Первые претензии на мой генератор карты сайта в WM-арбитраже. Обидно как-то. Более 30 000 успешно построенных карт сайтов, из них пару сотен платно. Ни одного положительного отзыва (не считая отзывов в форму обратной связи) и две претензии. Одну позже сняли, т.е. признали, что у них сайт "кривой".
  • Генератор карты сайта теперь прикидывается браузером Mozilla и указывает Referer. Напоролся на использование на сайтах тега <BASE href="..">, - добавил его обработку в генератор.
  • Реализовал пример проверки принадлежности url robots.txt: robots_txt_razbor
  • Нижний баннер теперь загружается, когда до него прокрутились.
  • Ищу новый хостинг. Нынешний виртуальный не выдерживает нагрузки.

Декабрь 2009

  • Примеры PHP функций библиотеки GD теперь с результатом выполнения
  • Вернул оплату через SMSZamok, т.к. как ни странно, но деньги выплатили, хотя на письма так и не ответили.
  • Хотел добавить оплату Яндекс-деньгами, но после длительной переписки, мне сообщили:
    Стоимость подключения 8000 руб. (единоразово), комиссия с платежей 5% (без перекладывания на пользователей). Поступающие средства перечисляются непосредственно на расчётный счёт магазина один раз в месяц за вычетом комиссии.
  • Все графические функции PHP выводятся с работающими примерами.
  • Все примеры снабдил кнопкой "Скопировать в буфер"
  • Количество уникальных посетителей в сутки перевалило за 3000, количество построенных карт сайтов за 24 часа перевалило за 1000 в сутки. Хорошее испытание на прочность моему хостеру SWEB.
  • В связи с нереально высокой загрузкой сервера, я вынужден ввести ограничение на бесплатное построение карты сайта. Бесплатно можно строить карты с 0 часов до 7 часов по московскому времени. В остальное время бесплатно строятся карты до 500 страниц. Кроме этого, с одного IP адреса бесплатно можно строить только одну карту сайта. Бесплатное досканирование на следующий день возможно до 100 страниц в дневное время, и, как и раньше, до 500 страниц с 0 часов до 7.
  • Разделил генератор карты сайта на отдельные модули. Пытаюсь оптимизировать код. Надо как-то бороться с нагрузкой...

Ноябрь 2009

  • Столкнулся с непорядочностью SMS-сервиса SMS. Замок, который с мая не выплачивает заработанные деньги и все обращения игнорирует. Сервис отключил, для оплаты SMSками используйте ROBOKASS-у.
  • Добавил систему PHP-поиска прямо из строки поиска браузера
  • Добавил автоподгрузку новых функций с ru2.php.net. По мере добавления буду переводить.
  • Реализовал пожелания пользователей по генератору карты сайта:
    Архивировать gzip
    Прислать на e-Mail
  • Добавил новый сервис Черный список сайтов. Причиной послужил сервис SMSZamok, который сначала постоянно задерживал платежи, а потом просто перестал платить и отвечать на обращения.
  • C 28.11.09 поменял формат рекламы Яндекса и сделал поиск с помощью Яндекса.
  • Все PHP функции из справочника PHP-функций загружаются через AJAX.

Октябрь 2009

Сентябрь 2009

  • Изменения в генераторе карты сайта:
    После сканирования и построения карты сайта появляется возможность посмотреть все ошибки на сайте, внизу после сканирования показываются первые 200 ошибочных страниц и прочих ошибок. Для просмотра всех остальных ошибок воспользуйтесь ссылкой "Ошибки на сайте", которая появляется после указания url в зоне информации о прошлом сканировании сайта. Особенно рекомендуется пользоваться, перед следующим сканированием, если Вы не дождались окончания прошлого.
    Если в заголовке страницы Content-Type: не содержит "text/html", эта страница не сканируется и не добавляется в карту сайта.

Август 2009

Июль 2009

Июнь 2009

  • Добавил 15 новых шаблонов сайтов.
  • Сервис создания ссылок
  • Придумал новый прикол, как прятать партнерские ссылки. Теперь абсолютно все внешние ссылки на этом сайте просматриваются без партнерской "добавки". При этом сами ссылки везде указанны как обычно с партнерским кодом. Как говорится, все гениальное - просто. Для интересующихся, "секрет" находиться в файле js.js функция oef().

Май 2009

  • Поправил баг в генераторе карты сайта, связанный с обращением внутри сайта то по www, то без www.
  • Поддержание актуальной карты сайта
  • Яндекс развлекается то ТИЦ поднимет до 180, то "обрушит" до 40. Полная неадекватность. Видимо тестируют какие-то алгоритмы. Сайт стабильно посещает порядка 1800 уникальных посетителей в сутки. Строится порядка 140 карт новых сайтов.

Апрель 2009

  • Вынес все сервисы сайта на отдельную страницу "сервисы"
  • Генератор карты сайта: убираю сессии формата "sid=5ab663da46f57f18a59383a29859aff0"
  • Подключил оплату с помощью z-payment. Интерфейс как у WebMoney, за месяц ни одного платежа. Видимо система "мертвая".
  • Карту сайта теперь можно строить в виде Дерева - с отступами и подуровнями, доступна после формирования любой другой карты, т.к. для её формирования нужна вся информация о структуре сайта.
  • Наконец нашел кто портил кеширование. Это Sape-контекст, - исправил. ;-)
  • Деноминация Google PR до 0. Странно :-( Зато ТИЦ подрос до 120. Правда ни то ни другое не влияет на выдачу. Количество уникальных посетителей в сутки переваливает за 2000.
    За месяц WebMoney BL вырос с 24 до 56.
  • Проверил партнерские программы, в которых я учавствовал. Больше всего порадовал сервис регистрации в каталогах 1ps. Реально начисляют партнерские деньги. За полгода 1500р накапало. Некоторые программы поумирали, я их поудалял из моего списка. По ходу нахождения новых полезностей добавляю туда ссылочки.

Март 2009

  • Генератор карты сайта теперь может проверять не только существование внешний ссылок, но и внутренних(#). Но теперь это доступно только при платном сканировании, т.к. к карте сайта не имеет никакого отношения, а значительно повышает нагрузку на сервер.
  • Сразу после указания домена, показывается по нему сводная информация о прошлом сканировании.
  • Добавлено:
    Описание ошибок, выдаваемых после сканирования сайта.
    Преимущества платного построения карты сайта.
  • По просьбе одного из пользователей добавлена возможность формировать ссылки в формате txt и csv: Допустим есть сайт. Мне нужно закупить на него много ссылок на разные страницы, а не только на главную.
    Я выгребаю таким способом все ссылки(страницы) этого сайта. Сортирую их, отбрасываю ненужные.
    Нужные, - это несколько тысяч разных страниц.
    мне они нужны в виде:
    <a href="http://ссылка">Части тела 4 сезон / Nip Tuck (2006)</a>
    В столбик, одна строка - одна ссылка. В текстовом файле.
    Выбрав ссылки, я гружу этот файл на биржу ссылок типа сапе.ру, и покупаю ссылки на эти страницы.
    По 1-2 ссылки на каждую из этих нескольких тысяч страниц.
  • Расширил возможности параметра "В ссылки вставлять Title страницы(html,txt)":
    Если формируется html файл, то содержимое анкора - это текст из ссылки, а атрибут title - это title страницы, на которую ссылаются Если формируется txt и параметр не выбран, то содержимое анкора - это текст из ссылки, если выбран, то - это title страницы, на которую ссылаются
  • Подключены прямые платежи WebMoney. Сервис SMS-Замок, который я использовал к сожалению во-первых криво принимает WebMoney, во-вторых переводит деньги с задержкой более 3х месяцев.

Февраль 2009

  • У генератора карты сайта теперь при закрытии окна сканирование продолжается. Вернул эту возможность из-за некорректности работы браузеров, которые разрывают соединение, даже если окно и не закрыто.
  • Учитываю все секции Disallow: из robots.txt

Январь 2009

  • Падение ТИЦ до 70. Ну и Фиг с ним. Зато количество ежедневных уникальных посетителей перевалило за 1000! Яндекс перегнал по поставляемому трафику Google.
  • Sitemap переписан полностью на MySQL.
  • Сделал ускоренное повторное сканирование измененных страниц сайта с помощью отслеживания изменения в заголовке Last-Modified или Content-Length. Запрос формируется с указанием If-Modified-Since, обрабатывается ответ сервера HTTP 304.
  • Ранее сканирование продолжалось даже при закрытие окна браузера. Сейчас, если окно закрыть, - сканирование прекращается. Если прервать сканирование, то его можно будет потом в любое время продолжить.
  • Проверка соответствия размера страницы и размера, возвращаемого в заголовке.
  • Из-за некорректности вставки контекстной рекламы в начало страниц, возникали проблемы с разбором.
  • Корректный разбор заголовков и ссылок сайтов в формате UTF-8 и iso8859-1.
  • Добавил возможность указывать в заголовке ссылку на XSLT схему отображения карты сайта (http://htmlweb.ru/analiz/sitemap.xsl).
  • Возможность полного пересканирования сайта за 0.3$.
  • В ближайшее время будет реализованна возможность автоматически поддерживать у Вас на сайте актуальной карту сайта с оповещением поисковых систем об изменениях.
  • Переделал большую часть описаний функций PHP. Не ожидал, что уйдет так много времени.

Декабрь 2008

  • На 1.12.08 Sitemap показал 870 страниц. ТИЦ 240. PR 3. Среднесуточное количество уникальных посетителей стабильно перевалило за 660. В отдельные дни доходит до 919. Основной поисковый трафик делает Google-50%. Подрос и Yandex до 47%, остальные поисковики дают менее 3%. В целом прямые переходы и закладки - 78%, поисковики - 19%.

Ноябрь 2008

  • На 1.11.08 Sitemap показал 825 страниц. ТИЦ 240. PR 3. Среднесуточное количество уникальных посетителей стабильно перевалило за 450. В отдельные дни доходит до 720. Основной поисковый трафик делает Google-50%, Yandex-30%, остальные поисковики мене 5%. В целом прямые переходы и закладки - 81%, поисковики - 16%.
  • Пополнил коллекцию Шаблонов сайтов.

Октябрь 2008

  • 822 страниц показал Sitemap. ТИЦ 220. PR 3.
  • Proxy серфинг пополнил коллекцию серверов, поменял принцип работы.
  • Прячем реальную ссылку от посетителей
  • Анализ сайта переписал на Ajax. Обращается напрямую к сайтам поисковых систем, разбирает их страницы и выводит сводные данные.
  • Who is сервис теперь в ответе от whois сервера преобразует все http://, WWW и e-mail адреса в ссылки.
  • В примерах разнес рекламу от Google и от Яндекс. Реклама Яндекса выводиться перед первым блоком исходного кода.

Сентябрь 2008

Август 2008

Июль 2008

Июнь 2008

  • ТИЦ вырос до 140.
  • Смена дизайна.
  • Сделана регистрация и голосовалка.

Май 2008

  • ТИЦ подрос до 20.

Апрель 2008

  • ТИЦ 10.

Март 2008

  • По многочисленным просьбам моих студентов ДГТУ, я создал на платном хостинге домен и положил туда курс лекций и практические наработки по WEB-технологиям. У некоторых групп, курс, который я читал, назывался "Интернет", у других "WEB-технологии".
  • Буду потихоньку развивать сайт, выкладывать новые примеры.
  • Столкнулся с проблемой, Googl-у нужна карта сайта. Порылся в Инете и не нашел ни одного нормально работающего бесплатного генератора. Написал сам, надеюсь, интернет сообществу понравится.
  • P.S. Пишу задним числом. На этот момент мне было совершенно все равно, что такое ТИЦ, PR, Видимость сайта и прочая SEO-хрень. Мне как всегда было интересно все пощупать своими ручками... Все пробы и эксперименты сухо отражал на этой странице.


.