В последние несколько недель (вторая половина Сентября) начал замечать ощутимое уменьшение скорости как upload так и download.  С утра и до обеда скорость более-менее нормальная (до 400 килобит в секунду), но под вечер падает до совсем неприемлемого уровня (до 100 килобит в секунду). Порой скорость скачивания опускается до уровня диалапа :-\ Очень не хочется, чтобы с Утелом произошло то же самое, что и с Лайфом – сначала все «супер-пупер», а потом – «ниже плинтуса».

Вчера снес Avast! и установил Avira AntiVir Personal – очень неплохо. Работать в системе стало как-то легче – программы перестали заметно притормаживать при старте. Очень понравился интерфейс – абсолютный минимум и ничего лишнего. Наг-скрин совсем не надоедает (похоже для рекламы используется Microsoft WebBrowser Control – если отключить просмотр картинок в IE, то в наг-скрине перестанет показываться реклама и будет виден лишь пустой квадрат)

Хотя главную проблему решить не удалось – включенные как Avira, так и Avast! притормаживает интенсивные файловые операции открытия-закрытия файлов в 6 раз :-\

Компания Zango, ведущий игрок на рынке Adware, уволила 68 своих сотрудников, при общей численности в ~200 человек. К тому же она изменила свою стратегию и сосредоточила все ресурсы на одном проекте – Platrium. Похоже, что дела у компании идут не очень хорошо. Одно время в адалте компанию Zango обвиняли в краже сайнов у вэбмастеров. На самом деле воровали сайны не Zango, а ее клиенты-рекламодатели. Они покупали «ключевые слова» при появлении которых в браузере пользователя (в строке адреса сайта или в тексте загруженной страницы) происходила подмена на «ключевые слова» рекламодателей. Причем «ключевыми словами» рекламодателей могли быть как URL адреса так куски текста. Какой-то умник догадался, что таким образом можно подменять чужие реферальные ссылки на свои. В результате у адалт бизнеса было украдено несколько миллионов долларов. В общем-то это копейки, но вэбмастера вонь подняли на весь Интернет. И начались наезды на Zango, потому как она являлась главным инструментом в руках нечистоплотных рекламодателей.

Решил недавно поставить эксперимент, который ответил бы на мой вопрос – легко ли заполучить в свои руки приватную СПАМ-базу, использую только свои мозги?

Первый шаг – создать URL список из сайтов, главные страницы которых будем парсить на предмет присутствия e-mail.

Второй шаг – скачать главные страницы 1000 сайтов.

Третий шаг – отпарсить эти страницы на предмет присутствия e-mail.

В качестве инструментов я написал несколько программ:

1. Программа спайдер-парсер, при помощи которой я «вытянул» 1000 URL-ов из одного очень известного украинского портала.
2. Программа качалка – с ее помощью я скачал все доступные главные страницы со списка «1000 URL-ов».
3. Программа, при помощи которой я попытался вытянуть из каждой скачаной страницы все доступные e-mail.

И вот каков результат:

Из 1000 главных страниц сайтов моя программа смогла вытянуть 316 уникальных e-mail адреса. И это с учетом того, что я при поиске e-mail адреса на каждой странице ориентировался только на «mailto:» и парсил только одну-единственную страницу сайта. А если бы я парсил каждый сайт вглубь на несколько уровней? Уверен, что тогда бы количество собранных e-mail было бы намного больше.

Общая статистика:

1. Из 1000 сайтов 22 был в офлайне. 978 были в онлайне.
2. Минимальный размер одной страницы: 52 Байта (страничка с META-редиректом
3. Максимальный размер одной страницы: 232 КБайта.
4. Средний размер одной страницы: 33.6 КБайта.
5. В однопотоковом режиме на скачивание из интернета 1000 страниц ушло 52 минуты и 36 МБайтов трафика (download) при скорости соединения до 400 килобит/сек.

Скорость скачивания каждой страницы очень сильно варьировалась – от 40 до 400 килобит/сек. Очевидно сказывалась удаленность соответствующего сайта, загруженность хостинга и т.д. Из-за того, что страницы скачивались в один поток, не было возможности утилизировать свой Интернет-канал на 100%.

Как все оказывается легко. Будем думать дальше:)))