Поначалу у пользователей не было средств борьбы со спамом, кроме кнопки delete, но, как только проблема приняла угрожающие размеры, появились и профессиональные борцы с этой напастью. Первым был Пол Викси, предложивший блокировать известных спамеров не по адресу электронной почты, который легко подделать, а по фактическому IP-адресу. Викси – автор нескольких RFC и программ для Unix, которые стали стандартом (SENDS, proxynet, rtty и cron), он же был одним из основных авторов программы BIND, и по сей день являющейся самым популярным сервером DNS.
Идея была проста – различными методами обнаруживался факт спама и IP-адрес отправителя заносился в базу, что позволяло блокировать соединение с этим адресом. Позже, когда к Викси присоединился другой ветеран Интернета, Дейв Рэнд (автор Multi Router Traffic Grapher (MRTG) – самой популярной системы отображения сетевого трафика), они назвали свою систему блокировки спама MAPS (Mail Abuse Prevention System – «система предотвращения нецелевого использования почты»), а впоследствии технология блокировки спама MAPS получила название «репутация электронной почты». Но особую популярность эта технология обрела, когда был предложен простой и изящный способ подключения к базе спамеров через систему доменных имен (Domain Name System, DNS). В данном случае систему преобразования имен серверов в IP-адреса предлагалось использовать «нецелевым» образом – DNS-протокол применялся для отправки запросов к базе спамеров и получения вердикта. Такой подход получил название «черные списки DNS» (DNS Black List, DNSBL) и позволил блокировать спам на любом почтовом сервере в любой сети.
По мере того как технология MAPS набирала популярность, у ее разработчиков появлялось все больше недоброжелателей – в базу данных спамеров попадали адреса почтовых серверов вполне законопослушных компаний, которые не были готовы мириться с тем, что их рассылки не достигают адресатов. Этим компаниям не оставалось ничего, кроме как подавать иски против разработчиков MAPS. Чтобы избежать личной ответственности, Викси и Рэнд учредили компанию Kelkea, которой за один доллар продали всю интеллектуальную собственность на свои технологии. Теперь любые судебные иски могли быть адресованы только Kelkea как к компании, а не к разработчикам лично. Со временем спам был объявлен в США вне закона и поток судебных исков иссяк, но компания Kelkea осталась и продолжала развивать технологии сетевой блокировки спама.
Вскоре появилось еще несколько технологий получения IP-адресов спамеров, а для каждой технологии была выделена отдельная база данных, что позволило манипулировать ими независимо. Для каждой базы были разработаны свои правила добавления и удаления адресов. Старейшей является база RBL (Realtime Blackhole List), которая пополняется вручную IP-адресами серверов, на протяжении долгого времени рассылающих спам. В этой базе нет случайных записей – для удаления из нее, если, например, вам «по наследству» достался адрес злостного спамера, нужно связаться с обслуживающими эту базу сотрудниками.
Так как адрес любого сервера, постоянно рассылающего спам, быстро блокируется, спамеры стали прибегать к другим подходам. Например, использовать открытые прокси- и релей-серверы. И те и другие из-за некорректной настройки позволяют пересылать через себя любую корреспонденцию. Подобные серверы можно выявить в автоматическом режиме, сканируя Сеть, и если находится сервер, через который удается отправить сообщение самому себе, то это плацдарм для спамера. Для выявления таких серверов были созданы базы открытых прокси-серверов (Open Proxy Stopper, OPS) и открытых релей-серверов (Relay Spam Stopper, RSS).
Так как борцы со спамом использовали для пополнения баз те же методы, что и сами спамеры, то последним пришлось искать другие плацдармы для рассылки. И такой плацдарм был найден – компьютеры незадачливых домашних пользователей. Если заразить компьютер такого пользователя специальной программой для рассылки спама (спам-ботом), то этот компьютер будет круглосуточно рассылать мусорную корреспонденцию по образцам, которые ему передадут из центра управления. Если же заразить спам-ботом достаточное большое количество компьютеров, то совокупная мощность подобного распределенного кластера будет рассылать спам не хуже, чем выделенные серверы.
Наиболее радикальным методом борьбы со спам-ботами стало появление специальной базы DUL, содержащей пулы адресов, выделяемых провайдерами для обладателей коммутируемых и ADSL-подключений. Блокировка почты с этих адресов позволяет блокировать все спам-боты, поразившие клиентов интернет-провайдера. Пользователям такая блокировка не вредит, так как они, как правило, отправляют свою электронную корреспонденцию через почтовые серверы своего провайдера или используют различные системы Web-почты (hotmail.com, gmail.com и т.п.). Единственные, кто оказываются ущемленными в правах, это пользователи Unix-систем, которые применяют для отправки электронной почты собственный почтовый сервер. У этой базы есть еще один недостаток – для ее пополнения необходимо индивидуально связываться с каждым провайдером и получать у него информацию о пуле IP-адресов, которые динамически выделяются абонентам.
Все более широкое распространение спам-ботов потребовало разработки еще более действенных средств, и, например, компания Kelkea в 2001 году предложила еще одну базу – QIL (Quick Information List), которая в автоматическом режиме пополняется записями. Источником информации для нее являются сенсоры, размещенные в различных точках Сети. Особенность этой базы в том, что информация в ней обновляется каждые 5 минут, что позволяет минимизировать ущерб в случае, если какой-либо адрес попадет в нее по ошибке. Пользователь может самостоятельно удалить из базы IP-адрес своего почтового сервера, пройдя по ссылке, которая придет в уведомлении о невозможности доставки адресату. Кроме того, удаление из базы можно запросить в специальной форме. Для адресов, которые ранее не были замечены в массовой рассылке спама, удаление происходит немедленно.
Со временем появились и стали набирать популярность другие методы борьбы с нежеланной корреспонденцией – блокировка на основе анализа содержимого, начиная с архаичных технологий блокировки по ключевым словам, которые предлагалось формулировать пользователю вручную, и до изощренных систем лингвистического и статистического анализа. Однако спам все равно продолжал проникать в почтовые ящики, и причина в том, что спамеры при формировании рассылок стали учитывать новые возможности антиспам-систем, изобретая новые приемы – от очевидных, вроде коверканья слов, до сокрытия текста в картинках и mp3-файлах. В таких условиях блокировка на сетевом уровне оказывается на высоте, так как ее нельзя обмануть никакими подобными трюками – блокировка происходит на сетевом уровне до момента приема тела сообщения, что экономит сетевой трафик и ресурсы почтового сервера. Поэтому сегодня снова можно наблюдать возрождение интереса к технологиям блокировки угроз, которые не опираются на анализ содержимого.
Наибольшей эффективностью, безусловно, обладают комбинированные решения, в которых интеллектуальный анализ содержимого предваряется блокировкой на сетевом уровне. Именно такой путь выбрала, например, компания Trend Micro, поглотившая в 2001 году компанию Kelkea. Антиспам-решение Trend Micro Spam Prevention Solution было дополнено блокировкой на сетевом уровне с использованием технологий, разработанных в Kelkea, а Дейв Рэнд перешел на позицию технического директора Trend Micro и по сей день руководит развитием направления сетевой репутации. Уже в составе Trend Micro разработчики Kelkea представили панель управления своим сервисом.
Данная панель предлагает пользователю возможность персональной настройки сервиса – при каждом запросе к базе ему передается индивидуальный активационный код для работы с настройками системы. Это позволяет заказчику вести собственный черный и белый списки IP-адресов, отдельных провайдеров и даже целых стран. Кстати, именно на базе этих технологий компания Trend Micro стала строить свою интеллектуальную сеть облачной блокировки угроз Smart Protection Network.
В рамках проекта Smart Protection Network, в дополнение к блокировке спама были разработаны еще две технологии: Web- и файловой репутации. Первая позволяет на сетевом уровне превентивно блокировать опасные сайты, а вторая – в реальном времени блокировать вредоносные файлы. Все три технологии основаны на распределенной базе данных Trend Micro, в которой хранятся IP-адреса спамеров, опасные URL и сигнатуры опасных файлов.
Разработка целостного решения, объединяющего три репутационные технологии, позволила Trend Micro улучшить качество работы каждой из них. Во-первых, Smart Protection Network учитывает все запросы от уже установленных продуктов, что позволяет в реальном времени модифицировать базы угроз. Например, время жизни IP-адреса в базе QIL теперь определяется тем, насколько часто его репутацию запрашивают клиенты. Если запросов нет, то через несколько часов он автоматически удаляется. Если же к Smart Protection Network поступает шквал запросов относительно определенного адреса, то его «прописка» в базе QIL значительно продлевается.
Во-вторых, внутри Smart Protection Network постоянно происходит корреляция данных между базами, что позволяет пополнять базы еще неизвестными источниками спама. Например, если при анализе содержимого сообщения электронной почты выявляется, что к ней присоединен вредоносный файл (для этого используется база репутации файлов), то IP-адрес отправителя помещается в базу почтовой репутации. Таким образом, если спам-бот был единожды использован для рассылки троянов, то рассылка любых других отправлений с него блокируется.
Несмотря на активное развитие технологии сетевой блокировки спама, технология репутации электронной почты Trend Micro до сих пор использует традиционный протокол DNSBL, так же как и spamcop.net, SORBS, spamhause и другие подобные сервисы. Это позволяет, кроме очевидного использования в составе продуктов Trend Micro, подключить этот сервис к любому современному почтовому серверу, а также к другим антиспам-продуктам на рынке.
***
Деятельность киберпреступников приобретает сегодня все более угрожающий характер, и многие проверенные временем технологии оказываются бесполезными, например борьба с вирусами посредством периодической загрузки обновлений антивирусом. Репутационные сервисы, получающие информацию об угрозах непосредственно из Сети, обеспечивают практически неограниченную масштабируемость и высокую скорость реакции на новые угрозы, позволяя заблокировать вредоносные рассылки до их попадания на компьютер жертвы.
Михаил Кондрашин (mkondrashin@apl.ru) – генеральный директор ЗАО «АПЛ», (Москва).
Репутационные механизмы используют в своих продуктах для защиты от спама и российские компании, в частности, «Лаборатория Касперского» (продукт Kaspersky Antispam) и «Яндекс» (решение «Спамооборона»).
Технология, применяемая в Kaspersky Antispam, изначально была разработана в компании «Ашманов и партнеры» и основывалась на лингвистических методах определения спама. Для ее создания в компании была образована лингвистическая лаборатория, анализирующая поток спама и формирующая наборы терминов для распознавания мусорных сообщений. Однако, когда спамеры начали использовать различные методы обхода лингвистических фильтров (разбиение слов на отдельные буквы, замещение отдельных букв, перестановка и т.п.), потребовались другие методы фильтрации. В частности, компания завела в различных бесплатных почтовых системах почтовые ящики, адреса которых никогда не использовались для общения людей. Предполагалось, что все письма, которые туда приходили, относятся к спаму, а источники таких писем попадали в черные списки спамеров. После того как технология была куплена «Лабораторией Касперского», эта сеть была совмещена с аналогичной уже имеющейся инфраструктурой, которая ловила в Интернете вредоносный код.
Современный спам-фильтр «Лаборатории Касперского» постоянно взаимодействует с лабораторией компании через систему Urgent Detection System (UDS). По специальному алгоритму фильтр делает отпечаток письма и отправляет его в лабораторию компании; если у отпечатка плохая репутация, то письмо отвергается. Репутация письма формируется по количеству полученных писем с одинаковыми отпечатками.
Продукт «Спамооборона» изначально разрабатывался для защиты от спама Web-почты Yandex. Аркадий Волож, генеральный директор компании, так сформулировал основной принцип борьбы с мусорной почтой: «Спам рассылают роботы, поэтому и бороться со спамом также должны роботы». «Спамооборона» разработана для распознавания автоматических рассылок и может использовать такие необычные методы защиты, как отказ от приема писем. Например, в спецификации протокола передачи почты предусмотрено, что принимающий сервер может отказаться от приема письма, объявив себя «занятым». Добропорядочный сервер-отправитель должен подождать и через определенное время попытаться повторно доставить письмо, однако роботы по рассылке спама этим уже не занимаются, в результате нормальные письма не потеряются, хотя и могут приходить с небольшой задержкой.
Кроме того, «Спамооборона» использует методы нечеткой логики для выявления роботизированных рассылок. Этот метод основан на использовании нескольких признаков с разными весовыми коэффициентами, при его применении отсекаются письма, для которых сумма всех признаков выше порогового значения. В продукте имеется специальный язык описания весовых коэффициентов, позволяющий администраторам корпоративной системы модифицировать эти коэффициенты для настройки спам-фильтра под те потоки спама, которые направлены непосредственно на данную компанию. При этом черные списки и разнообразные репутационные базы данных являются еще одним признаком с определенным весовым коэффициентом, который определяет уровень доверия администратора к составителям этой базы.
Собственно, первоначальные настройки «Спамообороны» больше доверяют тем базам неблагонадежных адресов, которые составляет сама компания «Яндекс». Анализ потоков почты Yandex позволяет достаточно точно определить как зомбированные компьютеры, так и открытые релеи. Фактически это и есть репутационная база источников спама, однако администратор конкретной установки «Спамообороны» может отказаться от использования этой базы для фильтрации, а работать с любой другой, перенастроив весовые коэффициенты. Таким образом обеспечивается открытость решения и тонкая настройка защиты под потребности конкретных заказчиков.
– Валерий Коржов (oskar@osp.ru) – обозреватель Computerworld Россия (Москва).
Функцию фильтрации спама на основе репутационных технологий сегодня предлагают многие западные компании: Symantec, McAfee, Trend Micro, Websense, Cisco IronPort, Kerio и др. Можно выделить различные группы производителей, и наиболее многочисленную среди них образуют антивирусные компании, для которых спам-фильтр является дополнительным средством защиты от вредоносных программ. Такие производители, как правило, уже поддерживают базу данных подобных программ и сообщают сведения, содержащиеся в ней, на клиентские рабочие места. Кроме того, эти компании имеют собственные центры по изучению Сети, которые контролируют разветвленную сеть сенсоров. Однако для таких компаний защита от спама не является основным источником дохода, поэтому их спам-фильтр оказывается относительно дешев для пользователей – цена обычно входит в стоимость антивирусного продукта. Но с другой стороны, подобные решения ориентируются главным образом на защиту от вредоносного спама, который либо сам предназначен для нападения, либо распространяется со взломанных компьютеров. Часто такие продукты не пользуются методами детектирования по содержимому письма, а принимают решение по общим признакам: IP-адресам отправителя, корректности использования протоколов и т.п.
Вторую группу образуют компании, предлагающие специализированные спам-фильтры и получающие прибыль именно от продажи баз, встраивая фильтры в другие средства защиты. Например, у компании Dr. Web используется технология Vade Retro, разработанная французской компанией Goto Software. Еще одним примером является компания Kerio, которая интегрирует в свой почтовый сервер MailServer бесплатный спам-фильтр SpamAssassin, поддерживаемый открытым сообществом пользователей.
Третью группу производителей спам-фильтров составляют поставщики аппаратных устройств, устанавливаемых на шлюз подключения к Интернету и обеспечивающих защиту этого соединения. Такие производители, как правило, сами фильтров не производят, а устанавливают продукты либо антивирусных компаний, либо, что чаще, специализированных борцов со спамом. В некоторых из этих продуктов также можно обнаружить репутационные технологии. Как правило, эксплуатация подобных устройств требует лицензирования в зависимости от срока.
Все перечисленные производители используют метод черных списков, что в определенной степени можно назвать репутацией.
Защититься от спама можно и с помощью подписки на услуги по очистке почтового трафика. В этом случае все почтовые сообщения вначале отсылаются в ЦОД поставщика услуги, где происходит фильтрация мусорных сообщений. При этом клиент может не заботиться о том, какое программное обеспечение используется для фильтрации. За репутационной составляющей этой технологии следит уже сам провайдер услуги. Услуги такого рода предоставляют Microsoft, McAfee, Symantec, GFI и ряд других. При этом некоторые провайдеры таких сервисов полностью ориентируются на облачные технологии и не передают пользователям спам-фильтры в собственность. Услуга оплачивается помесячно, а стоимость зависит от количества поддерживаемых почтовых ящиков. Наиболее выгодны такие услуги небольшим компаниям.
Сегодня пользователи могут выбрать самые различные технологии борьбы со спамом. Небольшим компаниям можно посоветовать аренду спам-фильтра или использование многофункционального средства защиты со встроенным спам-фильтром. Для более крупных предприятий больше подойдут выделенные шлюзовые серверы, очищающие почтовый поток. Самым высокопроизводительным решением являются специализированные устройства, также устанавливаемые в качестве шлюза.
– Валерий Коржов
