Динамические «черные списки»

Как пользоваться «черными списками» для борьбы со спамом

К сожалению, сегодня без средств фильтрации электронной почты для упрощения борьбы со спамом уже не обойтись. Решения для защиты от спама используют различные подходы, но основными методами остаются формирование «черных списков» для известных спамеров и «белых списков», включающих адреса известных отправителей. Представленные на рынке программные решения предназначены для работы как на настольных компьютерах конечных пользователей, так и на серверных системах, а некоторые могут работать и на сервере, и у пользователя. Весьма эффективным средством борьбы со спамом остается обращение к службам ведения динамических «черных списков», хотя следует отметить, что этот подход имеет ряд недостатков. Как показывает мой опыт, динамические «черные списки» представляют собой удобный инструмент, который должен занять свое место в арсенале каждого, кто хочет успешно бороться со спамом. Чтобы использовать динамические «черные списки» максимально эффективно, следует разобраться в принципах их функционирования.

Что такое динамические «черные списки»

Большинство пользователей знакомы со статическими «черными списками», которые представляют собой списки адресов электронной почты и доменов. При обнаружении письма, отправленного с одного из таких адресов или доменов, сервер блокирует данное письмо. Многие программы фильтрации электронной почты позволяют пополнять эти списки новыми адресами спамеров и используемых ими серверов либо формировать и поддерживать собственные «черные списки». Как правило, обновление статических «черных списков» выполняется вручную.

Динамические «черные списки» существенно отличаются от статических. Динамический «черный список» представляет собой сетевую службу, предоставляемую провайдером «черных списков». Эти провайдеры отслеживают адреса IP (иногда и имена доменов), скомпрометированные спамерами. Почтовые фильтры, поддерживающие применение динамических «черных списков», формируют запрос к провайдеру «черного списка», содержащий адрес отправителя, а также адреса почтовых серверов, через которые проходило письмо по пути к получателю. Если при выполнении запроса выяснится, что адрес содержится в «черном списке» провайдера услуги, то высока вероятность того, что письмо представляет собой обычный спам. Некоторые провайдеры «черных списков» наряду со списками спамеров отслеживают адреса, с которых происходит рассылка вирусов, «троянцев», сетевых «червей», программ несанкционированного удаленного управления и другого вредоносного контента. Эти списки могут оказаться весьма полезными и для защиты корпоративной сети от подобного рода помех.

Использование динамических «черных списков»

Обращение к службам динамических «черных списков» осуществляется через службу DNS для проверки, не содержатся ли в списках спамеров адреса IP, перечисленные в заголовке письма (в поле адреса отправителя или адреса почтовых ретрансляторов в полях Received:; в некоторых случаях наряду с адресами IP могут использоваться символьные имена доменов). Для обращения к выбранной службе «черных списков» программа фильтрации почты формирует специальный запрос DNS, который передается на сервер DNS провайдера «черных списков». Как правило, такие запросы оформляются как запись PTR, запрашивающая запись типа A. При получении от провайдера положительного результата на запрос, является ли адрес известным источником спама, почтовый фильтр может принять решение о блокировании приема почты из данного источника, об удалении писем, полученных с этого адреса, или о помещении писем из этого источника в очередь для дальнейшего рассмотрения. Либо фильтр может присвоить письму оценку вероятности принадлежности к спаму, которую клиентская почтовая программа будет использовать при дальнейшей обработке.

Можно самостоятельно отправить запрос для проверки включения в «черный список» частного адреса IP. Для этого достаточно в командной строке Windows выполнить запрос DNS с помощью nslookup или любой другой стандартной программы. При этом непосредственно обращаться к серверу DNS провайдера службы «черных списков» не требуется. Достаточно обратиться к собственным локальным серверам DNS, которые автоматически передадут запрос в службу «черных списков» в соответствии с указанием в запросе PTR. Например, для обращения к провайдеру Spamhaus.org, дабы определить, содержится ли адрес 198.0.0.1 в его «черных списках», требуется сформировать запрос следующим образом:

1.0.0.198.spamhaus.org

Ответ на запрос может варьироваться в зависимости от спецификаций используемого провайдером сервера DNS, но, как правило, положительный ответ представляется адресом из адресного пространства 127.0.0.x (при этом адрес 127.0.0.1 не задействован, поскольку он зарезервирован спецификацией протокола TCP/IP для адреса localhost). Если запрашиваемый адрес отсутствует в базе данных провайдера «черных списков», ответ на запрос не возвращается. Благодаря этому стандарту на возвращаемые результаты запроса, разработчики могут свободно включать в почтовые фильтры поддержку большинства динамических провайдеров «черных списков».

Выбор провайдера службы «черных списков»

Теперь, когда мы познакомились с принципами использования служб динамических «черных списков», можно перейти к вопросу выбора оптимального провайдера «черных списков». Это ответственный момент, поскольку от провайдера зависит качество фильтрации спама. Существует множество провайдеров «черных списков», так что задача выбора наиболее эффективного провайдера не так проста, как может показаться на первый взгляд. Чтобы облегчить читателям выбор провайдера, ниже приведены некоторые из опробованных серверов «черных списков», которые представляются заслуживающими доверия.

Не следует удалять письма только потому, что провайдер «черных списков» выдает положительный ответ на запрос. Лучше использовать результаты запроса как один из нескольких критериев оценки для отнесения сообщения к категории спама. С серверов, замеченных в рассылке спама, могут быть отправлены и легитимные почтовые сообщения, так что, если единственным критерием отсева спама является ответ сервера «черных списков», вы рискуете потерять легитимные и, возможно, важные письма.

Провайдеры динамических «черных списков» могут предоставлять различные наборы услуг, так что при выборе провайдера следует внимательно изучить список услуг, предоставляемых конкретным провайдером. Так, при ознакомлении с попавшим ко мне на тестирование почтовым фильтром было обнаружено, что программа фильтрования проверяет каждый из узлов, перечисленных в полях Received в заголовках писем. Конечно, такой подход требует больше времени на обработку каждого письма, но вместе с тем повышает вероятность правильного определения спама. Это происходит из-за того, что опытный спамер может замаскировать свое сообщение и назначить для него маршрут, проходящий через множество промежуточных почтовых серверов. Таким образом, письмо может быть получено от вполне благонадежного почтового сервера, адреса которого нет в базе провайдера «черных списков», но в цепочке серверов при этом могут присутствовать и известные спамерские адреса. Впрочем, некоторые программы, использующие службы динамических «черных списков», проверяют только IP-адрес системы, непосредственно доставившей письмо.

Провайдеры динамических «черных списков»

Spamhaus (http://www.spamhaus.org) — один из самых известных и популярных провайдеров «черных списков» — наряду с адресами спамеров предоставляет источники опасных программ типа вирусов, «троянских коней» и сетевых «червей». Spamhаus предоставляет также реестр известных спамеров (Registry of Known Spam Operations, ROKSO) — как индивидуальных пользователей, занимающихся массовыми рассылками по заказу рекламодателей, так и самих рекламодателей, которые не придерживаются принципов рассылки только затребованной получателем информации. Для опроса «черных списков» этого провайдера при построении запроса следует использовать суффикс sbl-xbl.spamhaus.org. База данных ROKSO доступна по адресу http://www.spamhaus.org/rokso/ index.lasso.

При обращении к серверам DNS Spamhaus для проверки переданного адреса возвращаемое значение 127.0.0.2 означает, что запрошенный адрес является известным для Spamhaus источником спама. Возвращаемые значения 127.0.0.4, 127.0.0.5 и 127.0.0.6 означают, что адрес является источником вирусов, «троянских коней» и «червей» — эта возможность определения типа спама или угрозы выгодно отличает Spamhaus от других провайдеров «черных списков».

SpamCop (http://www.spamcop.net) — еще один популярный провайдер «черных списков». Свою работу его представители характеризуют как «способ агрессивной борьбы со спамом». Их служба SpamCop Blocking List (SCBL) позволяет блокировать колоссальный объем спама, но, к сожалению, при этом может быть заблокирована и часть затребованной почты. Учитывая этот недостаток, следует с осторожностью использовать SCBL для оценки вероятности отнесения письма к категории спама. При этом необходимо сформировать «белый список» адресов разрешенной почты. Для формирования запросов к «черным спискам» SpamCop следует использовать в запросах доменный суффикс bl.spamcop.net

Spam and Open Relay Blocking System (SORBS — http://www.dnsbl.us.sorbs.net), система блокирования спама и открытых ретрансляторов. База данных этого провайдера содержит примерно 3 млн. адресов открытых почтовых ретрансляторов, открытых proxy-серверов, динамических IP-адресов и скомпрометированных хостов, используемых спамерами. Ведение базы динамических адресных пространств IP представляется занятием довольно бессмысленным. Оправданием такого подхода может служить то, что нормальные почтовые серверы, распространяющие легитимную почту, должны иметь фиксированные IP-адреса. В качестве возражения можно заметить, что многие используют собственные почтовые серверы для исходящей почты, а эти серверы обычно имеют динамические адреса. Так что принцип отнесения к категории потенциальных источников спама всех динамических диапазонов адресов я считаю неприемлемым, поскольку он может повредить обычным законопослушным пользователям, которые имеют полное право работать с собственными почтовыми службами. Исходя из этих соображений оценку данного провайдера можно учитывать только при расчете вероятности спама, обязательно в сочетании с другими методами оценки, иначе велик риск потерять легитимную входящую почту. Для запроса «черных списков» SORBS следует использовать доменный суффикс dnsbl.sorbs.net.

Composite Blocking List (CBL — http://cbl.abuseat.org) — этот провайдер расставляет в Internet специальные ловушки для спама, которые должны помочь находить используемые спамерами открытые proxy (работающие через различные протоколы — HTTP, SOKS, AnalogX, Wingate и др.), поскольку эти службы давно используются спамерами и распространителями вредоносного кода. Служба Spamhaus пользуется базой CBL, так что, если опрашивается Spamhaus, направлять дополнительные запросы в CBL не имеет смысла. Если же вы решите использовать базу CBL, вводите в запросах доменный суффикс cbl.abuseat.org.

Blitzed Open Proxy Monitor List — этот провайдер также является одним из источников для Spamhaus, но может использоваться и отдельно. Здесь можно получить адреса различных открытых proxy-серверов, которые часто применяются при рассылке спама. Для обнаружения открытых proxy используется анализ спама и проверка компьютеров, подключенных к системам IRC. Для обращения к Blitzed Open Proxy Monitor List при формировании запроса применяется суффикс opm.blitzed.org.

Dnsbl.net.au (http://www.dnsbl.net.au/). Данный ресурс не имеет собственного названия, только доменное имя. Эта служба предоставляет обобщенный «черный список», собранный из множества других «черных списков». В результате этот провайдер дает больше положительных ответов, чем многие другие службы. Здесь отслеживаются открытые proxy-серверы, почтовые ретрансляторы и множество дополнительных данных, с которыми можно ознакомиться на странице Status указанного сайта. Данный провайдер покрывает много областей динамических IP-адресов. Он позволяет опрашивать более 20 «черных списков», разбитых по категориям (доменные суффиксы для запроса таких списков можно найти на странице Status), или запросить обобщенный «черный список» с использованием доменного суффикса t1.dnsbl.net.au.

510 Software Group (http://www.five-ten-sg.com/blackhole.php) — этот сервер «черных списков» известен меньше, чем другие рассматриваемые в данной статье. Он позволяет запросить сведения об источниках спама, серверах массовой рассылки, которые не придерживаются принятых соглашений о распространении только затребованной легитимной информации, открытых почтовых ретрансляторах и конечных узлах, использующих сети многозвенных открытых ретрансляторов, Web-узлах, исполняющих сценарии рассылки для спамеров, а также источниках вредоносного кода. 510 Software Group предоставляет список адресных пространств IP-адресов и адреса провайдеров Internet, которые отказываются отключать спамеров от своих сетей. Для опроса «черных списков» от 510 Software Group при построении запросов следует использовать доменный суффикс blackholes.five-ten-sg.com.

SURBL — Spam URI Realtime Blocklists (http://www.surbl.org) отличается от других провайдеров тем, что позволяет включать в запрос не IP-адрес, а символьное доменное имя. Это упрощает процедуру сканирования заголовков проверяемых писем. Опять же, если доменные имена отправителя или ретрансляторов содержатся в базе спамеров SURBL, это может означать, что письмо, скорее всего, отправлено спамером. При построении запроса необходимо, отбросив имя хоста, выделить доменное имя отправителя (ретранслятора) и добавить к имени домена суффикс surbl.org для формирования запроса в формате записи типа A. Так, для проверки домена domain.tld должна быть сформирована строка запроса domain.tld.multi.surbl.org. Как и другие провайдеры, SURBL возвращает в качестве положительного результата адрес из диапазона 127.0.0.x.

Оценка качества работы провайдеров «черных списков»

Поиск в Internet позволяет мгновенно получить информацию о множестве провайдеров динамических «черных списков». Оценка качества их работы представляет собой достаточно трудоемкую задачу и требует, в частности, изучения отзывов других пользователей о работе тех или иных провайдеров. В сети есть сайт Джеффа Мэйки, содержащий полезные сведения по этой теме. По адресу http://www.sdsc.edu/~jeff/spam Джефф публикует результаты проверки почты, поступающей в его сеть. Он проверяет IP-адреса из заголовков писем у различных провайдеров динамических «черных списков» и оценивает точность предоставляемых ими результатов. Конечно, его оценки не претендуют на универсальность, но они могут помочь другим пользователям оценить деятельность известных провайдеров.

Конечно, нельзя исключить, что провайдеры, которые хороши для Джеффа, могут плохо справляться с вашим спамом, и наоборот — это, помимо прочего, зависит от характеристик поступающего спама. Спамеры — исключительно изобретательный народ, и для запутывания следов они используют различные средства, вплоть до захвата чужих систем для формирования автоматических рассылок. Кроме того, не следует забывать о вероятности получения ошибочного положительного ответа при проверке легитимных писем. В любом случае при выборе службы необходимо провести самостоятельную проверку качества ее работы — только так можно убедиться, что данный провайдер подходит для конкретной среды.

В любом случае лидеры из поддерживаемого Джеффом рейтинга заслуживают того, чтобы по крайней мере испытать качество их работы. Перечисленные в данной статье провайдеры были одними из лучших в его отчетах за ноябрь 2004 года. Если вы используете или планируете задействовать службы динамических «черных списков», не поленитесь ознакомиться с результатами рейтинга Мэйки и периодически посещайте его сайт — результат стоит затраченного времени.

Заключительные замечания

Выполнение запросов к службам «черных списков» увеличивает нагрузку на обработку электронной почты, а задержка при обработке запросов поиска в DNS может существенно замедлить доставку сообщений, особенно в сетях с действительно большим объемом почты. Некоторые провайдеры «черных списков» факультативно предлагают возможность передачи базы адресов через механизм передачи зоны (репликация базы адресов, известных данному серверу DNS). Если на почтовые серверы компании ежедневно поступают десятки тысяч писем, то использование передачи зоны для получения локальной копии спамерских адресов позволит обрабатывать запросы локально и существенно ускорит обработку почты, одновременно снижая сетевой трафик.

Использование динамических «черных списков» имеет свои достоинства и недостатки. Многие пользователи отмечают, что некоторые провайдеры помещают в свои базы IP-адреса без должной проверки, что может привести к потере легитимной почты. Мой личный опыт работы с перечисленными в статье провайдерами говорит о том, что они достаточно добросовестно относятся к своим задачам, хотя и проявляют достойное лучшего применения упорство в добавлении и исключении некоторых сетей из своих списков. Как общее правило, динамические «черные списки» следует использовать осмотрительно и ответственно подходить к выбору провайдера.

Старший редактор Windows IT Pro и ведущий еженедельного электронного бюллетеня Security UPDATE. С ним можно связаться по адресу mark@ntsecurity.net