Network World, США
Задавшись целью ранжировать средства борьбы со спамом, мы сфокусировались на четырех функциональных областях: фильтрация спама, борьба с вирусами и фильтрация сообщений на основе правил, регистрация событий и управление, наконец, функции, «привязанные» к отдельным пользователям. По результатам тестирования более 40 продуктов лидерами стали четыре устройства (компаний BorderWare, CipherTrust, Barracuda и Messaging Architects), три сервиса (провайдеров Postini, Advascan и Mycom), UNIX-приложения фирм Sophos, Proofpoint и Cloudmark, а также две программы под Windows (от Symantec и MailFrontier).
Начнем со спама
Главный показатель качества антиспамового продукта — точность фильтрации незапрошенных сообщений. Все «финалисты» продемонстрировали прекрасные результаты с точки зрения частоты положительных и отрицательных ложных срабатываний. Основные различия между ними были связаны с возможностями контроля над самим процессом фильтрации.
В первых антиспамовых продуктах применялся единственный метод фильтрации (вроде поиска определенных слов в заголовках сообщений) либо использовались несколько алгоритмов для уничтожения сообщений, расцененных как спам. Сегодня окончательный вердикт выносится не сразу: сообщение подвергается множеству тестов и аналитических процедур, в результате каждой из которых ему присваивается отдельный рейтинг. При использовании любого из методов сообщение может быть ошибочно отнесено к «чужой» категории, но совокупность процедур обеспечивает достаточно точную классификацию. Если результаты многих тестов совпадают или в одном из них сообщению присвоен очень высокий балл, выполняется окончательная классификация.
В наших испытаниях мы решили не оценивать отдельные компоненты этих аналитических коктейлей (наборы которых постоянно меняются), а ограничиться определением числа ложных срабатываний. Продукты, в которых реализован единственный метод анализа либо один алгоритм доминирует над остальными, показали высокий процент положительных «осечек». Скажем, присутствие в заголовке слова «виагра» еще не означает, что сообщение является спамом. Однако, если оно несколько раз встречается в тексте сообщения, сопровождается ссылкой на Web-сайт фармацевтической компании, а IP-адрес отправителя указывает на потенциального спамера, то сообщение, скорее всего, будет квалифицировано как спам.
Если вас интересуют правила выявления спама и возможность их настройки, вам не найти лучших продуктов, чем PureMessage фирмы Sophos и GWGuardian компании Messaging Architects: оба позволяют детально проанализировать процесс выявления незапрошенных сообщений. В последнее время администраторы стремятся уйти от детальной настройки средств защиты. Если антиспамовое ПО успешно справляется со своими задачами, зачем вникать в детали его функционирования? Впрочем, иногда входной поток сообщений ставит средства фильтрации в тупик, и тогда приходится разбираться в особенностях их работы.
Более востребован грубый контроль над факторами, влияющими на классификацию сообщений. В этом отношении возможности продуктов варьируются от полной индифферентности (Advascan и Brightmail производства Symantec) до высокой степени открытости (IronMail фирмы CipherTrust и Protection Server компании Proofpoint).
Один из ключевых факторов — возможность достижения «золотой середины» в использовании функций DNS при классификации сообщений. При чрезмерно большой доле положительных ложных срабатываний использовать «черные списки» и процедуры обратного поиска по таблицам DNS крайне опасно, но полезность этих таблиц не стоит недооценивать. Компании BorderWare, Sophos, Proofpoint, CipherTrust и даже сервис-провайдер Mycom позволяют выбирать списки для просмотра и назначать им определенный вес. А фирмы Postini и Symantec поддерживают собственные взвешенные «черные» и «белые» списки DNS для устранения положительных ложных срабатываний, порождаемых каждым списком в отдельности. О важности настройки подобных функций можно судить по такому факту: компания Sublimemail не позволяет отключать встроенные функции DNS, что приводит к двадцатикратному росту числа положительных ложных срабатываний.
Орудие пользователей
Положительные ложные срабатывания возникают тем чаще, чем выше чувствительность к спаму. Относиться к таким ошибкам можно по-разному. Наиболее распространенный подход — закрывать на них глаза, считая, что небольшая доля входящих сообщений попросту теряется. Но учтите, что средства, в которых использован этот подход, не попали в список рекомендуемых продуктов.
Другой вариант — помечать незапрошенные сообщения, не удаляя их. Практически весь спам, специальным образом промаркированный, попадет на корпоративный почтовый сервер, а пользователи его видеть не будут. В этом случае все упирается в число сообщений: в наших тестах на спам приходилось около 75% входящей корреспонденции. Маркирование вместо удаления означает, что вам придется хранить, копировать на резервный носитель, индексировать и архивировать в четыре раза больше сообщений, чем необходимо.
Большинство продуктов различают спам и сообщения, которые можно отнести к нему лишь с определенной вероятностью. Явный спам отбрасывается прежде, чем он попадает на почтовый сервер, а сомнительные сообщения изолируются либо специальным образом помечаются и доставляются пользователю «на всякий случай». Явный и неявный спам не различается лишь продуктом GWGuardian. Остальные компании предлагают хотя бы два уровня классификации спама и (за исключением Postini) возможность настройки для них пороговых значений.
Еще один сценарий — изоляция спама. Такие сообщения помещаются в карантин, который, в отличие от обычного почтового ящика, регулярно очищается и обычно располагается вне высоконадежной инфраструктуры и высокопроизводительных серверов. Все 12 победителей нашего тестирования поддерживают функцию изоляции спама, хотя она не очень распространена. Пользователь получает возможность управлять сообщениями, которые можно назвать спамом лишь с натяжкой, а сетевой администратор — удалять почтовый мусор. Подобные антиспамовые продукты обеспечивают баланс между производительностью, уровнем раздражения пользователей, впустую затраченными усилиями и частотой положительных ложных срабатываний.
Правда, карантин карантину рознь. Сервисы компаний Advascan и Mycom не позволяют использовать корпоративные аутентификационные базы данных LDAP и RADIUS, поэтому для доступа к сообщениям, помещенным в карантин, каждому сотруднику необходим собственный пароль. А карантин в CipherTrust вообще не поддерживает аутентификацию: пользователю достаточно выбрать соответствующий URL из почтового приложения. Определенные ограничения обнаружились в поддержке LDAP-аутентификации, обеспеченной фирмой Barracuda, и в механизме аутентификации по протоколу SMTP, реализованном Messaging Architects. Таким образом, если вы намерены изолировать спам, будьте готовы разобраться в особенностях работы выбранного продукта.
В ходе тестирования анализировалось управление настройками на уровне отдельных пользователей или их групп. Как правило, сетевые администраторы не позволяют пользователям настраивать средства фильтрации спама, а ведь такая возможность делает сотрудников более заинтересованными в соблюдении корпоративных политик безопасности. Напротив, некоторые производители обеспечивают потребителям неоправданно широкие возможности контроля.
В 12 лучших продуктах используются 12 различных стратегий настройки и управления. Наибольшей гибкостью отличаются разработки MailFrontier, Messaging Architects, Mycom и Postini, которые поддерживают настройки на уровне отдельных пользователей или их групп и при необходимости позволяют открыть доступ к ним самих потребителей. BorderWare, Sophos и Barracuda предоставляют полный или частичный контроль над пользовательскими настройками. Sophos и Proofpoint реализовали настройки лишь на уровне отдельных пользователей, Symantec и CipherTrust — на уровне групп, а продукт Cloudmark поддерживает единые настройки антиспамовых фильтров для всего почтового сервера.
Какова ваша политика?
Сочетание средств фильтрации спама с антивирусным ПО и функциями фильтрации почты на базе правил представляется вполне естественным. Из 12 победителей только продукт фирмы Cloudmark не поддерживает комбинированный подход. Он станет идеальным решением для сетевых администраторов, стремящихся контролировать независимую инфраструктуру электронной почты, но вряд ли устроит поборников высокоинтегрированных систем.
Во многих продуктах средства борьбы со спамом, защиты от вирусов и фильтрации на базе правил представляют собой набор разрозненных компонентов, не способных взаимодействовать друг с другом. Это не страшно, если требуется отличить спам от легального сообщения либо выявить зараженный вирусом файл. Однако в большинстве продуктов функциональная интеграция не затронула архитектуру, а потому для настройки разных фильтров используются различные функции, которые не способны воспринимать результаты работы «коллег». Следовательно, вы не сможете задать сложное правило, например «удалить, если сообщение является спамом либо содержит вирусы, а в ином случае поместить в карантин». Ограничение становится особенно заметным, если поставщик интегрирует антиспамовое и антивирусное ПО других производителей.
В категории «почтовых политик» серьезно оторвался от конкурентов продукт компании PureMessage. Тесно интегрированный со средствами обнаружения вирусов того же производителя, он позволяет формировать любые наборы правил. Два других мощных инструмента фильтрации, разработанные Messaging Architects и Symantec, базируются на языке почтовых сценариев Sieve. Но если PureMessage использует Sieve постоянно, то в продуктах Messaging Architects и Symantec задействуются лишь отдельные функции и этот язык не является базой для фильтрации всех сообщений.
Описание фильтров на Sieve намного сложнее, чем работа с графическими интерфейсами при помощи мыши, зато этот язык наделяет сетевого администратора широчайшими возможностями. При необходимости реализовать на том же почтовом сервере сложную политику защиты тандем, состоящий из продуктов Messaging Architects и Symantec, окажется незаменимым. GWGuardian использует технологию Modus фирмы Vircom (одна из первых коммерческих реализаций языка Sieve), а в ПО компании Symantec сложности языка Sieve скрыты за удобным GUI, которого вполне достаточно для настройки простейших фильтров.
Если ваши правила фильтрации не отличаются особой сложностью (например, сводятся к отбрасыванию всех присоединенных файлов с расширением .exe и сообщений, содержащих вирусы), выбор будет куда богаче, поскольку фильтрацию на основе задаваемых администратором правил не поддерживают лишь продукты Cloudmark и Advascan. Следует учитывать сферу действия правил: это отдельные пользователи или их группы, домены или система в целом. Так, Postini позволяет сформировать в пределах одной и даже нескольких организаций сложную иерархию групп, к любому уровню которой может быть применен набор правил. Формирование правил по группам пользователей поддерживают также продукты Sophos, Symantec, CipherTrust, Mycom и Messaging Architects.
Слабая защита
В протестированных продуктах уровень информационной защиты изменялся от слабого до удручающего. Даже фирма CipherTrust, сделавшая особый упор на безопасность, реализовала ошибочную схему управления сертификатами, что не позволило полностью протестировать ее продукт.
Проблемы начинаются с управления незашифрованными Web-сеансами. Трудно понять, почему продукты компаний BorderWare, Symantec, Barracuda, Cloudmark, MailFrontier, Mycom и Postini, предназначенные явно не для домашнего пользования, поставляются с незашифрованными Web-серверами. В разработках BorderWare и MailFrontier функцию управления без шифрования можно отключить, но все равно неясно, почему конфигурация, принятая по умолчанию, содержит открытые Web-порты.
Та же ситуация — с протоколом SMTP. Лишь компания BorderWare реализовала и шифрование функций SMTP, и средства выявления атак, связанных с перехватом почты. В свое оправдание некоторые фирмы могут сослаться на использование агентов передачи сообщений (MTA). Продукты Symantec для среды Windows работают с почтовым агентом SMTP MTA от Microsoft, что не позволяет управлять шифрованием трафика SMTP. Так же обстоит дело с разработками Sophos, Proofpoint и Cloudmark. Шифрование можно было бы поручить функциям отправки сообщений, да только продукты для фильтрации спама практически не интегрированы со средствами обработки входящей и исходящей корреспонденции.
Наибольшей критики в отношении обеспечения безопасности заслуживают сервисы Advascan, Mycom и Postini, не поддерживающие шифрование на транспортном уровне (TLS). Правда, Postini заявила о намерении реализовать поддержку шифрования TLS в будущем. С другой стороны, ее система идентификации требует от пользователя многократной передачи по Internet (в незашифрованном виде) пароля, который служит для доступа к изолированным сообщениям.
Что происходит?
Большинство продуктов-лидеров поставляются с удобными управляющими интерфейсами. Однако Web-интерфейс фирмы Mycom скрывает сведения о навигации и контексте, поскольку доступные функции спрятаны в невидимых меню. Разработанный фирмой Sophos интерфейс управления правилами занимает весь экран, но вы вряд ли найдете на нем то, что ищете.
Настройка конфигурации систем не вызывает затруднений. Однако не так-то просто понять, чем на самом деле занят тот или иной продукт. Чтобы оценить их пригодность к использованию в корпоративной среде, мы проанализировали четыре свойства: просмотр очередей сообщений, поиск в журнале событий, содержимое базовых отчетов и генерацию отчетов по расписанию. Для корпоративной среды важны только первые две возможности, а отчеты в основном требуются высшему руководству и полезны при планировании ресурсов. Как выяснилось, только продукты BorderWare и CipherTrust обеспечивают интегрированное представление системы в целом.
Что касается управления безопасностью, фирмы Sophos, Symantec, Proofpoint, Cloudmark и MailFrontier могут сослаться на различия в платформах их разработок. Если в качестве системы доставки сообщений применяется Sendmail, для поиска сообщения в очереди достаточно одной команды в режиме командной строки. Однако это подход 20-летней давности. При использовании агентов MTA можно было бы достичь большей интеграции с современными графическими интерфейсами, но это удалось лишь компании Proofpoint, да и то частично.
Другие поставщики антиспамовых устройств (Barracuda и Messaging Architects) вряд ли найдут оправдание использованию ими принципа «черного ящика» применительно к управлению сообщениями. От сетевых сервисов мы не ждали чего-либо хорошего в области управления, а потому были приятно удивлены гибкостью функций генерации отчетов в продуктах Advascan и Postini.
Отбор фаворитов
Многие разработки прекрасно справляются с задачей фильтрации спама. При выборе продуктов пользователям придется выяснять, какой из них решает конкретные задачи лучше других. И, как правило, решение окажется не единственным.
В области ПО очень удачными оказались продукты Sophos и MailFrontier. Но если главное для вас — гибкость управления, вам трудно будет найти альтернативу предложению Coudmark.
Среди аппаратных средств безусловным фаворитом следует признать продукт BorderWare. Хотя он не вышел победителем по всем критериям, прекрасный дизайн и качество реализации сыграли решающую роль. Стоит обратить внимание и на разработки компаний Messaging Architects и CipherTrust. Нас поразили некоторые функции продукта Barracuda, реализованные уже в самой ранней версии, но недостатки в областях управления и обеспечения безопасности пока не позволяют назвать эту разработку решением корпоративного уровня.
Наконец, в категории услуг второй год подряд победителем выходит сервис Advascan компании Postini. Его функции фильтрации почты заслуживают всяческих похвал, но невозможность настройки под нужды пользователя сильно повлияла на суммарную оценку продукта. Нельзя не отметить и богатейший функционал сервиса Mycom, но первое впечатление сильно портят значительные задержки с доставкой сообщений и недостаточная производительность Web-интерфейса.
Комментарии к результатам тестирования
Положительные ложные срабатывания. Наивысшие баллы получили продукты, которые крайне редко помечают разрешенные сообщения как спам. Ложные положительные срабатывания — серьезная проблема, а отправка уведомлений о недоставленных сообщениях и списки рассылки представляют собой наибольшую трудность для средств фильтрации спама. Если ваше сообщение не доставлено, узнать об этом можно лишь из уведомления, генерируемого почтовой системой отправителя или получателя. Антиспамовые средства агрессивно фильтруют такие уведомления (полагая, что они порождены «червями», осуществляющими массовую рассылку), а потому разрушают обратную связь и снижают надежность электронной почты.
Настройка. Многие компании утверждают, что специальная настройка позволяет уменьшить процент положительных ложных срабатываний. Возможно, так оно и есть, но высшие строчки в нашем рейтинге заняли продукты Sophos, Symantec, Advascan и Proofpoint, которые вообще не требуют настройки. Из десяти лидеров по критерию числа положительных ложных срабатываний настройка осуществлялась только для разработки CipherTrust, а компания Symantec вообще не позволяет настраивать свой продукт.
Отрицательные ложные срабатывания. Мы просили компании выполнить настройки, минимизирующие долю отрицательных ложных срабатываний. Некоторые фирмы, особенно сервис-провайдеры Netriplex и 0Spam.Net, обеспечили очень высокую чувствительность фильтров: через них просочились единицы незапрошенных сообщений. При этом очень высоким оказался процент положительных ложных срабатываний. Наилучшей пропорции добился провайдер Postini: чувствительность 97%, только шесть положительных ложных срабатываний. Фирма Netriplex, а также разработчики ПО Process Software и Vircom предлагают десятки настроек, которые позволяют снизить долю положительных ложных срабатываний при сохранении процента отфильтровываемого спама на уровне 98-99%.
Возможный спам (MS=S). Если метки «предположительно спам» не причислять к отрицательным ложным срабатываниям, результаты тестирования продуктов CipherTrust и MailFrontier значительно улучшаются. Однако для решений двух других поставщиков, BorderWare и Symantec, ситуация не изменяется: хотя спам будет фильтроваться эффективнее, процент положительных ложных срабатываний останется прежним.
Производительность. Для аппаратных средств фильтрации спама приведенные значения производительности соответствуют наихудшему сценарию, поскольку спамом является больше половины поступающих сообщений, и не все они проходят через систему. В то же время активизация функций сканирования на наличие вирусов и изоляции зараженных файлов может снизить быстродействие еще больше. Производительность программных продуктов в реальных условиях может оказаться выше. В любом случае производительность аппаратных и программных средств следует сравнивать по отдельности.
Роль UNIX-среды. Мы потратили больше времени на настройку среды UNIX, различных системных утилит и ПО Sendmail, чем на конфигурирование программ, которые с ним работают, в том числе продуктов Roaring Penguin, Privacy Networks, Proofpoint и Cloudmark. Но эти затраты оправданны. Так, изменение в одной строчке конфигурации Sendmail позволило в три раза повысить производительность ПО CanIt производства Roaring Penguin.
Скорость приема и доставки сообщений. Мы измеряли скорость приема сообщений тестируемыми продуктами и темпы их отправки после сканирования. Иногда прием осуществлялся быстрее, чем последующая отсылка. В таком случае крайне важно отрегулировать интенсивность (скорость) потока входящих сообщений. В противном случае почтовый сервис рискует стать мишенью для атаки типа «отказ в обслуживании» (DoS), поскольку злоумышленники могут заполнить весь жесткий диск входящей почтой.
Продукты, принимающие почту со скоростью сканирования или доставки, плохо справляются с пиковыми объемами входящих сообщений. Наилучшая стратегия — до какого-то момента принимать сообщения с большей, чем при сканировании, скоростью, а затем, по мере исчерпания ресурсов, замедлять работу отправителя.
В целом можно рассчитывать на то, что при длительной работе с Internet доля фильтруемых незапрошенных сообщений окажется большей, чем в наших тестах, но процент положительных ложных срабатываний практически не изменится.
Процедура тестирования
На один месяц мы поместили корпоративные антиспамовые продукты в реальную почтовую среду. Большое число участников потребовало использования двух высокопроизводительных серверов компании HP с двумя процессорами Xeon каждый, а также виртуальных серверов VMware ESX корпорации EMC. Девятнадцать приложений были инсталлированы на сервере HP в 19 отдельных образов VMware. При этом использовалась операционная система, рекомендованная разработчиком. Девять аппаратных продуктов тестировались под управлением системы AMX5100 KVM фирмы Avocent. Наконец, еще десять продуктов представляли собой сетевые службы, поэтому для их оценки мы переадресовывали поток почтовых сообщений на соответствующие Internet-серверы по двум соединениям DS3.
На устранение проблем с инсталляцией поставщикам было отведено два месяца. На этом этапе часть входящего потока сообщений Opus One обрабатывалась каждым из тестировавшихся продуктов. В преодолении сложностей, связанных с различиями в реализации протокола SMTP разными компаниями, неоценимым подспорьем оказалось ПО WildPackets производства Etherpeek.
За неделю до начала тестирования мы изменили конфигурацию корпоративных почтовых серверов Opus One так, что поступающая почта направлялась на них напрямую. Поскольку нас интересовала именно борьба со спамом, предварительно выявленные зараженные сообщения не учитывались.
Важность предварительного сканирования входящей почты на наличие вирусов трудно переоценить. Поскольку почти 100% зараженной почты генерируется «червями», осуществляющими массовые почтовые рассылки (а не реальными пользователями, присоединяющими к сообщениям зараженные файлы), многие антиспамовые продукты принимают порождаемые «червями» рассылки за спам. Оказалось, что в качестве спама иногда воспринимаются и порождаемые вирусами повторные сообщения, хотя сами они не содержат вирусов и не связаны с почтовыми рассылками. Во избежание разногласий в определении спама мы отбросили около 100 таких сообщений и не учли их в итоговой статистике. Обнаружилось, что некоторые продукты слишком агрессивны в отбрасывании уведомлений о недоставленных сообщениях. Эти ложные срабатывания уменьшали число баллов, начисляемых соответствующему продукту.
Очищенный входной поток сообщений одновременно передавался каждому из тестировавшихся продуктов в режиме, близком к режиму реального времени. К средствам фильтрации спама почта поступала практически сразу после ее получения. Как показал специальный тест, задержка на несколько дней или недель приводит к совершенно иным результатам, и это указывает на важность своевременного обновления продуктов, основанных на использовании сигнатур. В итоге обновление сигнатур осуществлялось с частотой, рекомендованной разработчиком.
Мы стремились в течение месяца обработать 10-30 тыс. сообщений. Однако через пару недель обнаружилось, что некоторые продукты функционируют нестабильно, и нам пришлось остановить поток на отметке примерно 11 тыс. входящих сообщений.
Мы просмотрели каждое из этих сообщений и определили его тип: спам, не спам, неопределенная категория. К спаму были отнесены 8027 сообщений, поскольку в них не прослеживалось каких-либо деловых или персональных взаимоотношений между отправителем и получателем. В категорию «не спам» попало 2386 сообщений, позволяющих установить наличие таких отношений либо являющихся индивидуальными посланиями, пусть и не инициированными адресатом. Все почтовые рассылки, на которые мы были официально подписаны, также не относились к спаму. В класс неопределенных попало несколько сообщений. Среди них оказались те, которые стали результатом вирусных повторных сообщений, вызвали у нас сомнения на стадии классификации либо имели неверный формат, так что определить их истинное происхождение не представлялось возможным.
В специальных отчетах мы могли видеть число положительных и отрицательных ложных срабатываний каждого продукта. В идеале доля положительных ложных срабатываний (за спам принимаются сообщения, которые спамом не являются) должна равняться нулю, а чувствительность (доля выявленных сообщений, являющихся спамом) — составлять 100%. Корпоративные почтовые системы обычно более чувствительны к положительным ложным срабатываниям, и мы попросили производителей настроить свои продукты так, чтобы доля подобных ошибок не превышала 1%.
В связи с проблемами обеспечения безопасности, имеющими отношение к выявлению спама, мы запретили компаниям заранее оптимизировать производительность своих продуктов. Зато они заблаговременно получили детальное описание тестов и прислали нам свои рекомендации по настройке производительности, которыми мы воспользовались в ходе испытаний. Результаты тестов на производительность были сведены к двум величинам: скорость обработки сообщений и скорость их доставки. «Верхнюю» группу сформировали продукты, способные выявлять более 90% спамовых сообщений и продемонстрировавшие долю ложных положительных срабатываний менее 1%.