Обзор подготовлен	При поддержке

Инструменты фильтрации спама

В 2003 г. спамеры преодолели "психологический рубеж" — в почте среднестатистического пользователя спама стало больше, чем не-спама. В связи с этим, резко вырос спрос на «антиспам»: если два года назад рынок спам-фильтров оценивался в $600 млн., то по прогнозам Radicati Group он может составить $3 млрд. в 2008м году.

Спам — не новое явление в интернете. 3 мая 2003 г. "отметили" 25-летие первой массовой рассылки, 31 марта 2003 г. — 10 лет с момента первого использования слова "spam" применительно к массовой рассылке, 5 марта 2004 г. — 10-летие первой массовой рекламной рассылки (коммерсантов пустили в Сеть в 1994 году), а 16 марта 2004 г. — 5-летие отечественной СпамЭпидемСтанции. До 2003 года спам досаждал в основном администраторам, чьи почтовые и прокси-серверы спамеры пытались использовать для пересылки спама, и сетевым старожилам, давно "засветившим" свои адреса в интернете.

Динамика роста потока спама в мире и США, млрд. сообщений в день

Источник: IDC

Лидирующие антиспам-технологии

Brightmail — один из самых распространенных в мире серверных спам-фильтров. В июне 2004 г. Symantec приобрела Brightmail, и теперь полное название продукта звучит как Symantec Brightmail Anti-Spam. До приобретения Brightmail Symantec поставлял только недорогой "настольный" антиспам — Norton AntiSpam для Windows, таким образом, Brightmail заполнил пробел в линейке серверных продуктов Symantec. Текущая версия Symantec Brightmail Anti-Spam 6.0 по утверждению разработчиков имеет самый низкий в отрасли уровень ложных срабатываний — не более одного сообщения на миллион — при 95% фильтрации спама. При этом фильтрами Brightmail обрабатывается около 15% всего почтового потока в мире (300 млн. пользователей). Используются 17 различных фильтров — лексические, репутационные, сигнатурные, фильтры URL, запатентованные распределенные технологии детектирования спама (2 миллиона ловушек в 20 странах). Автоматические обновления баз поставляются пользователям каждые 5-10 минут.

Существуют версии для Microsoft Exchange, Lotus Domino, а также для Unix-серверов. Стоимость в России $14-53 за 1 лицензию (ящик) в год.

Осенью 2004 года технологию Brightmail лицензировал крупнейший поставщик услуг фильтрации спама и вирусов MessageLabs для использования совместно со своей разработкой Skeptic при фильтрации почты своих клиентов. Двойная проверка позволила повысить качество фильтрации в выпущенной в декабре 4-й версии MessageLabs AntiSpam. Технология Skeptic таже была доработана — добавилась новые проверки IP, эвристические методы, поддержка Unicode и байесовых оценок. Это дало возможность MessageLabs гарантировать клиентам качество фильтрации не менее 95% спама при 0.0004% ложных срабатываний. В тестах VeriTest в феврале 2005 фильтр MessageLabs отфильтровал 99.29% спама при отсутствии ложных срабатываний, получив высшую оценку VeriTest.

MessageLabs обрабатывает для своих клиентов около 100 миллионов сообщений в день. Для 500 пользователей стоимость сервиса MessageLabs — $18 в год за 1 ящик.

Ровно через год после Brightmail сменил владельца и другой известный поставщик продуктов для фильтрации спама и вирусов — Sybari Software. Новый владелец — Microsoft — как и Symantec, стремится расширить спектр предлагаемых предприятиям средств безопасности. У Microsoft также ранее был спам-фильтр собственной разработки — Exchange Intelligent Message Filter (IMF) — бесплатный, с довольно скромными характеристиками: около 90% фильтрации спама при высоком (0.11%) уровне ложных срабатываний.

Теперь с обретенными продуктами Sybari Advanced Spam Manager и Advanced Spam Defense Microsoft может предложить рынку более эффективное решение для фильтрации спама и вирусов. Собственные серверы Microsoft также защищены продуктами Sybari.

Sybari Advanced Spam Manager фильтрует 95% спама, совместим с Exchange и Domino, использует фильтры отправителей, RBL, готовый настраиваемый набор эвристических фильтров для заголовков и тел писем, может интегрироваться с Exchange IMF и антиспам-средствами Outlook.

Sybari Advanced Spam Defense (ASD) использует распределенную технологию детектирования рассылок, лицензированную у компании Commtouch, которая в свою очередь приобрела эксклюзивные права на старейшую технологию "группового отбора" спама по отчетам пользователей — DCC (Distributed Checksum Clearinghouse). Программы DCC разрабатывались Rhyolite Software с 2000 г., распространялись с открытой лицензией и получили очень широкое распространение. На текущий момент сеть DCC включает 250 серверов, обрабатывающих в среднем около 190 миллионов сообщений в день для миллионов пользователей. Это позволяет Advanced Spam Defense фильтровать 97% спама. А Microsoft через третьи руки получила контроль над DCC — сейчас на сайте Rhyolite.com помещено объявление от 31 марта 2005 года о том, что свободная лицензия не будет распространяться на будущие коммерческие версии программы для предприятий. Кроме того прекратятся разработки версий продуктов Sybari для Unix-серверов. Для пользователей DCC останется бесплатной, т.к. именно пользователи (а не роботы-ловушки, как в Brightmail) являются для DCC информаторами о спам-рассылках. План смены лицензий представлен на сайте Commtouch. Собственная запатентованная технология Commtouch — RPD (Recurrent Pattern Detection) — видимо основана на тех же принципах что и DCC, хотя в описаниях RPD не сказано, что является источником данных для детектора массовых рассылок — спам-приманки как в Brightmail или почта реальных пользователей, как в DCC. Детектор Commtouch способен распознать новую массовую рассылку через полторы минуты после её начала.

Стоимость Sybari Advanced Spam Manager в России составляет $13-20 за лицензию (ящик). Sybari Advanced Spam Defense $10-34 за ящик.

10 миллионов пользователей фильтруют свою почту с помощью MailShell. Компания распространяет свою технологию в основном по OEM-каналам, поэтому этот продукт может быть известен под разными именами в разных компаниях. MailShell используется в Lyris MailShield, почтовом сервере Stalker CommuniGate, "аппаратном" фильтре Panda GateDefender, Oracle Collaboration Suite и в других известных продуктах. Кроме продуктов для OEM, MailShell предлагает сервис фильтрации почты для предприятий (MX-запись домена предприятия направляется на сервер MailShell, который отфильтровывает спам и оставшуюся почту пересылает напрямую на почтовый сервер предприятия) и персональный "настольный" антиспам-фильтр для пользователей Mailshell Anti-Spam Desktop. Обслуживание домена предприятия стоит $150 (регистрация) и $50-$200 в месяц в зависимости от объема почты. Настольный спам-фильтр стоит $30.

MailShell использует 4 основных типа проверок: детектор массовых рассылок SpamBulk (на базе "отпечатков" сообщений, как и в предыдущих фильтрах), проверку репутации отправителя SpamRepute (различные RBL, черные списки доменов и email, собственная сеть SpamPit — приманки для спама), SpamContent (эвристики, оценивающие заголовки и тело письма, плюс вычисление байесовой статистической вероятности спамности письма) и SpamTricks (выявление спамерских трюков — нарушений формата письма, использование текста в изображениях, фишинг и др.). Два года назад сервисы MailShell были недостаточно стабильны, но в последних обзорах MailShell получает самые высокие оценки, опрережая всех по уровню фильтрации спама — более 99%, при отсутствии ложных срабатываний (в тестах обозревателей).

Народные спам-фильтры

При средней стоимости коммерческих фильтров в $20 в год за ящик далеко не все компании готовы столько платить за избавление от мусора. Поэтому ниша недорогих и бесплатных фильтров заполнена сотнями различных продуктов. В основном они расчитаны на индивидуальных пользователей, а не на корпоративные почтовые серверы, но есть и универсальные фильтры.

Самым популярным на протяжении нескольких лет остается один из старейших спам-фильтров — SpamAssassin, который вначале распространялся под лицензиями GPL и Perl Artistic License, а с третьей версии под Apache License. Существуют plugin'ы для подключения SpamAssassin к большинству почтовых серверов под любыми ОС, а также для почтовых клиентов. Этот фильтр используется и в некоторых известных коммерческих продуктах — McAfee SpamKiller, почтовом сервере AltN MDaemon и др.

SpamAssassin основан на вычислении большого числа эвристик и статистической байесовой оценки.

Наличие многочисленных различных конфигураций SpamAssassin приводит к широкому разбросу оценок его эффективности — от 70% до 98% с ложными срабатываниями от 0.0014% до 0.15%. Это тот случай, когда все зависит от конкретных настроек в конкретной ситуации, т.е. от мастерства администратора сервера и особенностей его почтового потока. В отличие от описанных ранее коммерческих фильтров стандартные настройки и обновления баз от производителя не гарантируют автоматически приемлемый результат, а требуют нетривиальной доводки на месте.

Тем не менее, после должной настройки SpamAssassin не уступает по эффективности такие известные коммерческие фильтры как SpySweeper Enterprise, Cloudmark Immunity, NetIQ MailMarshal, MessageLabs Anti-Spam, Sophos PureMessage.

С 2002 года отмечен неуклонный рост популярности статистических байесовых фильтров: они значительно проще в настройке (обучении), чем эвристические фильтры, и при этом обеспечивают уровень фильтрации больше 99%. В том или ином виде байесовы фильтры применяются уже практически во всех ведущих спам-фильтрах, включая описанные выше, где играют роль "одной из эвристик" в совокупной оценке сообщения. Однако фильтры, где байесова классификация играет основную роль, тоже составляют многочисленную группу, особенно среди программ с открытой лицензией. Среди них стоит отметить расчитанный на использование на почтовых серверах DSPAM (уровень фильтрации спама 99.95%, защищает миллионы почтовых ящиков) и работающие у сотен тысяч пользователей SpamBayes и PopFile. PopFile может работать и на почтовом сервере, но plugin'ы для его подключения есть только для почтовых серверов Microsoft Exchange и Eserv.

Фильтрация спама в России

Российские потребители уже несколько лет фильтруют вирусы в электронной почте. Спам, в отличие от вирусов, прямой угрозы компьютерам пользователей не несет и видимо поэтому рынок спам-фильтров в нашей стране развит еще недостаточно. Антиспам продукты не входят в число лидеров продаж ни в одном из крупных онлайновых магазинов Рунета. Часть пользователей удаляет спам вручную, небольшие провайдеры используют в основном SpamAssassin, а корпоративные пользователи используют те продукты, которые предлагаются производителями почтовых серверов, либо не используют спам-фильтры вообще.

Традиционно большая часть индивидуальных пользователей в России используют бесплатные почтовые службы mail.ru, yandex.ru, rambler.ru. На их плечи и легло основное бремя фильтрации спама в Рунете, т.к. от этой работы зависит степень удовлетворения пользователей, себестоимость и работоспособность сервиса.

Ведущим российским разработчиком спам-фильтров в России является компания "Ашманов и Партнеры" основанная в 2001 году. Фильтр "Спамтест" защищает от спама пользователей mail.ru и многих крупных провайдеров, а также является ядром фильтра Kaspersky Anti-Spam. Спамтест ежедневно обрабатывает десятки миллионов сообщений, т.е. объемы работы сравнимы с западными фильтрами DCC и MailShell. Качество фильтрации по данным разработчиков находится на уровне 85-95% с ложными срабатываниями 0,001-0.005%.

Основой для расчета спам-оценок в фильтре Спамтест являются лингвистические эвристики (для поддержания их списка в актуальном состоянии в компании работает специальная лаборатория, в которой работают десятки лингвистов). Кроме этого применяется анализ изображений и традиционные для других фильтров методики — анализ IP, доменов и т.д.

Стоимость годовой лицензии Спамтеста для провайдеров зависит от количества обрабатываемых сообщений в сутки и составляет $1300-20000 в год. Для предприятий стоимость зависит от количества ящиков и составляет $1-3 за ящик, т.е. примерно в 10 раз дешевле западных фильтров. Стоимость основанного на Спамтесте Kaspersky Anti-Spam составляет $5-10 в год за лицензию (ящик). Варианты этих продуктов существуют для большинства распространенных почтовых серверов, но только на платформе Unix. Версия для Windows откладывается уже второй год.

Компания "Яндекс" также сделала корпоративную версию фильтра, который первоначально использовался только на собственных серверах Яндекса. Продукт "Спамооборона" выпущен для использования на корпоративных почтовых серверах и предлагается по цене $1-10 за ящик в год. Уровень фильтрации спама более 90% при ложных срабатываниях 0,001%. Спамооборона в отличие от Спамтеста больше полагается на автоматические методы определения спама — детектирование массовых рассылок на базе нечетких сигнатур писем ("шинглы" в терминологии Яндекса — принцип работы с ними похож на используемый в DCC и Brightmail), собственные эффективные RBL, а не на ручную корректировку эвристик лингвистами.

Версии Спамообороны для Windows, как и Спамтеста, нет. В этой нише позиционируется новый продукт российской компании "АГАВА" — Spamprotexx (http://spamprotexxx.ru). Базовая версия этого байесового фильтра предлагается за $10 для фильтрации спама на пользовательских компьютерах, а серверная версия за $150 (не зависит от числа ящиков) интегрируется с российским почтовым сервером для Windows — Eserv. При использовании в корпоративных сетях небольших и средних размеров Spamprotexx может фильтровать больше 99% спама при низком уровне ложных срабатываний. По сравнению с западными байесовыми фильтрами Spamprotexx в несколько раз быстрее и создает более компактные базы, что дает возможность обрабатывать до миллиона сообщений в сутки на одном сервере.

Почему спам не побежден

Те или иные спам-фильтры используются уже на 90% почтовых серверов, и уровень фильтрации спама достиг 95% в большинстве фильтров. Однако пока спамерские рассылки достигают ящиков хотя бы 1% получателей, они остаются рентабельными для рекламодателей — клиентов спамеров. Поэтому спам в ближайшие годы будет оставаться головной болью администраторов почтовых серверов. Основная часть конечных пользователей, усилиями упомянутых выше компаний и администраторов, от спама уже практически избавлена.

По мере роста качества средств безопасности на подключенных к интернету компьютерах прибыльность спама будет падать, и объемы его будут сокращаться. Первые признаки снижения объемов спама, по данным MessageLabs, заметны уже в этом году. Подобную динамику приводит и Commtouch Software.

Доля спама в почтовом трафике, %

Источник: MessageLabs

Объем спама начнет  уменьшаться только тогда, когда стоимость спамерских рассылок приблизится к стоимости других рекламных каналов. Это произойдет обязательно, т.к. средства, направленные на защиту от спама, уже значительно превышают объем рынка спамерских услуг. Спамеры не в состоянии инвестировать сравнимые суммы в средства доставки своих рассылок и выживают только за счет воровства ресурсов чужих компьютеров.

Андрей Черезов