Как фильтровать почту так, чтобы не&nb p;оторвали руки

Основной проблемой Сети на сегодняшний момент является изобилие различных нечистых на руку дельцов, среди которых с большим отрывом лидируют спамеры. Борьба со спамом может вестись различными методами. Практически все они требуют применения различных «интеллектуальных» систем. В действительности, вся интеллектуальность систем закладывается человеком. Как гласит один из законов Мерфи — «Всякая система, зависящая от человеческой надежности, ненадежна».

 

 

Передоверяя машине окончательное решение, является письмо спамом или нет, необходимо заботиться о том, чтобы она действительно обладала каким-то интеллектом.

Одним из наиболее популярных средств защиты от спама является использование так называемых DNSBL — черных списков, содержащих IP-адреса серверов, с которых приходит спам. В отличие от различных программных продуктов, использование DNSBL, как правило, бесплатно, поэтому большинство компаний, в том числе и множество весьма крупных провайдеров, с удовольствием используют их в своей работе.

DNSBL — DNS (based) block list — списки серверов с некорректными настройками, позволяющими рассылать спам

К чему это приводит при сбоях, стало ясно в прошлом году — компания Osirusoft, администрирующая весьма популярный и широко используемый черный список, начала «чудить»: практически все письма, которые сопоставлялись с ее данными, оказывались пришедшими с серверов, через которые рассылается спам. Рунет (и не только) бурно пообсуждал данное неприятное событие, погрустил о пропавшей у некоторых переписке, стал использовать листы Osirusoft с некоторым подозрением и забыл об этом инциденте. А зря.

В конце марта мне лично довелось столкнуться с тем, что мои письма перестали доставляться одному адресату. От почтового сервера приходила следующая отписка:

XXX.XXX.XXX.XXX does not like recipient.
Remote host said: 557 Service unavailable; Client host [YYY.YYY.YYY.YYY] blocked using dnsbl.sorbs.net; Spam Received See: /redir.php?url=www.dnsbl.sorbs.net%2Fcgi-bin%2Flookup%3FIP%3DZZZ.ZZZ.ZZZ.ZZZ

Обычно удаление из черных списков осуществляется (часто автоматически), почти всегда бесплатно после корректной настройки сервераДостаточно скоро стало ясно, что в черном списке SORBS находится не только SMTP-сервер моего интернет-провайдера, но и SMTP-серверы всех трех доступных мне хостинг-провайдеров. Адрес «Postmaster» в домене нужного мне абонента молчал. В переписку пришлось вступить с помощью формы обратной связи на сайте провайдера. По счастью, служба поддержки оказалась вполне адекватной и любезно согласилась убрать с нужного мне адреса антиспамерскую проверку по SORBS'у. На прощание я пожелал провайдеру относиться более бдительно к различным сортировкам, и на этом для меня все неприятности кончились. Подробно о том, как работает спам-лист от SORBS, можно прочитать на Webinform.ru. Здесь же отмечу только то, что «особенностью» данного сервиса является удаление вас из списка только после того, как вы пожертвуете 50 долларов за каждый случай спама, прошедшего через ваши серверы, в благотворительные организации, никак не связанные с SORBS. Данное правило уже позволило сравнить SORBS на некоторых форумах с Робин Гудом.

Задаваясь вопросом "Кто виноват?", не стоит сваливать всю вину за недоставленную почту только на SORBS. Любой администратор не должен забывать о ненадежности систем, зависящих от надежности человека — людям свойственно ошибаться, и с этим ничего не сделаешь. Последнее, что готовы простить пользователи своим провайдерам — это нужная им почта, которая не была получена. Фильтрация, которая была осуществлена по принципу «лишь бы было», может обернуться весомым убытком как для обычных компаний, лишенных возможности получения необходимой информации, так и для провайдеров, рискующих потерять клиентов.

Четкого ответа на вопрос "Что делать?" тоже не существует — слишком все индивидуально. Тем не менее при организации работы почтового сервера важно помнить о некоторых моментах:

• Действия должны быть обратимыми! Почта никоим образом не должна удаляться без возможности восстановления, и тем более только на основании данных полученных от DNSBL — помните, что раз в год и палка стреляет.
• Пользователи должны быть информированы обо всех включенных провайдером фильтрах спама и вирусов. Также желательно, чтобы пользователь мог самостоятельно отключать то, что, как он считает, ему мешает. Это нужно по той причине, что достаточно много людей готовы отсеивать спам вручную — ради того, чтобы не пропустить действительно нужное письмо. Разумеется, когда вы администрируете корпоративный сервер, ваши действия должны быть, в первую очередь, продиктованы политикой безопасности вашей компании и лишь потом желаниями пользователей.
• Отказ в приеме письма или его удаление вполне могут быть заменены следующей схемой взаимодействия — письма, которые вызывают подозрения, помечаются дополнительным заголовком (X-Spam, X-Virus и так далее). При этом пользовательские программы настраиваются таким образом, что письма с соответствующим заголовком не скачиваются с сервера в течение нескольких дней. Если у пользователя возникнут подозрения в том, что почтовый сервер необоснованно принимает какую-то почту за спам, он сможет самостоятельно это проверить. Как вариант, можно складывать спам в отдельные папки, доступные пользователю через IMAP или веб-интерфейс на сайте провайдера.
• Вполне возможно использование различных проверок, то есть можно присваивать письму статус «спам» только в том случае, когда об этом говорит больше чем один черный список.
• Статистическое отслеживание работы списков. Хорошо известно, что поток спама на данный момент составляет 50-70% от всей входящей корреспонденции. Неплохим решением является реализация скрипта, который оценивает количество отсеиваемой почты, и если оно превышает какой-то установленный предел, предпринимает какие-либо действия — отключение конкретного DNSBL или, к примеру, сообщение администратору об аномалии. В том случае если неправильная работа каких-либо списков действительно имела место, вполне можно запустить обработчик, который удалит ошибочные дополнительные заголовки из писем, или переместит сами письма в папку Inbox, что, разумеется, невозможно при удалении писем, заподозренных в спаме.

Алгоритм Байеса, вкупе с обычным анализом текста письма, на сегодняшний день является одним из самых эффективных способов определения спама. Его реализация встроена в The Bat! и MozillaMailВ идеале, при использовании черных списков было бы весьма неплохо использовать весовой подход, разработанный Байесом. То есть учитывать различные «спамные» критерии и выдавать итоговую оценку о том, является или нет письмо спамом, на основании сочетания факторов, а не только одного лишь свидетельства. К примеру, одиночное письмо, пришедшее с хоста, помеченного DNSBL как спамоопасный, может и не являться спамом. Зачастую спамеры используют те же SMTP-серверы, что и обычные пользователи, в настройках которых, однако, допущены ошибки. В том случае если со спамоопасного хоста пришло еще множество писем, при этом все они достаточно четко группируются по объему, можно быть уверенным, что это спам.

Конкретно пользователям SORBS на данный момент можно посоветовать следующее: внимательно проверить то, как обращается с подозрительной почтой ваш сервер. Дело в том, что наибольшее количество проблем возникает при использовании зоны spam.dnsbl.sorbs.net, которая также включена в общую зону dnsbl.sorbs.net. На сайте Antispam.ru рекомендуются к использованию наиболее «правильно» работающие http.dnsbl.sorbs.net, socks.dnsbl.sorbs.net, smtp.dnsbl.sorbs.net.

Всем же остальным пользователям других DNSBL стоит относиться к настройке их использования с максимальной осторожностью, следуя золотому правилу "тише едешь — дальше будешь". Можно обратить внимание на антиспамерские фильтры от компании «Ашманов и партнеры», которые, в частности, используются на Mail.ru. При невозможности использования зарекомендовавших себя продуктов, или качественной и квалифицированной настройки использования сторонних сервисов, от применения фильтров лучше отказаться вообще, так как при неграмотных установках чистые от спама ящики пользователей легко могут превратиться в пустые...

***

P.S. В качестве комментариев к этому материалу мы задали несколько вопросов Алексею Тутубалину, одному из разработчиков антиспамерского фильтра Spamtest.

Правда ли, что SORBS заносит в свои «черные списки» целые подсети провайдеров, если один из клиентов провайдера замечен в рассылке спама?

В SORBS'овскую Spam DB действительно заносятся те, кто «помогает спамерам». В «помощь» включен и хостинг DNS, и в результате довольно частый способ в этот список попасть может быть таким — провайдер А держит сайт somesite.com, провайдер Б держит DNS-записи для somesite.com. Сайт somesite.com рекламируется спамом (это может быть и «подставой», поскольку такой «бизнес», как рассылка спама «от имени», вполне встречается; в частности, спамеры пытались дезавуировать антиспам-конференцию и отдельно нашу компанию, рассылая спам с рекламой нас). В результате в SpamDB попадает и провайдер А (который поддерживает сайт), и провайдер Б, который держит только DNS-записи, а вовсе не источники спама.

Действительно ли убрать IP адресов и IP подсетей оттуда можно только за деньги?

Мы не пробовали. Но написано вполне явно: 

You pay US$50 to a charity or trust approved by, and not connected with, SORBS for each spam received relating to the listing (This is known and refered to as the SORBS 'fine'). 

Оформлен этот платеж как пожертвование детскому госпиталю, но от этого не перестает быть вымогательством.

Как вы относитесь к подобной практике вымогательства?

А как можно относиться к вымогателям? «Никаких переговоров с террористами». Опять-таки, наш ISP обладает опытом переговоров с подобными сервисами
(SPEWS, SORBS), преимущественно безуспешными.

Используется ли фильтрация адресов по SORBS в «Спамтесте»?

В сервисе «Спамтест» вообще не используется фильтрация по RBL. В Продукте Spamtest (и Kaspersky Anti-Spam) есть возможность включить фильтрацию по RBL, но в настройках по умолчанию она выключена.

Что вообще вы можете сказать о фильтрации по базам черных списков? Насколько этот способ эффективен?

Фильтрация по RBL в ее классическом виде (отказ от почты, если IP-адрес отправителя есть в этом списке) не слишком эффективна. То есть можно достичь эффективности 50-60% (вряд ли сильно больше), но ценой нескольких процентов ложных срабатываний, а это неприемлемый уровень (мы проводили специальное исследование на этот счет). 

Как дополнительный признак, используемый в сомнительных ситуациях, RBL вполне могут быть использованы, но делать это следует аккуратно. То есть письмо не должно отвергаться (классифицироваться как спам) на основании только информации из RBL.

При этом полезно различать RBL «первого» и «второго» рода по классификации Н. Федотова и использовать в реальной работе только списки «первого рода» (в которые включены реальные источники спама) и не использовать «второго рода» ("политические" черные списки).

Ссылки по теме

• О спаме
• «Спамтест»

Статья получена: hostinfo.ru

загрузка...