Каталог статей
Поиск по базе статей  
Статья на тему Интернет » Интересное в сети » Байес может быть успешным

 

Байес может быть успешным

 

 

«Спам-фильтр» — барьер для спама

Суббота. Почты по работе быть не должно, но в ящике 30 писем. Одно из них личное, 29-е — спам. И до вечера придет еще столько же спамных сообщений. И так каждую субботу и воскресенье.

загрузка...

 

 

В будни соотношение писем другое, так как появляется служебная почта, но и размер спама растет. Увы, такова участь работника ИТ-индустрии. Утомляет такое соотношение? Конечно.

Со спамом можно бороться разными методами. Можно довериться профессионалам, завести e-mail на одном из известных почтовых сервисов, отслеживающих спам. Можно завести аккаунт на «Спам-тесте» Ашманова и осуществлять пересылку всей корреспонденции на этот аккаунт, получая потом уже размеченную специальными метками почту. Можно бороться с помощью программ-фильтровщиков спама.

Программы-фильтровщики спама работают на разных принципах: есть методы отсечения спама по антиспамерским DNS-стоп-листам, спам по стоп-спискам слов. Можно использовать программы, работающие на основе статистических методов Подобные программы работают на разных принципах. Есть методы отсечения спама по антиспамерским DNS-стоп-листам. Можно отсекать спам по стоп-спискам слов. Можно использовать программы, работающие на основе статистических методов, например метода Байеса. Программ, работающих на основе теоремы Байеса, достаточно много. Платных и бесплатных. Внешняя простота метода вдохновила не один десяток программистов на создание защитных антиспамных программ. Но некоторые неудачные разработки поставили под сомнение сам принцип фильтрации спама статистическими методами. Все дело в реализации конкретного алгоритма.

Эксперимента ради полгода тестировалась программа, работающая на основе статистических методов. Эта программа создана компанией DeSofto и называется «Спам-фильтр». Во время тестирования программа работала как самостоятельно, так и в тандеме с другими антиспамерскими программами. По истечении более чем полугода работы можно сказать, что реализация антиспамерской защиты на основе статистических методов в программе "Спам-фильтр" очень удачная и обеспечивает до 95% отсечения ненужной корреспонденции.

"Спам-фильтр"

Независимо от методов определения корреспонденции как спама все программы реализуют два механизма выдачи окончательного результата — разметка писем или удалениеНезависимо от методов определения корреспонденции как спама все программы реализуют два механизма выдачи окончательного результата: первый — удаление почты, распознанной как спам; второй — внедрение в поле «Тема» специальной метки. Второй способ фильтрации можно назвать фильтрацией относительно. Почта с такой меткой складывается в специальную папку и все равно просматривается пользователем. Однако решиться на удаление всей корреспонденции, распознанной как спам сразу на сервере, пользователю не так-то просто. А вдруг программа что-то распознает не так? Такие опасения были и в случае со "Спам-фильтром". Но с течением времени наблюдения за работой программы убедили в том, что эти опасения напрасны.

DeSofto SpamFilter
DeSofto SpamFilter

Напрасны прежде всего потому, что в программе реализованы несколько уровней фильтрации, и потому, что механизмы обучения в программе настолько корректны, что через какое-то время можно без опаски включать четвертый, самый высокий, уровень защиты, который подразумевает удаление спам-корреспонденции на сервере.

"Спам-фильтр" работает с любой программой — почтовым клиентом, но требует настройки параметров программы, которая теперь будет обращаться за почтой не к почтовому серверу, а к "Спам-фильтру". Настройки параметров почтового клиента не сложные, но требуют внимательности. Правильную настройку можно произвести с помощью самого "Спам-фильтра": в закладке «Общие» окна «Настройки» выводятся правильные данные для почтового клиента.

Общий принцип работы у программы обычный: "Спам-фильтр", анализируя присылаемую пользователю почту, присваивает письму определенный рейтинг. Рейтинг — это как бы вероятность того, что письмо нормальное, не спам, он выражается в процентах. Вся работа с программой для пользователя сводится к управлению функциями программы по отношению к этому рейтингу.

Рейтинг и обучение

Рейтинг, вычисляемый прораммой, — основа для принятия решения о полезности/бесполезности письмаРейтинг вычисляется на основе заложенных в программу начальных уровней статистики использования спам-слов и на основе писем, которые в процессе обучения пользователь отмечает как спам. В программе реализовано два метода проверки писем и четыре уровня анализа письма. "Спам-фильтр" осуществляет двухуровневую проверку — сначала на сервере (по заголовку письма и по спискам), потом, если письмо классифицируется как условно нормальное, оно скачивается, и проверяется полностью содержимое письма по встроенным алгоритмам. Письма, которые программа не считает явным спамом или явным не спамом, выводятся в главном окне программы с указанием высчитанной величины рейтинга. Просмотр содержания такого проблемного письма производится в нижней части окна программы. Это дает возможность пользователю оценить письмо и дать понять программе, как нужно классифицировать это конкретное сообщение.

Результат более чем полугодового обучения
Результат более чем полугодового обучения

Обучение — сильная сторона программ, работающих на основе статистических методов. Обучаются и программы, работающие на основе списков спам-слов или IP-адресов, но обучение таких программ, если можно так сказать, универсальное. Так как оно проводится компаниями-разработчиками программ на основе анализа спам-писем, поступаемых на специальные адреса таких компаний. Такое обучение не учитывает индивидуальные потребности пользователя. Ведь понятие «спам» — многогранное. То, что для обычного пользователя является спамом, для менеджера отдела продаж может оказаться ценным письмом. Именно обучение является той функцией, благодаря которой настройка на почту становится индивидуальной.

Если вы пользуетесь MS Outlook, то обучение очень простое: технологией drag&drop перенесите ненужное письмо в окно "Спам-фильтра" и отметьте его как спам. В Тhe Bat! лучше сделать по-другому: выставить для задержки письма с рейтингом 100%. Тогда все письма будут задерживаться в программе и помечаться как спам или не спам.

Программы, работающие на основе статистических методов, могут «переобучаться». То есть возможна ситуация, когда программа станет воспринимать всю корреспонденцию либо как спам, либо как не спам. Это зависит от алгоритмов, заложенных в программу. Со "Спам-фильтром" в течение тестируемого периода таких проблем не возникало. Но теоретически они возможны, и поэтому предусмотрена возможность сброса всей статистики обучения.

Для получения несвойственной вам корреспонденции отметьте письмо как нейтральное

Одна из причин такого «переобучения» заключается в том, что пользователю иногда приходится принимать послания, явно выпадающие из общей индивидуальной статистики. Как правило, такие сообщения достаточно редки, но случаются. Прием такой корреспонденции сбивает программу с толку: то, что раньше было нельзя, теперь вроде как становится можно. В последней версии "Спам-фильтра" учтена необходимость получения писем без обучения программы в ту или иную сторону — письмо просто помечается как нейтральное.

Проверка на стороне сервера позволяет экономить трафик Проверка на стороне сервера позволяет экономить трафик, отсекая сразу однозначно оцененную как спам почту. Удаление таких писем возможно как с уведомлением пользователя, так и без уведомления. Все зависит от степени вашего доверия программе. В режиме удаления с уведомлением пользователь будет информирован об удаляемом письме в специальном всплывающем окне программы. В течение 15 секунд у пользователя есть возможность принять решение об удалении письма. В последних версиях программы появилась возможность просмотра в окне уведомления первых строк самого сообщения, но далеко не все провайдеры поддерживают такую функцию.

Всплывающее окно с уведомлением
Всплывающее окно с уведомлением

«Белый» список

До недавнего времени в программе отсутствовало понятие «белого» списка доверенных корреспондентов в том виде, как это принято у других программ. В "Спам-фильтре" существует автоматически создаваемый «белый» список, который виден в закладке «Фильтр». В него включаются адреса из писем, которые помечались пользователем как не спам. Письма с адресами из «белого» списка также проверяются на принадлежность к спаму. Связано это с тем, что спамеры давно уже научились отсылать письма, подставляя в поле «От» любые адреса из своей базы. Поэтому пользователь мог получить письмо со спамом или вирусом даже от самого себя. Не проверяется только почта с адресами, имеющими 100%-ный рейтинг. В последней версии добавлена возможность добавления в «белый» список вручную адреса сразу со 100%-ным рейтингом.

Уровни защиты

Настройка уровней защиты возможна пошагово или детально (в режиме эксперта). Пошаговая настройка предполагает четыре уровня.

  • Первый — блокируется известный программе спам на стороне почтового клиента, остальное скачивается полностью для обучения.
  • Второй — блокируется известный программе спам; на удаление спама, обнаруженного на стороне сервера, подается запрос.
  • Третий — блокируется известный программе спам; на удаление спама, обнаруженного на стороне сервера, подается запрос; спам на стороне сервера с рейтингом ниже установленного пользователем удаляется автоматически.
  • Четвертый — блокируется известный программе спам; спам на стороне сервера с рейтингом ниже установленного пользователем удаляется автоматически.

В режиме эксперта пользователь получает возможность гибко управлять работой программы, повышая по мере обучения рейтинг писем, предназначенных для отсева.

Резюме

"Спам-фильтр" является отличной программой для частного пользователя"Спам-фильтр" является отличной программой для частного пользователя. Функции защиты она выполняет на четверку с очень большим плюсом, экономит трафик пользователя, не тормозит работу почтового клиента. К сожалению, отсутствует файл помощи.

Ограничения демоверсии:

  • программа в деморежиме не может работать с несколькими почтовыми ящиками одновременно, только по очереди;
  • доступны только первые три уровня защиты: нет автоматического (без вопроса) удаления спама.
  • Системные ограничения: программа работает под ОС Windows 95/98/ME/NT 4.0/2000/XP/2003. Аппаратных ограничений разработчиком не заявлено.

    Ссылки по теме




    Статья получена: hostinfo.ru
    загрузка...

     

     

    Наверх


    Постоянная ссылка на статью "Байес может быть успешным":


    Рассказать другу

    Оценка: 4.0 (голосов: 16)

    Ваша оценка:

    Ваш комментарий

    Имя:
    Сообщение:
    Защитный код: включите графику
     
     



    Поиск по базе статей:





    Темы статей






    Новые статьи

    Противовирусные препараты: за и против Добро пожаловать в Армению. Знакомство с Арменией Крыша из сэндвич панелей для индивидуального строительства Возможно ли отменить договор купли-продажи квартиры, если он был уже подписан Как выбрать блеск для губ Чего боятся мужчины Как побороть страх перед неизвестностью Газон на участке своими руками Как правильно стирать шторы Как просто бросить курить

    Вместе с этой статьей обычно читают:

    Fiat Multipla: Я не бесспорен, может быть, наружно...

    В тесте участвуют автомобили: Fiat Multipla Давненько я точил зуб на этот "двухэтажный аквариум". И вот, наконец, случай представился - отхватил-таки на пару дней "ФИАТ-Мультипла", правда, не на его родине в Италии, а в Германии, где он стоит 32-38 тыс. марок.

    » Французские автомобили - 2207 - читать


    Автогражданка может быть сорвана

    Несмотря на то, что уже примерно через месяц все автовладельцы должны будут иметь полис обязательного страхования автогражданской ответственности, пока еще не определены даже компании, которые будут заниматься выдачей полисов. Дело в том, что для этого компаниям необходимо получить лицензию в Минфине. Однако, по данным «Ведомостей», пока департамент страхового надзора Минфина даже не начал работать над этим вопросом, хотя необходимые для этого документы 54 компании подали е ...

    » Разное - 1873 - читать


    Амазон больше не может быть образцом для подражания

    Вообще подражать лучшим - неплохая идея. Если люди привыкли к определенному дизайну, использование такого же дизайна в интерфейсе вашего сайта поможет вашим посетителям использовать уже имеющиеся навыки, что в свою очередь повысит юзабилити вашего сайта. Если вы разрабатываете программное приложение, следуйте дизайнерским решениям Microsoft Office - например, для кнопки "сохранить" выбирайте пиктограмму с изображением флоппи-диска (даже зная, что сейчас уже никто ...

    » Юзабилити - 2244 - читать


    Flash - что может быть хуже?

    С самого первого момента, когда я познакомился с Flash, меня не покидало ощущение, что где-то я уже это видел. Что-то до боли знакомое я видел в каждом навороченном Flash-сайте с бегающими менюшками, разворачивающимися кубиками, летающим фоном, выпрыгивающими текстами и мельтешащими фотографиями. Ночей не спал, завтраки не ел, пил только чай, пока наконец меня не осенило - да это же самые настоящие компьютерные игры.

    » Веб-дизайн - 1982 - читать


    Качественный файрвол может быть бесплатным

    У подключенного к Интернету компьютера с только что установленной операционной системой и без установленной защиты срок безоблачного существования составляет по разным оценкам от 30 секунд до нескольких десятков минут. Это означает, что за такое малое время компьютер будет автоматически атакован различными сетевыми червями и, как минимум, заражен какой-либо вредоносной программой. Для блокирования внешних атак, предотвращения утечки информации, защиты от вирусов и троянов н ...

    » Интересное в сети - 2184 - читать



    Статья на тему Интернет » Интересное в сети » Байес может быть успешным

    Все статьи | Разделы | Поиск | Добавить статью | Контакты

    © Art.Thelib.Ru, 2006-2024, при копировании материалов, прямая индексируемая ссылка на сайт обязательна.

    Энциклопедия Art.Thelib.Ru