Куда уходит трафик

Интернет сегодня стал одним из необходимых для работы в любой компании инструментов. Посмотреть новости у партнеров и конкурентов, сделать заказ или оплатить покупку, найти нужную программу или документацию, электронная почта, общение, работа с собственными сайтами. Можно найти еще множество причин, по которым доступ к Интернету должен быть в каждой компании. Но только ли для выполнения своих обязанностей используют эту возможность сотрудники? Не используют ли они Сеть для решения своих личных задач, перекладывая расходы на плечи компании?

Решить эту задачу не сложно. Нужно лишь вести учет всего трафика. Для этого могут быть использованы и аппаратные, и программные средства. Но учет — это только часть задачи. Руководству требуются результаты этого учета, отчеты, таблицы, графики, по которым легко выяснить, кем и для какой цели используется доступ к Сети. Для этого можно использовать специальные программы, назначение которых заключается в обработке исходных данных (логов) и формировании требуемых отчетов. Компания Red Line Software предлагает использовать две свои разработки — Internet Access Monitor и Mail Access Monitor. Чем удобны эти программы? Они могут обрабатывать логи всех наиболее часто используемых почтовых и прокси-серверов.

Программы очень близки по своим возможностям и интерфейсу. Освоив работу с одной из них, совершенно без проблем вы начнете работать и со второй программой. Поэтому описание возможностей будет касаться обеих программ, и выделены будут лишь те моменты, которые уникальны для одной из них.

Ошибки импорта могут возникнуть из-за неправильных настроек доступа к лог-файлам

Анализ и построение отчетов начинаются с импорта данных из лог-файлов. Для этого нужно настроить серверы на логирование информации. (В описаниях программ рассматриваются настройки всех поддерживаемых серверов.) У этого процесса две стороны — учитывается трафик, который далее можно анализировать. Но объем требуемого дискового пространства резко возрастает. Поэтому рассматриваемые программы включают механизм управления лог-файлами. В зависимости от настроек они могут удаляться после выполнения импорта данных, переноситься в другой раздел либо архивироваться. Последний вариант — наиболее предпочтительный.

Не все данные необходимо импортировать в базу данных. Во-первых, из-за того, что база также будет постоянно расти в объеме. Во-вторых, есть сайты, которые будут посещаться только для выполнения своих обязанностей, и потому можно не учитывать такой трафик. Аналогично с письмами — почта для или от партнеров, клиентов, поставщиков является чисто производственной, и для анализа ее можно не использовать. Обычно руководство компании интересуют нецелевой трафик и почта, отправляемая по неизвестным адресам. Кроме того, если при импорте данных выполнять их группировку (этот процесс заключается в том, что исходящие запросы с одного и того же IP-адреса и на один и тот же сайт в течение указанного интервала будут объединены, а трафик по ним просуммирован). По мере пополнения базы данных работать с ней будет все сложнее ввиду ее объема. Поэтому существует механизм, позволяющий выполнять очистку базы либо по диапазону дат, либо по именам исходных лог-файлов.

Для HTTP-трафика характерной особенностью является то, что в логи пишутся не привычные нам адреса сайтов, а их числовые значения (IP-адреса). Проводить анализ по таким данным крайне неудобно, поэтому в программе Internet Access Monitor есть сервис, позволяющий выполнять обратное преобразование таких адресов. Для его работы потребуется в настройках прописать адрес DNS-сервера, на который будут направляться запросы, и максимальное количество одновременно отправляемых запросов. Объем работы обычно весьма большой, поэтому задачу преобразования лучше всего запускать в то время, когда нагрузка на сеть наименьшая, например ночью.

Журнал позволяет работать с данными непосредственно после их импорта

После завершения импорта данных и обработки адресов можно начинать с ними работать. Имеются два варианта работы — в режиме реального времени и работа с отчетами. Отличительной особенностью программ Internet Access Monitor и Mail Access Monitor является наличие специального инструмента — журнала, с помощью которого можно на лету формировать различные фильтры. Удобство данного режима состоит в том, что пользователь имеет возможность, комбинируя несколько параметров, строить множественные фильтры и просматривать только ту информацию, которая ему необходима в данный момент. Фильтры могут быть сложными, включающими множество условий. Так, можно создать фильтр, который будет показывать сотрудников, посещавших в определенный период сайты той или иной тематики. В общем же фильтры можно устанавливать по таким параметрам, как имя пользователя, IP-адрес компьютера, протокол, тип полученных данных, категория сайта, время и некоторые другие.

Распределение сайтов по категориям — весьма интересный механизм программы. Для определения категорий создан специальный справочник. В нем есть предопределенные категории сайтов (чаты, образование, здоровье и другие), отнесение к которым выполняется на основе базовых слов. В процессе импорта лог-файлов на основе текста пользовательского запроса происходит отнесение посещаемого пользователем хоста к той или иной категории (чат, новости, реклама и т. д.). Алгоритм распределения по категориям следующий: текст запроса поочередно сравнивается с каждым элементом списка «Категории хостов», и при первом совпадении одной из подстрок происходит отнесение запроса к соответствующей категории.

Хотя журнал — очень мощный и удобный инструмент, но не каждый руководитель захочет выполнять анализ трафика, используя им же формируемые фильтры. Поэтому существует второй механизм — механизм отчетов. Фактически отчет — та же выборка по фильтру из журнала, но назначения фильтров заранее предопределены и могут быть сохранены в виде пользовательских настроек. Отчеты можно просматривать в самой программе (для чего нужно лишь переключиться на вторую закладку основного окна программы) либо формировать их в виде файлов (доступны текстовый формат, формат Excel, HTML и XML).

Отчет позволяет просмотреть информацию, сгруппированную по тому или иному аналитическому признаку за определенный период. Любой отчет состоит из типа отчета, интервала времени, объекта, по которому строится отчет, раздела. Формы отчетов можно формировать каждый раз заново, но можно использовать и шаблоны, которые создаются и сохраняются самостоятельно. Для формирования отчета нужно открыть соответствующую закладку и выбрать элементы, которые вас интересуют.

Отчеты можно формировать во внерабочее время и рассылать по электронной почте

Скорость формирования отчетов весьма высока, и вам не придется ждать длительное время, чтобы получить результат. Подготовленные данные будут сгруппированы с учетом настроек отчета, но при этом вы всегда сможете получить по каждой группе развернутый результат, для чего достаточно выбрать мышкой интересующий пункт отчета и, вызвав правой клавишей мыши контекстное меню, выбрать пункт «Детальный отчет». Кроме того, полученные данные можно отсортировать по любой колонке, как вы это делаете при работе с электронными таблицами, например в Excel.

Программа Mail Access Monitor содержит ряд дополнительных отчетов. Это:

• распределение трафика по почтовым адресам;
• распределение трафика по почтовым доменам.

В отчете представлены данные отдельно по внешнему трафику и отдельно по внутреннему. Обе секции содержат данные о распределении трафика по получателям и отправителям писем, количестве писем и их объеме.

В случае если отчет по определенным параметрам вы формируете постоянно, удобнее сформировать шаблон и сохранить его. Тогда при очередной подготовке данных вам достаточно будет выбрать его по названию и выполнить обработку. И что еще важно — такие подготовленные заранее шаблоны можно добавлять в планировщик и формировать их автоматически, по расписанию, хоть раз в неделю, хоть каждый час. Но отчеты все же для руководителей не очень удобны, поскольку это текстовая информация. Для руководства удобнее воспользоваться отчетами, представленными в графическом виде. Программы имеют встроенные средства для построения диаграмм, визуализирующих распределение трафика по различным параметрам. Построение диаграммы осуществляется на основе уже сформированного отчета. Для просмотра диаграмм необходимо выделить название любой секции отчета (например, «По дням недели») и, вызвав правой клавишей мыши контекстное меню, выбрать пункт «Диаграмма».

Отчеты можно формировать не только для администрации, но и для пользователей. Для каждого из них можно создать свой отчет с выборкой по данному пользователю и включить подготовку этих отчетов в планировщик. Сформированные отчеты можно сохранять в виде файлов (принцип формирования их названий, месторасположение файлов определяются через настройки) либо отправить по электронной почте.

Работу с программой можно существенно упростить за счет автоматизации выполнения практически всех операций — импорта лог-файлов, преобразования адресов, формирования и рассылки отчетов. Эти задачи выполняет встроенный планировщик (единственное условие — на компьютере, где установлены программы, должен присутствовать стандартный планировщик Windows).

Информация о пользователях, необходимая для построения отчетов, может быть получена двумя путями. В первом случае данные поступают при импорте исходных данных из лог-файлов. Во втором — импорт данных может быть выполнен из Active Directory. В случае когда пользователей много, удобнее разбить их на группы (например, по подразделениям). В этом случае и отчеты могут формироваться не только по конкретным пользователям, но и по их группам. Администратору системы остается лишь отслеживать появление новых пользователей и распределять их по группам.

Использование этих программ позволяет проводить анализ использования трафика, выявлять тех, кто использует Интернет не по назначению, тех, кто излишне увлекается перепиской. Единственное, что не могут выполнить программы, — проанализировать тот почтовый трафик, который проходит помимо почтового сервера компании. Но это уже другие проблемы, к нашей теме отношения не имеющие.

Ссылки по теме

• Internet Access Monitor
• Mail Access Monitor