«Мета» приходит на&nb p;помощь

Хороший дизайн, качественная информация, удобная навигация по сайту — это еще не все, что нужно для приятного времяпрепровождения посетителя на вашем проекте. Пока проект маленький, информацию на нем найти несложно. Но как только он начинает расти, расширяется и вширь, и вглубь, найти необходимую информацию становится все сложнее. Решений может быть много. Это и подробная карта сайта (которая должна строиться динамически, с учетом всех происходящих на сайте изменений), и словарь, который способен быстро перенести вас на нужную страницу, и поисковые формы, используя которые, посетители могут самостоятельно искать то, ради чего они к вам пришли.

Карта сайта — безусловно, решение хорошее. Но карта есть карта — подробных описаний того, что же вы найдете на страницах проекта, в ней нет. Словарь приходится делать самостоятельно, не доверяя такую работу автомату. Следовательно, это дополнительные затраты времени. Поиск же хорош тем, что работает в автоматическом режиме, обновляя свои базы с установленной периодичностью. От владельца сайта требуется лишь его первоначально настроить и подготовить формы для выдачи результатов.

Поисковый сервис можно разработать самостоятельно. Но если вы не профессиональный программист, вы столкнетесь со многими трудностями. Лучше использовать готовые, апробированные решения, которые не требуют больших усилий при установке и настройке. Такие решения есть, и одно из них предлагает украинская компания «Мета». Их продукт siteMETA — удобный и эффективный инструмент для обеспечения полнотекстового поиска на веб-сайте.

Собственный поиск на сайте — дополнительные преимущества перед конкурентамиПочему именно это решение, а не установка поисковой формы «Яндекса» или иного поисковика? Поиск с помощью «Яндекса» или Google удобен и быстр. Но есть и ограничения — их поисковые машины работают с огромным количеством сайтов и документов. Как следствие — ограничение на количество и качество индексирования страниц и документов на одном конкретном сайте. Да и частота обновления индекса вашего собственного сайта может вас не удовлетворять. Установка собственной поисковой системы позволяет настроить ее в соответствии со спецификой вашего сайта, задать необходимый интервал переиндексации, включить в индексирование документы разных форматов.

Программа предлагается в двух вариантах — бесплатном и коммерческом. Бесплатный вариант предназначен для работы с некоммерческими сайтами с объемом информации до 11 Мб (без учета графики). Еще одно ограничение — индексируются только htm и html-страницы. Коммерческая версия снимает эти ограничения и дополнительно предлагает возможность подключения внешних модулей, позволяющих проводить индексирование файлов в формате .doc, .xls, .rtf и .xml. К коммерческой версии можно приобрести модули морфологической поддержки. Они обеспечивают полную лингвистическую поддержку для учета словоизменения при индексировании и поиске. В настоящее время имеются расширения для русского, украинского и английского языков.

siteMETA может работать под разными операционными системами — Windows NT/2000, FreeBSD, Linux, Sun Solaris. Она нетребовательна к ресурсам — для установки требуется от 1 до 10 Мб дискового пространства (зависит от варианта поставки), в процессе эксплуатации потребуется дополнительное место для индексных файлов (приблизительно под индексы надо резервировать до двух объемов имеющихся на сайте документов). Сам процесс установки несложен. Если установка ведется под Windows 2000, и у вас установлен еще и MS IIS, то процедура установки сама пропишет в его настройки путь к новому разделу. Для других систем настройки придется немного поработать «вручную».

Функционально siteMETA состоит из трех основных модулей — собственно поискового сервиса, веб-интерфейса и административной консоли.

Поисковый сервис (программа mssSvr.exe) является самостоятельной программой, реализующей функции индексирования и поиска документов. В операционных системах Windows она устанавливается в качестве одного из сервисов системы. По умолчанию запуск сервиса выполняется вручную, но вы можете установить и автоматическую загрузку сервиса при запуске системы. Частота обработки вашего сайта будет зависеть от выполненных настроек, а обработка будет начинаться со стартового адреса, указанного в тех же настройках. Как только страница добавляется в поисковый индекс, она становится доступной для поиска. Ссылки на другие страницы выбираются из обработанных страниц. Новые или обновленные страницы добавляются в индекс автоматически (поисковая система при индексировании страниц сайта учитывает значения и мета-тега «Robots»).

Настройки выполняются без остановки сервисаНастройки поискового сервиса можно выполнять за счет изменения конфигурационного файла (используя текстовый редактор) или при помощи административной консоли (программа mssAdm.exe). С помощью этого модуля можно задать список стартовых адресов, отметить каталоги и файлы, не подлежащие индексированию, указать, какие типы (или конкретные файлы) должны индексироваться.

Наконец, последний модуль — модуль веб-интерфейса (CGI-скрипт mssCgi.exe). Он связывает ваш проект с поисковым сервисом. Функция его заключается в передаче поискового запроса сервису и формировании страниц результатов поиска. Упорядочивание найденных страниц или документов производится по степени соответствия запросу. При этом будет учтен порядок слов, расстояние между ними, формы слов. Эти возможности доступны как в бесплатной, так и в коммерческой версии. В коммерческой версии, помимо того, имеется возможность сортировки результатов по дате или разделам, в которых найдены документы. Дополнительная возможность коммерческой версии — она может поставляться с модулями, обеспечивающими лингвистическую поддержку русского, английского или украинского языков (это означает, что поиск будет более интеллектуальным, то есть будут отбираться документы, содержащие не только заданные в запросе слова, но и все их словоформы). К еще одному достоинству программы можно отнести возможность работы со спецсимволами, что позволяет вести поиск таких сочетаний, как "C++", "K&M" и других.

Конфигурирование сервиса можно выполнять без его остановки. Первым делом следует прописать адрес сайта, который будет индексироваться. Если вы хотите ограничить процесс индексирования определенными страницами или разделами, можно указать их в разделе шаблонов. Для удобства можно пользоваться специальным символом "*". Обратите внимание, что после изменения данных в полях ввода становятся доступными кнопки для обновления и фиксации изменений. Не забудьте выполнить эти действия. На той же панели администратора (вам ничего не нужно искать — все доступные функции администрирования находятся на одном экране) можно установить частоту обновления индексов и режим индексирования — «Только поиск», «Поиск и добавление», «Поиск и обновление», "Сервер-стресс".

Но в этом разделе выполняется только «грубая» настройка сервиса. Более тонкая работа заключается все же в «ручной» доработке конфигурационных файлов. Их несколько. В файле siteSearch.ini хранятся настройки поискового сервера. Часть из них формируется через административную консоль, часть — прописывается непосредственно в файле. К дополнительным настройкам относятся путь к файлу инициализации планировщика, путь к поисковому индексу, имя, которым будет представляться индексирующий модуль при загрузке документов с вашего сайта, и путь к файлу инициализации словаря стоп-слов.

В файле mssAdm.ini задаются параметры административной консоли. В файле mssCgi.ini задаются параметры CGI-скрипта, формирующего поисковый запрос и страницу выдачи результатов поиска. В последнем устанавливаются такие значения, как количество документов, отображаемых на одной странице, максимально количество показываемых URL для одного документа, открывающие и закрывающие HTML-теги, используемые в реконструкции текста. Имеется возможность настройки использования различных шаблонов страниц для выдачи результатов поиска (их определение дается в этом же конфигурационном файле).

С помощью файла cron.ini выполняется настройка балансировки нагрузки на сервер посредством планировщика. Файл инициализации словаря стоп-слов предназначен для крупных проектов, словарных запас которых велик. С его помощью «отсекаются» лишние — по мнению владельца сайта — слова, только мешающие поиску. Связано наличие такого файла с тем, что по умолчанию поисковая система производит поиск по всем словам, включая предлоги, союзы, наречия. Файл стоп-слов представляет собой обычный текстовый файл, в котором каждая строка представляет собой лексему, подлежащую удалению из текста запроса.

При использовании siteMETA следует иметь в виду, что система использует свой алгоритм определения кодовых страниц и языка документа, а также механизм определения копий. Для пользователя это означает, что страницы, отличающиеся только кодировкой или именем файла, будут поисковой системой приниматься за одну страницу.

Система поиска обеспечивает и возможность ведения анализа обращений к ней. Для этого ведется подробный лог-файл. Анализируя его, можно узнать полученные запросы, обработанные документы, просмотреть информацию о возможных перебоях в работе сервиса. Однако инструмента для ведения такого анализа нет — эту работу придется делать самостоятельно. Со временем лог-файл может оказаться очень большим, поэтому надо время от времени удалять его. Но делать это можно только при остановленном сервисе.

Что и когда индексировать, определяет владелец сайта самостоятельноДля удобства использования поискового сервиса в него введено несколько дополнительных возможностей. Первая — удаление ненужных документов из индекса. Выполнить эту операцию можно как без остановки сервиса — путем указания маски документа, не подлежащего индексированию, — так и при остановке сервиса с удалением всего индекса и полного его восстановления после запуска. Каким вариантом пользоваться, лучше определить при эксплуатации siteMETA, так как для разных проектов могут быть более удобны разные варианты.

Вторая возможность — добавление новых страниц в индекс «вне очереди». Для этого используется вызов административной консоли с соответствующим параметром. И, наконец, еще одна возможность — использование для повышения производительности режима индексирования с кешированием. Сам процесс индексирования при этом происходит значительно быстрее, но данные становятся доступными только после занесения в индексную базу всего содержимого кэша.

Но индексация сайта сама по себе ничего не значит, если не дать посетителям пользоваться ей. Для того чтобы можно было это сделать, на страницах сайта должна размещаться форма ввода запроса, а для выдачи результатов — подключаться соответствующая страница. Форму вывода можно настроить по своему усмотрению, создав интерфейс, соответствующий интерфейсу вашего сайта. Для этого используется специальный шаблон. Шаблон — это обычный HTML-файл, в котором, наряду со стандартными элементами форматирования гипертекста, присутствуют специальные псевдотеги, используемые CGI-скриптом при построении страницы результатов поиска.

Проверка работоспособности этой поисковой системы на своем сайте показала, что работает она весьма стабильно, хорошо обрабатывает и русские, и английские страницы, дает вполне удовлетворительные результаты по вводимым запросам. Так что она может оказаться полезной для многих владельцев сайтов.

Ссылки по теме

• Компания Мета
• Программа siteMETA