Интернет&nb p;&mda h; третье поколение

То, что мы сегодня называем Интернетом, является, по сути, его вторым поколением. Это поколение характеризуется тем, что в нем происходит взаимодействие между двумя компьютерами: с одного мы можем присоединиться к другому и осуществить некую транзакцию. Для большинства сегодняшних задач этого более чем достаточно. Но существуют и иные задачи, для которых ресурсов одного, даже очень мощного компьютера явно недостаточно. И здесь на помощь может прийти технология распределенных вычислений.

Само понятие распределенных вычислений и его реализация появились почти двадцать лет назад. Самой крупной распределенной сети — SETI@home — пора идти в школу, ей уже восемь лет. А теперь ей на смену, точнее, в продолжение развития, появилась новая технология, получившая название Grid. В основе Grid лежит виртуализация ресурсов. Это не новая идея. Новой является концепция разделения и совместного использования логических и физических устройств в сети. Вице-президент IBM Мишель Тесседр определил ее как «технологию распределенных вычислений в Интернете».

Сети Grid — дальнейшее развитие сетей типа SETI@home

Сеть Grid — плод деятельности двух американских ученых, Яна Фостера (Ian Foster) и Карла Кессельмана (Kаrl Kesselman). Это — некая «надстройка» над Интернетом. Ее основное назначение — организация распределенных вычислений для решения серьезных задач науки и технологии. Grid является строго упорядоченной системой, в которой первостепенное значение придается проблемам обеспечения безопасности. Имея права доступа, пользователь этой сети получает доступ ко всем компьютерам, подключенным к ней, на которых он может выполнять вычисления и хранить информацию, при этом информация может быть нереальных для обычного компьютера объемов. Впрочем, сегодня системы, построенные на принципах Grid Computing, или просто Grid, создаются чаще всего внутри предприятий — в основном по соображениям безопасности.

Технология Grid подразумевает слаженное взаимодействие множества ресурсов, гетерогенных по своей природе и расположенных в многочисленных, возможно, географически удаленных административных доменах. Пулы ресурсов могут объединять от единиц до нескольких тысяч элементов. Действительная сила технологии Grid скрывается за самим словом «ресурсы», которые понимаются предельно широко. Сюда, пожалуй, входит все, что участвует в компьютерной обработке данных. Так, к ресурсам следует отнести коммуникации, системы хранения, хранилища данных, информационные системы, а также программные фонды. Из-за большого количества ресурсов, входящих в состав сети Grid, велика вероятность отказа отдельных элементов. Поэтому управление ресурсами или приложениями (они также могут считаться ресурсами сети) должно осуществляться динамически.

Системы Grid Computing не предназначены для решения параллельных задач, а нацелены по большей части на выполнение пакетных заданий — здесь каждая отдельная задача выполняется целиком на одном узле. Система управления вычислительной сетью занимается диспетчеризацией отдельных заданий, а не взаимосвязью между отдельными блоками одной задачи. Система Grid прежде всего должна устанавливать, контролировать и использовать отношения между ресурсами любых потенциальных участников совместного проекта. Центральной проблемой здесь считается обеспечение взаимодействия (интероперабельности) между различными платформами, языками и программными средами.

В основе Grid — система протоколов для взаимодействия в гетерогенной среде

В сетевой среде интероперабельность означает работу по общим протоколам. Именно протоколы регламентируют взаимодействие элементов распределенной системы, а также структуру передаваемой информации. Поэтому Grid-архитектура — это прежде всего система протоколов, которые и должны определять базовый механизм взаимодействия. На основе стандартных протоколов можно строить стандартные сервисы, разрабатывать интерфейсы прикладного программирования API (Application Programming Interface) и инструментальные средства разработки SDK (Software Development Kits). Ядром многоуровневой модели служат протоколы Resource и Connectivity, которые обеспечивают разделение индивидуальных ресурсов. Уровень Collective отвечает за координацию использования имеющихся ресурсов, а доступ к ним осуществляется с помощью протоколов Fabric.

Application — высший уровень Grid-архитектуры. Он включает пользовательские приложения, которые исполняются в среде объединенных ресурсов. В процессе исполнения приложения вызывают службы нижележащих протоколов. На каждом из уровней имеются вполне определенные протоколы для взаимодействия с необходимыми службами — управлением ресурсами, доступом к данным, обнаружением ресурса и т. п. Данные структуры могут сами определять протоколы, службы и иметь собственные интерфейсы прикладного программирования.

В качестве универсального языка, с помощью которого можно будет общаться с доступными ресурсами, на сегодня отдана OGSA (Open Grid Service Architecture — открытая архитектура Grid-сервисов). Разработка технических спецификаций OGSA ведется в рамках форума Global Grid Forum, разрабатывающего стандарты для Grid-сообщества и в качестве свободно распространяемой эталонной реализации предлагающего Globus Project. Инструментарий Globus Toolkit на базе OGSA и коммерческие продукты в этой архитектуре появились в конце 2002 года.

Инструментарий Globus Toolkit включает:

• построенный на основе HTTP протокол резервирования вычислительных ресурсов GRAM (Globus Toolkit Resource Allocation Management);
• расширенную версию протокола для передачи файлов GridFTP;
• службу аутентификации и безопасности GSI (Grid Security Infrastructure);
• средства распределенного доступа к информации на основе протокола LDAP;
• средства удаленного доступа к данным через последовательный и параллельный интерфейс GASS (Globus Access to Secondary Storage);
• средства резервирования ресурсов GARA (Globus Reservation and Allocation).

Архитектура Open Grid Services Architecture позволяет не только интегрировать ресурсы в распределенных гетерогенных динамических «виртуальных организациях» внутри одного предприятия, но и поддерживать совместное использование внешних ресурсов и коммуникации с поставщиками услуг.

OGSA поддерживает создание, обслуживание и применение наборов сервисов для «виртуальных организаций», предлагая общее представление для вычислительных ресурсов и памяти, сетей, программ, баз данных и т. п. Все эти ресурсы трактуются как сетевые службы, предлагающие свои возможности посредством обмена сообщениями.

Компания IBM представила несколько Grid-систем, облегчающих предприятиям ряда отраслей промышленности, где приходится выполнять масштабные расчеты или иметь дело с большим документооборотом, реализацию идеи суперкомпьютера, составленного из большого числа менее мощных машин, подсоединенных к сети. В начале 2003 года IBM предложила несколько Grid-систем, облегчающих предприятиям ряда отраслей реализацию идеи суперкомпьютеров, составленных из большого числа не очень мощных машин, подсоединенных к сети. Эти системы включают компьютеры IBM и ПО компаний, специализирующихся на Grid-технологиях; они ориентированы на предприятия из сферы финансовых услуг, автомобильной и аэрокосмической промышленности, а также на научные организации, органы государственного управления и т. п. О намерении обеспечить совместимость продуктов с OGSA объявили многие ведущие поставщики Grid-систем: Avaki, HP, Oracle, SGI, Platform Computing и др.

Концепцию Grid уже использует в своих решениях компания Oracle

Концепция Grid имеет еще одно серьезное преимущество — экономическое. С ее помощью можно более рационально использовать ресурсы корпоративных компьютеров — сейчас они задействованы в среднем лишь на 15-20%. Следует отметить еще одну полезную особенность новой технологии — удобство подключения к системе. Считается, что подключить любой компьютер к Grid и сразу получить доступ к необходимым ресурсам столь же просто, как воткнуть вилку в розетку.

Не следует думать, что проекты, в основу которых положено использование Grid-технологий, развиваются только зарубежом. В России также есть организации, которые для проведения научных исследований используют преимущества такой сети. Телекоммуникационный центр «Наука и общество» координирует усилия в развитии междисциплинарных сегментов Grid в научных и индустриальных центрах России. Вычислительный Grid для биологии, химии, биофизики, Knowledge Grid для биологии, биотехнологии и медицины — объекты научных исследований и реализации реальной инфраструктуры и технологии. Так, в Российский междисциплинарный сегмент Grid входят: АНО Телекомуникационный центр «Наука и общество»; Институт химической физики РАН; Институт биохимической физики РАН; Институт молекулярной биологии РАН; Институт теоретической и экспериментальной физики; Институт органической химии РАН; Научный центр хирургии РАМН. Есть и другие направления, в которых также принимают участие российские ученые.

Ссылки по теме

• Попов М. Технология Grid — путь из клетки
• Таковицкий О. Технология Grid Computing
• Ян Фостер, Карл Кессельман, Джеффри Ник, Стивен Тьюке. Grid-службы для интеграции распределенных систем
• Телекоммуникационный центр «Наука и общество»
• Grid-сообщество