Grid: Интернет в ИнтернетеТемпы развития компьютерных технологий в сторону увеличения базовых параметров (мощности процессоров, ёмкости накопителей, пропускной способности сетевых каналов) постепенно снижаются. Рано или поздно возможности этого пути будут исчерпаны. Новым этапом в эволюции вычислительных сетей станет технология Grid ("Решетка"), основанная на использовании распределённых процессорных мощностей и распределённых систем хранения данных, предложенная Ян Фостер (Ian Foster) из Аргонской Национальной Лаборатории Университета города Чикаго и Карл Кессельман (Carl Kesselman) из Института Информатики Университета Южной Калифорнии.
Идея Фостера и Кессельмана довольно быстро получила широкое распространение: лидеры на рынке высокотехнологичных вычислительных систем, такие как Hewlett-Packard, Cray, SGI, Sun Microsystems, Veridian, Fujitsu, Hitachi, NEC, IBM и Microsoft начали разрабатывать программное обеспечение, поддерживающее новую технологию. Оказалось, что перспектива развития Grid лежит не только в использовании простаивающих мощностей: большинство разработанных в настоящий момент приложений являются принципиально новаторскими и не были бы возможны без Grid.
В настоящий момент очевидно, что Grid-технология имеет самые широкие возможности применения. Изначально она была создана для ведения крупномасштабных научных проектов, первыми из которых стали: разработка ускорителя элементарных частиц в европейском центре исследований элементарных частиц CERN (родина языка HTML) в Швейцарии и UK Science Grid, национальный маммографический проект в Великобритании. Grid используется для анализа последовательностей ДНК, расчётов газообмена и эволюции звёзд и галактик, траекторий планет, спутников и космических зондов, моделирования структуры белка, нейронных сетей, развития экосистем, локальных и глобальных изменений климата, численных экспериментов в математике и физике, численного решения самых различных систем дифференциальных уравнений, поиска внеземных цивилизаций и во многих других задачах. Очевидно, какую огромную пользу приносит новая технология научному сообществу, объединяя в единую виртуальную сеть с универсальным доступом все доступные знания в любой специфической области и расчетные мощности.
Вскоре к учёным присоединились компьютерщики. Пионером выступила IBM, которая использует собственные Grid-продукты для разработки микропроцессоров новых поколений Power 5 и Power 6. В настоящее время трудно представить мир компьютерных разработчиков без Grid.
Постепенно технология проникла в промышленность и бизнес. Крупнейшие авиастроители, такие как Airbus и Boeing, используют её для постоянного контроля состояния двигателей и других агрегатов и узлов самолета: показания датчиков, непрерывно собирающих информацию, через спутник передаются на землю, где и анализируются в сетях Grid. В автомобильной промышленности Grid позволяет ускорить и удешевить расчёт виртуальных крэш-тестов. В сфере финансового анализа новая технология сокращает время глобальных расчётов с нескольких суток до нескольких минут, что дает возможность немедленно реагировать на изменения рынка и увеличивать прибыли.
В медицине Grid используется для моделирования фармакокинетики, течения болезней, реакций (например, реакции отторжения при пересадке органов), распространения и затухания эпидемий.
Перспективным видится и использование Grid-технологий на уровне правительственных организаций, занимающихся вопросами безопасности, здравоохранения, образования. Корпоративную Grid-сеть вида Intranet отличают относительно небольшие размеры, централизованное управление и сложность инфраструктуры, включающей как жизненно важные приложения, так и гораздо менее чувствительные к надежности компоненты, которые объединяются на основе обычных недорогих технологий. Grid-технология и здесь позволит выполнять операции быстрее и экономнее, так как будет задействовать все свободные вычислительные ресурсы, которые в обратном случае оставались бы незадействованными.
Прошло время, когда распределенные вычисления интересовали только ученых. В прошедшем году корпорация Oracle, изучающая развитие Grid-технологии, представила результаты последнего исследования Oracle Grid Index, оценивающего уровень освоения технологии Grid в разных странах мира. Совокупный индекс использования новой технологии для компаний Северной Америки, Европы и стран Азиатско-Тихоокеанского региона составил 4,41 (по шкале от 0 до 10). В сентябре 2004 года этот показатель составлял 3,10, причём рост индекса произошёл относительно равномерно во всех исследуемых регионах, что свидетельствует о прогрессе в освоении Grid в глобальном масштабе. По мнению президента Oracle Чарльза Филлипса (Chares Phillips), следующим этапом в развитии Grid станет переход технологии в массовое использование.
Можно говорить о том, что технология Grid не просто признана перспективной, но становится новым этапом в развитии вычислительных сетей, который характеризуется ростом степени свободы в использовании ресурсов. Принципиально иной подход к сетевой организации ресурсов может позволить не только быстрее и экономичнее решать существующие задачи, но и взяться за более глобальные, ранее недоступные человечеству проекты.
В России "Решётка" еще недостаточно распространена, хотя еe внедрение идёт все увеличивающимися темпами. Как заявил в интервью Полит.ру директор по научному развитию “Курчатовского института” Алексей Солдатов, все ведущие фирмы мира сидят в Grid–форуме, но роль России в этом процессе – из последних. Тем не менее, доставляемая технологией прямая выгода заставляет учёных и бизнесменов думать о скорейшем приобщении к новейшим Grid-разработкам, о встраивании в глобальные сети.
Grid. Справка
Основная идея технологии Grid заключается в использовании каждым входящим в систему компьютером логических и физических мощностей всей сети. Это похоже на локальную сеть с тем отличием, что помимо возможности доступа к данным на других компьютерах новая технология делает возможным объединение ресурсов находящихся на расстоянии входящих в Grid вычислительных машин для решения одной задачи. Выгоды такого подхода очевидны: пользователю станут доступны операции, которые в силу программных или аппаратных ограничений не способен производить его компьютер.
Этот новый принцип можно сравнить с прорывом в развитии электроэнергетики, когда стало возможно объединение разрозненных генераторов в единую сеть так, что каждое заинтересованное лицо может получить необходимое ему количество энергии. В сфере компьютерных технологий это явление называют “on-demand computing” – вычисления по требованию.
Важным требованием для функционирования Grid-технологии является программная и аппаратная согласованность между связанными вычислительными машинами. Система Grid прежде всего должна устанавливать, контролировать и использовать отношения между ресурсами любых потенциальных участников совместного проекта. Для этого необходимо обеспечить взаимодействие между различными операционными системами, языками, программными средствами. В сетевой среде это означает работу по общим протоколам, которые регламентируют взаимодействие элементов распределительной системы и структуру передаваемой информации. Стандартом конструирования Grid-систем стал свободно распространяемый инструментарий с открытым кодом Globus Toolkit, разработанный совместно Калифорнийским Университетом и Арагонской Национальной Лабораторией. Он включает набор протоколов, служб и приложений, и позволяет совместно и скоординированно использовать разнородные ресурсы в организациях с различными правилами работы, предлагая средства управления данными и ресурсами, обнаружения информации, отслеживания ошибок. Немаловажным является входящий в инструментарий модуль GSI (Grid Security Infrastructure), обеспечивающий безопасность при совместной работе. На основе Globus Toolkit созданы самые разные проекты, например для обеспечения работы научных групп, которым требуется удалённый доступ к специализированным лабораториям или для систем распределённой по разным вычислительным машинам обработки больших массивов данных.
В 2002 году компанией IBM и проектом Globus была представлена совместная разработка системного уровня под названием Open Grid Services Architecture (OGSA). Эта архитектура позволяет связать ресурсы гетерогенных по своей природе сообществ в единую сеть, наподобие Интернета, используя концепцию Grid-службы. OGSA определяет стандарты для создания, именования и обнаружения постоянных и временных Web-служб. Каждая из них представляет набор соответствующих стандарту интерфейсов и следует специфическим конвенциям. Существует три стандарта Web-служб: WSDL, SOAP и WS-Inspection. Интерфейс службы обеспечивает её создание, возможности обнаружения, управления ходом работы. Конвенции определяют наименование службы и возможность её модернизации. Они помогают пользователям Grid узнавать о поддерживаемых каждой службой операциях и необходимых протоколах для работы с ней, а также определять, когда и как меняются различные службы.
Подготовка технических спецификаций OGSA ведется в рамках организации Global Grid Forum, разрабатывающей стандарты для Grid-сообщества; эталонная реализация технологии свободно распространяется через сайт Globus Project.
Проект Globus не является единственным вариантом инструментария для поддержки Grid: существуют также проекты Legion, Condor и Unicore. Открытость архитектуры способствует появлению как вариантов существующих, так и разработке новых сред.
06 февраля 2006, 15:07 Евгений Бузятов
http://www.polit.ru/science/2006/02/06/grid.html
Идея Фостера и Кессельмана довольно быстро получила широкое распространение: лидеры на рынке высокотехнологичных вычислительных систем, такие как Hewlett-Packard, Cray, SGI, Sun Microsystems, Veridian, Fujitsu, Hitachi, NEC, IBM и Microsoft начали разрабатывать программное обеспечение, поддерживающее новую технологию. Оказалось, что перспектива развития Grid лежит не только в использовании простаивающих мощностей: большинство разработанных в настоящий момент приложений являются принципиально новаторскими и не были бы возможны без Grid.
В настоящий момент очевидно, что Grid-технология имеет самые широкие возможности применения. Изначально она была создана для ведения крупномасштабных научных проектов, первыми из которых стали: разработка ускорителя элементарных частиц в европейском центре исследований элементарных частиц CERN (родина языка HTML) в Швейцарии и UK Science Grid, национальный маммографический проект в Великобритании. Grid используется для анализа последовательностей ДНК, расчётов газообмена и эволюции звёзд и галактик, траекторий планет, спутников и космических зондов, моделирования структуры белка, нейронных сетей, развития экосистем, локальных и глобальных изменений климата, численных экспериментов в математике и физике, численного решения самых различных систем дифференциальных уравнений, поиска внеземных цивилизаций и во многих других задачах. Очевидно, какую огромную пользу приносит новая технология научному сообществу, объединяя в единую виртуальную сеть с универсальным доступом все доступные знания в любой специфической области и расчетные мощности.
Вскоре к учёным присоединились компьютерщики. Пионером выступила IBM, которая использует собственные Grid-продукты для разработки микропроцессоров новых поколений Power 5 и Power 6. В настоящее время трудно представить мир компьютерных разработчиков без Grid.
Постепенно технология проникла в промышленность и бизнес. Крупнейшие авиастроители, такие как Airbus и Boeing, используют её для постоянного контроля состояния двигателей и других агрегатов и узлов самолета: показания датчиков, непрерывно собирающих информацию, через спутник передаются на землю, где и анализируются в сетях Grid. В автомобильной промышленности Grid позволяет ускорить и удешевить расчёт виртуальных крэш-тестов. В сфере финансового анализа новая технология сокращает время глобальных расчётов с нескольких суток до нескольких минут, что дает возможность немедленно реагировать на изменения рынка и увеличивать прибыли.
В медицине Grid используется для моделирования фармакокинетики, течения болезней, реакций (например, реакции отторжения при пересадке органов), распространения и затухания эпидемий.
Перспективным видится и использование Grid-технологий на уровне правительственных организаций, занимающихся вопросами безопасности, здравоохранения, образования. Корпоративную Grid-сеть вида Intranet отличают относительно небольшие размеры, централизованное управление и сложность инфраструктуры, включающей как жизненно важные приложения, так и гораздо менее чувствительные к надежности компоненты, которые объединяются на основе обычных недорогих технологий. Grid-технология и здесь позволит выполнять операции быстрее и экономнее, так как будет задействовать все свободные вычислительные ресурсы, которые в обратном случае оставались бы незадействованными.
Прошло время, когда распределенные вычисления интересовали только ученых. В прошедшем году корпорация Oracle, изучающая развитие Grid-технологии, представила результаты последнего исследования Oracle Grid Index, оценивающего уровень освоения технологии Grid в разных странах мира. Совокупный индекс использования новой технологии для компаний Северной Америки, Европы и стран Азиатско-Тихоокеанского региона составил 4,41 (по шкале от 0 до 10). В сентябре 2004 года этот показатель составлял 3,10, причём рост индекса произошёл относительно равномерно во всех исследуемых регионах, что свидетельствует о прогрессе в освоении Grid в глобальном масштабе. По мнению президента Oracle Чарльза Филлипса (Chares Phillips), следующим этапом в развитии Grid станет переход технологии в массовое использование.
Можно говорить о том, что технология Grid не просто признана перспективной, но становится новым этапом в развитии вычислительных сетей, который характеризуется ростом степени свободы в использовании ресурсов. Принципиально иной подход к сетевой организации ресурсов может позволить не только быстрее и экономичнее решать существующие задачи, но и взяться за более глобальные, ранее недоступные человечеству проекты.
В России "Решётка" еще недостаточно распространена, хотя еe внедрение идёт все увеличивающимися темпами. Как заявил в интервью Полит.ру директор по научному развитию “Курчатовского института” Алексей Солдатов, все ведущие фирмы мира сидят в Grid–форуме, но роль России в этом процессе – из последних. Тем не менее, доставляемая технологией прямая выгода заставляет учёных и бизнесменов думать о скорейшем приобщении к новейшим Grid-разработкам, о встраивании в глобальные сети.
Grid. Справка
Основная идея технологии Grid заключается в использовании каждым входящим в систему компьютером логических и физических мощностей всей сети. Это похоже на локальную сеть с тем отличием, что помимо возможности доступа к данным на других компьютерах новая технология делает возможным объединение ресурсов находящихся на расстоянии входящих в Grid вычислительных машин для решения одной задачи. Выгоды такого подхода очевидны: пользователю станут доступны операции, которые в силу программных или аппаратных ограничений не способен производить его компьютер.
Этот новый принцип можно сравнить с прорывом в развитии электроэнергетики, когда стало возможно объединение разрозненных генераторов в единую сеть так, что каждое заинтересованное лицо может получить необходимое ему количество энергии. В сфере компьютерных технологий это явление называют “on-demand computing” – вычисления по требованию.
Важным требованием для функционирования Grid-технологии является программная и аппаратная согласованность между связанными вычислительными машинами. Система Grid прежде всего должна устанавливать, контролировать и использовать отношения между ресурсами любых потенциальных участников совместного проекта. Для этого необходимо обеспечить взаимодействие между различными операционными системами, языками, программными средствами. В сетевой среде это означает работу по общим протоколам, которые регламентируют взаимодействие элементов распределительной системы и структуру передаваемой информации. Стандартом конструирования Grid-систем стал свободно распространяемый инструментарий с открытым кодом Globus Toolkit, разработанный совместно Калифорнийским Университетом и Арагонской Национальной Лабораторией. Он включает набор протоколов, служб и приложений, и позволяет совместно и скоординированно использовать разнородные ресурсы в организациях с различными правилами работы, предлагая средства управления данными и ресурсами, обнаружения информации, отслеживания ошибок. Немаловажным является входящий в инструментарий модуль GSI (Grid Security Infrastructure), обеспечивающий безопасность при совместной работе. На основе Globus Toolkit созданы самые разные проекты, например для обеспечения работы научных групп, которым требуется удалённый доступ к специализированным лабораториям или для систем распределённой по разным вычислительным машинам обработки больших массивов данных.
В 2002 году компанией IBM и проектом Globus была представлена совместная разработка системного уровня под названием Open Grid Services Architecture (OGSA). Эта архитектура позволяет связать ресурсы гетерогенных по своей природе сообществ в единую сеть, наподобие Интернета, используя концепцию Grid-службы. OGSA определяет стандарты для создания, именования и обнаружения постоянных и временных Web-служб. Каждая из них представляет набор соответствующих стандарту интерфейсов и следует специфическим конвенциям. Существует три стандарта Web-служб: WSDL, SOAP и WS-Inspection. Интерфейс службы обеспечивает её создание, возможности обнаружения, управления ходом работы. Конвенции определяют наименование службы и возможность её модернизации. Они помогают пользователям Grid узнавать о поддерживаемых каждой службой операциях и необходимых протоколах для работы с ней, а также определять, когда и как меняются различные службы.
Подготовка технических спецификаций OGSA ведется в рамках организации Global Grid Forum, разрабатывающей стандарты для Grid-сообщества; эталонная реализация технологии свободно распространяется через сайт Globus Project.
Проект Globus не является единственным вариантом инструментария для поддержки Grid: существуют также проекты Legion, Condor и Unicore. Открытость архитектуры способствует появлению как вариантов существующих, так и разработке новых сред.
06 февраля 2006, 15:07 Евгений Бузятов
http://www.polit.ru/science/2006/02/06/grid.html