Звучащие движения делают виртуозами любителей дизайна

Говорят, музыка возникла, когда древний охотник вдруг обратил внимание, что натянутая тетива лука издаёт красивый звук. На протяжении довольно долгого времени вопрос "А как выглядел тот лук?" казался бы бессмысленным. Но в наши дни ответ на него мог бы иметь решающее значение.

Развитие современной музыки ставит нас перед удивительной ситуацией: сейчас различные звуковые устройства делаются ради экспериментов, причём, не только в музыкальной области, но и в области дизайна. Благодаря этому нынче звучание инструмента может зависеть не только от обычных действий (например, со струнами или клавишами), но и, например, от движений тела или манипуляций с какими-нибудь реальными или виртуальными объектами.

 

 

Интересный пример – "Электропланктон" (Electroplankton) для консоли Nintendo DS. В этой интерактивной музыкальной игре предлагается возможность аудиовизуального взаимодействия с пользователем. Всё, что нужно делать – размещать с помощью указателя "планктошек" на экране; с каждым положением связан определённый звук. Ну, и разумеется, игра предоставляет возможность для подбора инструментов, громкости и прочих параметров.

Слева – работа Тосио Иваи. Называется просто – "Композиция на столе". Справа – снимки из игры Electroplankton, на которую вдохновила "Композиция" слева (фото с сайта adobe.com).

Изобретатель "Электропланктона" – Тосио Иваи (Toshio Iwai), известный японский медиа-художник, известный по произведениям, созданным также в жанре интерактивного искусства.

Свои работы Иваи старается сделать как можно более понятными для пользователя, чтобы не приходилось тратить время на изучение интерфейса. Поэтому художник пытается, в первую очередь, сделать так, чтобы у игрока установилась связь между действием и изображением – остальное лишнее.

Но есть и другое направление в игровой видеомузыкальной индустрии: ряд игр требует не только создания мелодии, но и улавливания музыкального ритма, например, во время пения.

Соревнование кантри-дуэта на Karaoke Revolution (иллюстрация с сайта adobe.com).

Один из самых типичных образцов – игрушка Karaoke Revolution для приставки PlayStation, придуманная фирмой Harmonix Music Systems.

Тут необходимо петь, причём петь хорошо. Хорошо – значит так же, как и оригинал. А для того, чтобы себя проконтролировать, нужно следить за собой, как говорят медики, "по объективным показателям": на экране показывается длительность и высота каждой ноты как для игрока, так и для оригинального исполнения.

В игре можно участвовать как одному, соревнуясь с компьютерным эталоном, так и вдвоём (оценки за качество исполнения тогда поставят каждому отдельно). Петь нужно, разумеется, в подключаемый микрофон.

Экран игры Guitar Hero снабжён всё тем же обязательным "песнеметром" для определения точности исполнения (иллюстрация с сайта adobe.com).

Следующий шаг в эволюции делает опять же Harmonix с выпуском очередного звукового развлечения для PS – игры "Guitar Hero". Но и на этот раз точность превыше всего: необходимо как можно более "правильно" играть. Вопрос "Играть на чём?" не поставил изобретателей игры в тупик. "Конечно, на гитаре!" – сказали они и решили сделать маленькую добавочку к диску с игрой – модель гитары с кнопками вместо струн и ладов.

И гитарное караоке, и обычное созданы, конечно же, для соревнований. И, тем не менее, эти забавы здорово могут разнообразить любую вечеринку.

	Играть в Groove легко. Заодно можно размяться перед спортивной тренировкой (фото с сайта ps2.ign.com).

В росте популярности музыкальных видеоигр не последнюю роль играет приборчик EyeToy (мы уже рассказывали о его применении) — видеокамера, следящая за движениями игроков и проецирующая их на экран.

Одна из самых популярных сейчас игр с EyeToy — Groove. Чтобы показать свои музыкальные способности, "груверу" нужно оказаться в поле зрения EyeToy и во время проигрывания композиции двигать руками, "касаясь" графических элементов, движущихся в такт звуку.

Впрочем, эту идею нельзя назвать новой и современной: идея связать движения рук с музыкой появилась ещё в 1919 году с изобретением российским физиком Львом Терменом терменвокса. Этот инструмент основан на колебательных контурах, характеристики которых (а, значит, и звук) меняются в зависимости от положения ладоней музыканта.

Возможно, это и стало толчком к созданию новых технологий, которые могли бы "озвучивать" движения не только рук, но и всего тела.

Для этого Антонио Камурри (Antonio Camurri) из лаборатории музыкальной информатики Женевского университета (Università degli Studi di Genova) создал проект EyesWeb, позволяющий переложить компьютерное изображение движения на "музыкальный язык".

Если кому-то захочется заняться таким "переводом", то для этого понадобится видеокамера и компьютер с Интернетом; доступ к ресурсам проекта бесплатный.

Система EyesWeb показывает, как выглядят движения танцора, а после помогает "озвучить" их (иллюстрация с сайта adobe.com).

В том же направлении в конце 1980-х пошли хореограф Дон Стопьелло (Dawn Stoppiello) и Марк Конильо (Mark Coniglio). Они создали систему слежения за движениями MidiDancer — чтобы "расширить словарь танцора", то есть, дать ему возможность контроля над визуальными и звуковыми элементами танца, которыми исполнитель обычно не может управлять".

Используя идею связи движения и музыки, Стопьелло и Конильо даже создали ансамбль – "цифровой танцевальный театр" (Troika Ranch).

Кадр из аудиовизуального перформанса Стопьелло и Конильо "16 (R)evolutions" (фото с сайта troikaranch.org).

Другой ветеран мультимедийного сочинительства Тодд Винклер (Todd Winkler) решил подойти к творческим экспериментам на той же ниве с долей концептуализма. Он решил использовать изобретение художника Дэвида Рокеби (David Rokeby) Very Nervous System (что в переводе значит "очень нервная система"), которое снимает движения человека, после анализирует видеоряд и переводит его в звук. Так вот, Тодд посчитал, что использовать движения одного человека недостаточно, и звук надо формировать в зависимости от количества людей.

При этом Винклер утверждает, что создаёт особую звуковую архитектуру, которая, по его мнению, должна показать, что общественные взаимодействия не менее важны, чем метод, который используется для создания звука инсталляции. Такое вот объяснение.

Кстати, визуализировать предлагают не только создание самой мелодии, но и весь процесс управления звуком. Например, такое однажды предложили студенты из Массачусетса, расположив всё возможное управление музыкой на горизонтальной поверхности.

Ещё один интересный способ использования поверхности, точнее, стола, называется ReacTable. Его принцип примерно таков: различные предметы помещают на прозрачную подложку, а снизу видеокамера регистрирует, что и как перемещается. Каждый из специальных предметов характеризует действия с мелодией, а их совокупность представляет набор "аудиотопологий", как называют это сами изобретатели.

Сейчас GypsyMIDI – самый красивый способ превратить движение в звук (иллюстрация с сайта adobe.com).

Переломным для звуко-двигательной индустрии оказался январь 2006-го: в тот месяц британская компания Sonalog выпустила GypsyMIDI — на тот момент первую коммерческую модель аппарата, превращающего движение в звучание (об этом устройстве мы уже рассказывали — полюбопытствуйте). Трудно делать прогнозы, но это вполне может быть началом широкого распространения таких музыкальных инструментов.

Messa di Voce раскрывает секрет: филигранным бывает не только бельканто (иллюстрация с сайта adobe.com).

В заключение расскажем об экзерсисах с "обратными" аудиовизуальными дизайнерскими экспериментами, которые придумали художники-перформансисты Голан Левин (Golan Levin) и Захари Либерман (Zachary Lieberman). Они создали инсталляцию под названием Messa di Voce.

Месса ди воче – это филировка звука, характерная для лёгкого и приятного пения бельканто. Авторам, наверное, хотелось увидеть это "легкое и приятное". Вот они и решили написать соответствующее программное обеспечение, которое не делало бы звук из чего-то, а наоборот, создавало бы изображение, меняющееся в связи со звучащим голосом. Ну, а насколько филигранно выглядит человеческая речь – можете посмотреть на сайте проекта.

В Messa di Voce поучаствовать может любой человек: что угодно спеть или хотя бы сказать – этот проект доступен для всех.

То же самое относится и к другим аудиовизуальным дизайнерским разработкам: все они предоставляют творческую свободу, ведь теперь, чтобы сыграть или сочинить что-то интересное, совсем необязательно быть прирождённым композитором и виртуозом.

Статья о науки и техники получена: Membrana.ru