Преобразование пользовательского интерфейса: проектирование интерфейса будущего (3 из 5)
Различия между реальным и виртуальным миром исчезают, когда технология Intel® RealSense™ применяется в интерактивном обучении
Автор: Джон Тиррел
Сенсорное управление и управление жестами, распознавание изображений и дополненная реальность — все эти технологии используются в множестве образовательных приложений и игр, они объединяют виртуальный мир с реальным совершенно невероятным образом. Доступные и совершенные технологии, такие как Intel® RealSense™, развивают эти изменения, и с каждой новой возможностью устройств границы между реальным миром и виртуальным миром становятся все более размытыми. В результате можно создать мир для игр и обучения, где разница между реальным и виртуальным будет несущественной.
Компании 3D4Medical, PlayTalesи Scholasticвходят в число первых разработчиков, внедряющих технологию IntelRealSenseв области развлекательного обучения и образования. Эти компании работали в сотрудничестве с Intelв ходе освоения новых технологий и решения связанных с ними проблем. Приложения и продукты этих компаний открывают новую страницу интерактивных решений для детей и взрослых.
Интерактивные медицинские решения
Интерактивное обучение охватывает гораздо более обширную область, чем интерактивные приложения для детей. Ирландская компания 3D4Medicalсоздает межплатформенные приложения для анатомии, здравоохранения и фитнеса, а также медицинские справочники. Четвертая версия программы Essential Anatomy* компании 3D4Medical (см. рис. 1) в настоящее время лидирует по продажам среди медицинских приложений для Windows*, Android* и iOS*.
Рисунок 1. Снимок экрана приложения EssentialAnatomy
Разработчики изучают возможности применения технологии IntelRealSenseтаким образом, чтобы соответствовать строгим требованиям, предъявляемым к приложениям в медицинской области. Сергей Буштырков, менеджер по разработке программного обеспечения в компании 3D4Medical, предложил использовать Intel® RealSense™ SDKс подключаемым модулем Unity, чтобы проще было достичь нужных результатов при моделировании конечностей в виртуальном пространстве.
«Камера Intel® RealSense™ 3Dи IntelRealSenseSDKпредоставляют информацию, но для создания высококачественного коммерческого приложения нужно больше, чем просто данные, — поясняет Сергей. — Нам был нужен трехмерный движок для создания привлекательного изображения, поэтому мы используем Unityдля создания среды и управления руками».
Еще один уровень важности в медицинском приложении — точность, с которой распознаются отдельные конечности и суставы. Группа разработчиков под руководством Буштрыкова в настоящее время работает над анатомически точным распознаванием рук, превосходящим потребности большинства приложений с управлением жестами. «Камера снимает некоторое количество точек на руках и оцифровывает их, — говорит Буштырков. — Этот поток данных представляет собой набор координат и углов поворота для каждой из 22 отслеживаемых точек руки» (см. рис. 2).
Рисунок 2. Точки руки, отслеживаемые камерой IntelRealSense 3D
Преобразование необработанных данных в точную модель виртуальной руки — сложный процесс, причем дополнительные усилия требуются для высокого уровня детализации, необходимой для медицинского приложения. «Мы развиваем технологию, создавая очень качественные модели человеческих рук, адаптируя их к информации, которую мы получаем с камеры IntelRealSense 3D, приводя их в движение и координируя их.
Сложно обеспечить достаточную точность данных, которые мы стараемся применить к рукам, — продолжает разработчик. — С помощью Intelмы сможем решить эту проблему, и, помимо этого, мы занимаемся интерполяцией анимации руки с помощью движка Unity».
Компания 3D4Medicalвыбрала технологию IntelRealSenseв качестве основы для своей долгосрочной работы и стремится всегда быть на переднем крае новых технологий. «С точки зрения компаний, работающих в нашей области, мы находимся на переднем крае технологий во многих областях, — подчеркивает Найл Джонстон, вице-президент компании 3D4Medicalпо развитию бизнеса. — Мы работаем с этой технологией с самых первых этапов разработки, и это прекрасная возможность как следует изучить ее потенциал».
В гостях у сказки
Испанская компания PlayTalesначала продавать интерактивные книги в магазине AppleAppStoreв начале 2012 года и быстро стала лидером рынка в этой области. Компания разрабатывает продукты на основе глобальных франшиз, таких как «Гарфилд», «Улица Сезам» и TheLittlePrince, а также на базе собственной интеллектуальной собственности, например, My NewBaby*. Виртуальный магазин PlayTales, в котором представлено свыше 200 наименований на семи языках, быстро превратился в желанный источник интерактивных сказок для родителей и детей во всем мире.
Разработчики планируют интегрировать технологию IntelRealSenseв новую интерактивную книгу Wizard of Oz*и в учебное научное приложение ProfessorGarfield* (рис. 3). «Когда мы узнали о новой технологии Intel, мы немедленно стали размышлять над тем, что мы сможем предлагать покупателям с точки зрения интерфейса, трехмерной графики и взаимодействия», — говорит Энрике Тапиас, директор компании PlayTales.
Рисунок 3. Ребенок рукой управляет бабочками в приложении ProfessorGarfield
Технология IntelRealSenseеще не была выпущена, когда компании PlayTalesпредставилась возможность, выходящая за рамки обычной реализации новой технологии в своих продуктах. Речь идет о сотрудничестве обеих компаний. «Пока мы работали над приложением, корпорация Intelодновременно разрабатывала IntelRealSenseSDK. Нам пришлось приспосабливаться к этому, — говорит Пабло Бенитес, директор компании PlayTales. — Очень хорошо, что мы можем первыми тестировать новые возможности, мы наблюдаем развитие и приложения, и SDK, и в результате получаем великолепные возможности, улучшающие взаимодействие с нашей программой. Нам очень понравился режим распознавания контура, поскольку он отслеживает силуэт ближайшего к камере объекта. Этот режим мы используем, чтобы перенести руки пользователя в наш трехмерный мир в играх, где мы отображаем представление руки. Благодаря этому пользователи могут, к примеру, «собирать воду», сложив руки ковшиком, или выбирать направление полета бабочек, указывая пальцами».
Изменение в поведении
Работа с технологией IntelRealSenseприносит компании PlayTalesощутимые преимущества. «Мы осваиваем технологию, которая будет широко использоваться на рынке в ближайшие годы. Это важно для нас, — говорит Тапиас. — Кроме того, мы исследуем возможности интерфейса с точки зрения детей. Мы тестируем удобство пользовательского интерфейса и получаем помощь со стороны фокус-групп Intelдля тестирования нашего содержимого и реализации технологии IntelRealSense». «При тестировании приложений Wizard of Oz и ProfessorGarfield, мы обнаружили, что у детей возникают затруднения с пониманием принципа глубины при взаимодействии с новыми трехмерными мирами, — добавляет Бенитес. — Кроме того, они часто уходили из поля зрения камеры. Поэтому мы применили пошаговые инструкции, учебные материалы и оповещения, чтобы пояснить детям, куда они могут двигаться и как это следует делать».
Компания PlayTalesиспользует эту информацию для разработки нынешних и будущих продуктов по мере изменения ожиданий покупателей. «Поведение детей изменяется очень быстро, причем благодаря предлагаемым им технологиям и устройствам, — говорит Тапиас. — Мне кажется, что у детей больше вариантов использовать IntelRealSense. Это уже не просто обучение или чтение, это взаимодействие с содержимым, например, управление движением бабочек в проекте ProfessorGarfield».
Тапиас и его команда понимают огромный потенциал, раскрываемый технологией IntelRealSense, но уверены, что реализацию этой технологии необходимо тщательно контролировать, дорабатывать до возможного совершенства и до полного соответствия контексту использования, будь то обучение или развлечения. Для Тапиаса прогноз на будущее выглядит весьма оптимистично: «Технология IntelRealSense— одна из самых важных для нас в течение следующего года, причем не только для стационарных компьютеров и ноутбуков, но и для устройств, которыми пользуются дети, то есть для планшетов и смартфонов».
Фантастика Scholastic
Компания Scholasticобладает заслуженной репутацией в области развлекательных решений для детей. На счету этой компании — книги, телепередачи (некоторые из них удостоены премии «Эмми»), видеоигры и интерактивные учебные продукты для различных платформ. «Мы создаем содержимое, соединяя темы и персонажей наших брендов с технологией, — говорит Дженнифер Контруччи, директор по производству цифрового содержимого в компании ScholasticMedia. — Мы стараемся использовать технологию, потому что она работает, а не в качестве дополнения».
Многие бренды этой компании стали привычными в среде детских материалов в США и в других странах, например, бренды CliffordtheBigRedDog*и MagicSchoolBus*. Технология IntelRealSenseиспользуется в серии I Spy*этой компании: этот бренд был запущен в 1992 году для детских книг, а сейчас это интерактивная игровая среда.
Рисунок 4. Снимок экрана приложения I SpyPirateShip
ISpyPirateShip* (рис. 4) — новинка в семействе брендов, предназначенная для переносных моноблоков AIOи трансформеров. «В приложении используется множество возможностей IntelRealSense, в том числе жесты, распознавание сжатого кулака и раскрытой ладони, отслеживание точке на лице, — говорит Контруччи. — В игре вы увидите полный спектр новых возможностей».
Дети и камеры
Одна из задач в игре I SpyPirateShipзаключается в том, чтобы смотреть в телескоп, установленный на марсовой площадке корабля, и находить объекты, скрытые среди звезд (рис. 5). При реализации технологии IntelRealSenseдля отслеживания движения головы пользователей, осматривающих небо, разработчики столкнулись с интересными проблемами.
Рисунок 5. Вид из телескопа, приложение I SpyPirateShip
«Дети двигаются быстро и резко, поэтому нам не удавалось всегда распознавать направление их взгляда, — поясняет Контруччи. — Мы переделали программу для отслеживания реперных точек. Теперь игра находит на лице определенные точки, например кончик носа, что дает гораздо лучший эффект».
Когда пользователь находит какой-либо объект, он сообщает это программе тем, что просто останавливается на найденном объекте: эта, казалось бы, простая модель взаимодействия очень хорошо воспринимается аудиторией. «Для детей это совершенно волшебные ощущения, им кажется, что они действительно находятся на кораблей, и могут физически воздействовать на окружающий мир», — говорит Контруччи.
Для Контруччи наибольшим потенциалом обладает способность приложения определять, когда лицо пользователя останавливается в определенном положении. «У такого подхода много других сценариев применения, — продолжает она. — Например, если ребенок рассматривает электронную книгу и останавливается на картинке со львом, программа может отреагировать на это, сказать, как называется это животное и дать его описание. Таким образом, дети получают справку на лету».
Социальное обучение
Орнит Гросс, руководитель продукции Intelв области игр и образования, дает совершенно однозначный ответ на вопрос о том, полезна ли интерактивность для учебного процесса. «Если сделать учебный материал увлекательным, живым и веселым, это поможет его лучше запомнить. Это, безусловно, помогает в обучении.
Когда мы начали осваивать эту область, мы узнали, что для успешного изучения требуется сочетание широкого набора факторов, — говорит Орнит. — Один из них — это взаимодействие, будь то с учителем, с другом или с приложением. Интерактивность делает процесс получения знаний более глубоким».
Технология IntelRealSenseявляется настоящим произведением искусства с точки зрения интерактивности, но этим все не ограничивается. «Второй фактор — социальный. Вы не просто учитесь, а учитесь в составе группы, — поясняет Орнит. — Это направление заслуживает дальнейшей разработки, мы будем этим заниматься в новом поколении наших решений. Здесь все дело в том, что работает модель взаимодействия одного со многими, а не одного с одним, если мы учимся вместе с моим другом».
Полный вперед!
Технология IntelRealSenseподтверждает свои преимущества для групп разработчиков, решивших внедрить ее: она фундаментально изменяет подход к взаимодействию пользователей с компьютерами и мобильными устройствами. Искренний интерес разработчиков к новой технологии стал заслуженной наградой для Орнита и его команды. «Меня удивило, что разработчики, поняв, что IntelRealSenseSDKдает и высокоуровневые, и низкоуровневые данные, начали сами писать код для взаимодействия, используя все APISDK. Например, SDKотслеживает на лице 78 реперных точек и распознает разные мимические черты, например, открытие или закрытие глаза, открытый рот и так далее. Эти возможности были объединены, чтобы SDKмог распознать, когда пользователь начинает корчить рожи. Еще один пример — распознавание жестов руки. IntelRealSenseSDKотслеживает 22 точки суставов руки и жест сведения пальцев. Разработчик объединил эти API, доступные в SDK, и получил совершенно уникальный жест складывания пальцев, который разработали специально для главного персонажа в игре».
Как известно, технология — это только начало. Гораздо важнее содержимое. Контруччи подводит краткий итог мотивации Scholasticв отношении освоения возможностей технологии IntelRealSense: «Многие считают, что управление жестами получит крайне широкое распространение не только потому, что ребенок хочет взаимодействовать с компьютером именно так, а потому, что это естественное действие. Когда мы выпустили I SpyPirateShipдля тестирования этого естественного взаимодействия с участием детей, для них это были совершенно новые ощущения. И это было очень интересно».
Ресурсы
Изучить технологию Intel RealSense, узнать о бета-версии Intel RealSense SDK для Windows и заказать набор разработчика можно здесь.
В будущем камера Intel RealSense 3D будет встраиваться в ноутбуки, моноблоки и планшеты. Посмотрите, как компания faceshiftиспользует эту камеру для управления аватарами на 16 планшетах для создания «виртуальных селфи».
Технология Intel RealSense поддерживает осмысленное взаимодействие между виртуальным цифровым миром и естественным физическим миром. Узнайте, как разработчик Стефан Садчиков преодолел границы с помощью решения, о котором несколько лет назад нельзя было и мечтать.
В игровой отрасли все чаще используются расширенные интерактивные возможности технологии Intel RealSense. В этой статье содержатся сведения о том, как четыре команды разработчиков внедряют новую технологию.
Узнайте, как технология Intel RealSense стирает границы между личным общением и общением на расстоянии. Прочтите статью здесь.
Intel и Intel RealSense являются товарными знаками корпорации Intel в США и в других странах.
Дополнительные сведения об оптимизации компиляторов см. в нашем уведомлении об оптимизации.