Преобразование пользовательского интерфейса. Проектирование интерфейса будущего (4 из 5).
Уход из плоскости. Трехмерная съемка и демонстрация
Оглядитесь по сторонам. В нашем трехмерном мире мы можем видеть объекты с любого ракурса, определять их размер, понимать, насколько близко или далеко они находятся по отношению к другим объектам. Но в том, что касается съемки и демонстрации этих объектов другим, мы часто применяем двухмерные неподвижные изображения или двухмерное видео. Причина проста: съемка трехмерного изображения была чрезвычайно сложным и дорогостоящим процессом, который был доступен лишь опытным профессионалам и самым «подкованным» энтузиастам таких решений.
Но появившиеся недавно новые технологии меняют эту картину. Достаточно незначительных усилий, чтобы покупатели могли на планшетах видеть, как они будут выглядеть в разных моделях виртуальных очков. Аналогичные приложения для Android* и iOS* позволяют покупателям просматривать и взаимодействоватьс виртуальной мебелью, одеждой, тканями, игрушками и т. д. В большинстве случаев трехмерные образцы товаров, используемые в этих приложениях, ограничиваются заранее подготовленным содержимым, которое было создано профессионалами.
Но камеры Intel® RealSense™ 3D будут способны уже скоро сделать возможности трехмерного сканирования, печати и демонстрации доступными для широкого круга пользователей. Используя отслеживание рук и пальцев, голосовые команды, распознавание лица и функции дополненной реальности, обеспечиваемые технологией Intel® RealSense™, пользователи смогут естественным образом взаимодействовать с реальными и виртуальными объектами и печатать их трехмерные модели. Возможны самые разные сценарии использования — от профессионального (продажи, медицина, дизайн, образование) до развлекательного (игры, создание фильмов, социальное общение).
Компании 3D Systems, Autodesk и DotProduct первыми осваивают новые возможности, располагая обширным опытом создания и печати трехмерного содержимого. Они внедряют технологию Intel RealSense для того, чтобы сделать возможности трехмерной съемки и отображения доступными для широкой аудитории.
Трехмерное изображение и печать
Компания 3D Systems, которую основал Чак Халл, изобретатель трехмерной печати, с 1986 года обслуживает заказчиков в таких отраслях, как автомобильная промышленность, аэрокосмическая промышленность, промышленное проектирование и медицина. В настоящее время компания занимается популяризацией трехмерной печати. «Камера Intel RealSense 3D — естественный выбор, — говорит Пинь Фу (Ping Fu), директор компании 3D Systems. — Два года назад большинство трехмерных сканеров стоило от 10 000 до 50 000 долларов США. С помощью камер Intel RealSense 3D пользователи получат доступ к трехмерным сканерам, встроенным в их ПК, трансформеры, моноблоки, ультрабуки и планшеты».
Компания 3D Systems разрабатывает два настольных приложения, которые будут использовать технологию Intel RealSense на ПК: 3DMe* и SENSE*. Оба эти приложения созданы с помощью Intel® RealSense™ SDK 2014.
Приложение 3DMe дает возможность любому пользователю дать свое собственное лицо любимому игровому персонажу, например баскетболисту из НБА, Боргу из «Звездного пути», сноубордисту, принцессе и так далее (рис. 1). После съемки персонаж можно напечатать на трехмерном принтере, анимировать или показать друзьям по социальным сетям.
Рисунок 1. Лицо пользователя сканируется в персонаж с помощью приложения 3DMe*
SENSE — это программа для сканирования объектов. «Можно отсканировать вашу голову, все тело или какие-либо объекты, например вашу любимую игрушку, а затем напечатать их трехмерную модель или экспортировать, — поясняет Пинь Фу. — Естественным примером использования служат игры. Разработчики и конструкторы могут применять эту возможность для создания эталонных моделей с высокой степенью детализации для сложных конструкций, обычные пользователи могут сканировать свои любимые вещи, делиться ими с друзьями и печатать на трехмерных принтерах».
Сценарии использования трехмерной печати индивидуальных отсканированных объектов весьма разнообразны. «Производители кукол хотят создавать лица кукол индивидуально, такими же, как лица девочек, — говорит Пинь Фу. — Спортсмены по заслугам оценят шлемы, которые идеально подойдут под индивидуальную форму головы. Пользователи могут сканировать свои кисти и руки, чтобы с легкостью получать отливки, устраняющие неудобства и туннельный синдром».
Приложения 3DMe и SENSE производят съемку объектов (рис. 2) в виде редактируемых трехмерных моделей вместе с картой текстур и информацией о цвете. Пользователи 3DMe будут переадресованы на cubify.com для печати человекоподобных моделей; пользователи SENSE смогут печатать свои модели на персональных трехмерных принтерах семейства CUBE* компании 3D Systems или смогут отправлять модели в облако и распечатывать в компаниях, предоставляющих услуги трехмерной печати. Персональный принтер CUBE поддерживает печать ограниченным набором материалов, тогда как мощные профессиональные и промышленные трехмерные принтеры могут печатать «...металлом, керамикой, акрилом, пластиком и даже съедобным шоколадом и сахарной глазурью» (Пинь Фу).
Рисунок 2. Сканирование объектов с помощью программы SENSE*
Приложение SENSE поддерживает экспорт моделей в форматы OBJ, DXE, PLY, а также в другие форматы, принятые в САПР-системах. «Пользователи систем автоматизированного проектирования (САПР) предпочитают работать с параметризованными моделями, чтобы при изменении геометрии эти изменения также распространялись на поверхности, текстуры и т. д., — продолжает Пинь Фу. — Программа SENSE совместима с программным пакетом Geomagic Solution компании 3D Systems, который предоставляет самый быстрый способ преобразования отсканированных данных в параметрические модели для систем САПР».
По словам Пинь Фу, технология Intel RealSense способна работать с общей погрешностью в пределах 1 мм: «Этого вполне достаточно для многих персональных продуктов — индивидуально подбираемых оправ очков, обуви или медицинских устройств, таких как шины для срастания сломанных костей. Для промышленного проектирования трехмерные отсканированные модели будут перенесены в среду САПР для повышения детализации и более точной доработки эталонного проекта».
Пинь Фу начала работать в области трехмерного сканирования в 1996 году, когда она стала руководителем и одним из основателей компании Geomagic, ведущей в мире компании по созданию программного обеспечения для трехмерного сканирования. Эта компания в 2013 году была приобретена компанией 3D. Пинь Фу всегда стремилась сделать трехмерное сканирование доступным для широкого круга потребителей и работала над соединением возможностей трехмерного сканирования и трехмерной печати. В корпорации Intel она нашла единомышленников. «Наше сотрудничество с Intel было взаимовыгодным и полезным, — говорит она. — Мы много работаем вместе. Технология Intel RealSense обеспечивает интуитивное взаимодействие с компьютером, а камеры Intel RealSense 3D получают необработанные данные. Наша программа получает это облако точек и преобразует его в полноцветную текстурную модель, пригодную для дальнейшего использования. Мы формируем возможности, позволяющие сделать работу с компьютером без помощи контроллеров в трехмерных приложениях доступной, удобной и интересной».
Пинь Фу подчеркивает важность опыта Intel в области интеграции оборудования с оптимизированным программным обеспечением: «Над Intel RealSense SDK работает великолепная команда. Они отлично знают, как поддерживать сообщество разработчиков». Обе компании помогали друг другу в работе. Инженеры 3D Systems использовали Intel RealSense SDK для создания своих приложений, управления камерой и распознавания лиц. «Нам также очень помогла тесная работа с сотрудниками команды User Experience корпорации Intel при создании интуитивного, удобного в использовании приложения».
Компания 3D Systems также внесла свой вклад в разработку Intel RealSense SDK, предоставив функции обработки отсканированных данных. Эти функции дадут другим разработчикам возможность преобразования облака точек в модели. «При трехмерном сканировании одна из основных проблем заключается в том, что необработанные данные зачастую содержат много помех, — заявляет Пинь Фу. — Мы предусмотрели очень развитые функции очистки, в том числе и возможность заполнения отверстий на основе кривизны поверхностей. За счет этого достигается весьма естественный вид без необходимости заново сканировать предметы». Специалисты 3D Systems также предоставили возможность снижения детализации предметов при сохранении их общей формы. Такую функцию разработчики игр используют для получения объектов с пониженным количеством полигонов для ускоренного рендеринга на лету. Наиболее уникальный алгоритм — процесс сканирования с точным соответствием отображения (WYSIWYG). За счет этого сканирование существенно упрощается для потребителей и для автоматических систем моделирования.
Каковы основные выводы компании 3D Systems, полученные в процессе разработки? «Правильно реализовать трехмерное сканирование — непростая задача, — говорит Пинь Фу. — Чтобы новая технология получила распространение, крайне важно удобство пользователей. Благодаря помощи Intel мы получили огромный объем информации о настройке производительности, тестировании с участием пользователей и получении отзывов на рынке. Работая с корпорацией Intel, мы получили доступ к другим независимым разработчикам программ, производителям компьютеров и розничным компаниям. Эти связи превратились во взаимовыгодные партнерские отношения».
Трехмерный просмотр для улучшения двухмерных изображений
Компания Autodesk, всемирный лидер в области программного обеспечения для трехмерного проектирования, инженерных задач и развлечений, использует нашу технологию для получения трехмерных данных изображений с тем, чтобы пользователи могли придавать объем двухмерным фотографиям. «Технология Intel RealSense идеально подходит для нашего приложения Pixlr*, предназначенного для редактирования изображений, — говорит Гарет Пеннингтон (Gareth Pennington), старший менеджер по программному обеспечению в компании Autodesk. — Нас особенно интересует сегментация фона и возможность добавить еще одно измерение в двухмерные изображения».
При сегментации фонаиспользуются данные глубины для выделения, то есть сегментации, объектов, находящихся на переднем и на заднем планах, чтобы затем можно было извлечь, заменить или дополнить различные аспекты изображения в реальном времени (рис. 3). Алгоритмы сегментации в Intel RealSense SDK ищут данные определенного цвета и глубины, определяют, что следует отобразить и извлечь, затем выдают результаты в формате видео высокой четкости со скоростью 60 кадров в секунду.
Рисунок 3. Сегментация фона с помощью приложения Pixlr*
«Мы предусматриваем довольно интересные сценарии использования, например мы даем пользователям возможность снимать только свою голову и автоматически удалять фон, чтобы голову можно было преобразовать в графический штамп для переноса на другие изображения, — говорит Пеннингтон. — Также можно создавать индивидуальные смайлики и другие значки для использования в электронных письмах и сообщениях. Например, если вы на корабле, то вы можете себя сфотографировать и применить зеленый фильтр, который будет применяться только к вашему лицу, но не ко всему тому, что находится вокруг вас, чтобы указать, какая это неприятная штука — морская болезнь».
Пеннингтон рекомендует разработчикам «как можно раньше изучить примеры кода, поскольку, если перед вами находится огромный SDK с такими разнообразными возможностями, очень трудно решить, с чего начать и на чем сосредоточиться».
Приложение Pixlr в настоящее время доступно и в виде веб-приложения, и в качестве традиционного приложения для Windows*, Mac OS, iOS и Android. Версия с поддержкой технологии Intel RealSense будет приложением для Windows. Рассуждая о перспективах, Пеннингтон заявил: «Интересно размышлять о том, что мы могли бы сделать со всеми прочими возможностями технологии Intel RealSense: отслеживанием движений, распознаванием лица, можно поработать с измерением предметов и с изменением фокуса... Все это очень интересно. В Intel RealSense SDK для нас осталось еще много функций, которые следовало бы изучить. Потенциал Intel RealSense, безусловно, раскроется со временем, когда эта технология станет доступной для широкого круга потребителей. Это будет просто здорово».
Трехмерное изображение на планшетах
С момента своего основания в 2012 годукомпания DotProduct обслуживала профессиональный рынок и первых потребителей услуг трехмерного сканирования: компании нефтегазовой отрасли и энергетики, инженерно-проектные компании, а также организации, занимающиеся криминалистикой и историческими документами. «Эти отрасли используют трехмерные изображения, — поясняет Брайан Ахерн (Brian Ahern), директор компании DotProduct. — Они применяют трехмерные изображения в проектировании и эксплуатации, в обслуживании и модернизации оборудования, во всей своей работе».
Признав, что компактные трехмерные датчики стали доступной альтернативой промышленным сканерам, компания DotProduct разработала решение на базе планшета Android, способное создавать точные трехмерные модели объектов. Эта система поступила в продажу по цене 5000 долларов США. Теперь компания работает с корпорацией Intel над разработкой еще более дешевого планшетного решения на базе Intel RealSense.
«Мы чрезвычайно увлечены технологией Intel RealSense, — говорит Ахерн. — Когда камеры Intel RealSense 3D будут встраиваться в планшеты, доступные в широкой продаже, рынок будет расти в геометрической прогрессии». Брайан считает, что DotProduct становится компанией, ориентированной на программное обеспечение, и будет лицензировать свои технологии производителям устройств, интегрирующих технологию Intel RealSense в свою продукцию.
Как и компании 3D Systems и Autodesk, DotProduct также стремится сделать свои решения более доступными и удобными для потребителей, чтобы привлечь более широкую аудиторию. «В бета-версии 2.0 полностью переделан пользовательский интерфейс. Функции навигации, просмотра и рендеринга полностью интуитивны [рис. 4]».
Рисунок 4. Переделанный пользовательский интерфейс DotProduct.
Брайан считает, что в первую очередь новый продукт будет популярен среди продвинутых потребителей, наиболее важными будут функции съемки трехмерных изображений и обмена ими: «Одно из наших конкурентных преимуществ — проприетарный алгоритм сжатия изображений без потерь, благодаря которому можно отправлять по электронной почте трехмерные облака точек, не расходуя огромные объемы памяти на создание моделей». С помощью бесплатного приложения для просмотра пользователи смогут отправлять друг другу, к примеру, модель гостиной в своем доме, открывать ее на планшете, который преобразует облако точек в модель для просмотра с любых ракурсов и для измерения.
Основная технология компании DotProduct основывается на платформе Android, но «…не зависит от нее. Android — это оболочка, а наш код написан на C++. Сейчас мы переносим его на Windows», — говорит Ахерн. После выпуска продукта в 2015 году он будет работать на обеих платформах. Кенн Уокер (Kenn Walker), менеджер по продукту Intel RealSense, добавляет: «Если говорить о приложениях, использующих Intel RealSense, некоторые из них работают на высоком уровне SDK. Приложение DotProduct, напротив, работает ближе к «железу», взаимодействуя с данными в необработанном виде».
Какая вычислительная мощность требуется для обработки всех этих данных? «Чем больше всего (ЦП, ГП, ОЗУ), тем лучше, — говорит Ахерн. — Чем выше мощность, тем лучше результаты».
Сценарии использования самые разнообразные — от игр до продаж, обучения, развлечений и т. д. «В некоторых компаниях, работающих в области дизайна, сотрудникам приходится вручную измерять размеры объектов, комнат и помещений. Это трудоемкий и длительный процесс. Возможность просто навести планшет на какой-либо предмет (рис. 5) или комнату, перенося при этом планшет вокруг, под предметами и над ними, чтобы потом нажать кнопку «Готово» и получить готовую модель, произведет настоящую революцию».
Рисунок 5. Сканирование с помощью планшета
Говоря об основных выводах из процесса разработки, Брайан заявил: «Мы поняли, что даже инженеры порой недооценивают скорость развития потребительских технологий. Мы знали, что рано или поздно появятся мобильные устройства со встроенными трехмерными технологиями, но это произошло быстрее, чем мы предполагали».
Брайан и его команда в DotProduct также поняли, что недостаточно просто предложить покупателям новую технологию: «Нужно либо создать решение, безупречно интегрирующееся в существующие рабочие процессы, либо дать новые интуитивные процессы использования данных для работы и для развлечений. Именно на это мы потратили последнюю пару лет: очень непросто сделать все так, как нужно».
Ресурсы
Изучить технологию Intel RealSense, узнать о бета-версии Intel RealSense SDK для Windows и заказать набор разработчика можно здесь.
Ваш проект готов к демонстрации? Станьте участником программы Intel® Software Innovator.Эта программа поддерживает разработчиков передовых проектов, дает возможность выступить с рассказом о своем проекте и устроить демонстрацию.
Приступите к работе в центре ресурсов для разработчиков.
Прочтите часть 1,часть 2и часть 3этой серии «Преобразование пользовательского интерфейса: проектирование интерфейса будущего».
Intel, эмблема Intel и RealSense являются товарными знаками корпорации Intel в США и в других странах.
* Прочие наименования и товарные знаки могут быть собственностью третьих лиц.
Для технологий Intel может требоваться определенное оборудование, программное обеспечение или службы. Производительность может различаться в зависимости от конфигурации системы. Обратитесь к изготовителю системы или в розничный магазин, где вы ее приобрели.
© Корпорация Intel, 2015. Все права защищены.