Российские очки озвучат мир для слепых

По данным ВОЗ, к 2020 году в мире будет 75 млн абсолютно слепых людей и еще 200 млн инвалидов по зрению. Проблема молодеет: если среди первоклассников офтальмологические проблемы есть у 4% детей, то к моменту окончания школы они фиксируются уже у 40% подростков. Решения для реабилитации слепых и слабовидящих очень дорогостоящие: операция по установке бионического глаза обходится сейчас примерно в 10 млн рублей. Так что для тех, кто не видит или почти не видит, для выхода в мир остаются собака-поводырь (и то, если у пользователя нет аллергии) и белая трость.

Попытки разработать высокотехнологичные гаджеты, которые компенсировали бы потерю зрения, предпринимали лидеры рынка – Microsoft и Google, однако в России первой к полевым испытаниям носимого устройства приступает российская компания NexTouch. Разработчики рассчитывают завершить пилоты к середине октября и после уже перейти к созданию серии изделий. Очки от NexTouch – устройство, которое преобразует визуальную информацию в звуковую. Они могут описывать пользователю, что и кто встречается ему на пути, распознавать текст, банкноты и QR-коды; отслеживать местоположение человека и выступать в роли навигатора или кнопки вызова экстренных служб.

IT-продукты для особых людей

Высокотехнологичная компания NexTouch, основанная в 2009 году, специализируется на производстве интерактивных панелей с диагоналями от 40 дюймов для учебных заведений, торговых центров, общественных мест. Их сенсорное оборудование используют посетители магазинов Tele2, гуляющие на ВДНХ или в Коломенском. Кроме того, команда NexTouch занимается различными исследованиями – у компании 10 патентов в сферах нанотехнологий и реабилитации.

Впервые социальными проектами резидент ОЭЗ “Технополис “Москва” начал заниматься в 2013 году: сначала сделали тренажер, который помогает слабослышащим детям научиться разговаривать, а не превращаться в глухонемых. Программно-аппаратный модуль позволяет снять аудиограмму и понять, в каких диапазонах частот ребенок слышит. После настройки аппарата в этом диапазоне ребенок распознает и учится произносить сначала звуки, потом и слова, а вибротактильное устройство, закрепленное на руке, сигнализирует, правильно ли произносится звук или неправильно. Для большей эффективности при обучении применяется специально разработанное программное обеспечение в виде детских интерактивных игр, позволяющее обучаться в игровой форме нескольким детям одновременно. Сейчас комплекс внедряется в производство. На следующий год запланирован выпуск более тысячи устройств в рамках госзаказа. В сентябре NexTouch повезет устройство и технологию на выставку в Дюссельдорф, одновременно с подготовкой к ней завершается оформление международного патента.

Сейчас в активной работе два проекта – тренажер для людей с заиканием, который помогает научить человека правильно дышать и снизить речевые затруднения. Предполагают, что тренажер смогут использовать астматики для снижения вероятности приступов удушья. И очки, которые помогут слепым увидеть. Очкам предшествовала разработка индукционной системы для слабослышащих, которой в NexTouch оснащают всю собственную продукцию. Если слабослышащий человек подходит к интерактивной панели, весь звук, который обычно идет через колонки, передается ему напрямую в слуховой аппарат по радиоволнам. Так в компании обратили внимание на группу потребителей с особенностями. Одновременно с этим в NexTouch обратились молодые разработчики с предложением сотрудничества по VR-проекту. Они же вскользь упомянули эксперименты голландского программиста Питера Мейера с аудиовизуальным кодом. Идея быстро разрослась в самостоятельный проект, который компания реализует совместно с благотворительным фондом «Искусство, наука и спорт».

Технологии созрели

«Все новое – это хорошо забытое старое, – рассказывает историю проекта коммерческий директор компании Валерий Маковецкий. – Наша аудиовизуальная система для слабовидящих разрабатывается на основе софта, написанного более десяти лет назад голландским программистом Питером Мейером. Он в качестве хобби создал код, преобразующий изображения в звуки, и выложил в открытый доступ».

По задумке Мейера, предметам различной формы соответствовали различные звуки. По тону можно было понять, насколько они большие, а по громкости – как далеко находятся.

Программа, разработанная Мейером, записывалась на компьютер и подключалась к носимой камере и наушникам. Камера сканировала всё окружающее пространство слева направо с частотой один раз в секунду и переводила картинку в набор звуков, где более яркому цвету соответствовал более громкий звук, более темному – тихий. В зависимости от расположения предмета по высоте звук изменялся по тональности – от низкого тона ниже центра до высокого выше центра. Все предметы, находящиеся левее центра камеры, лучше слышны в левом наушнике, правее – в правом. Для здорового человека это просто не очень приятные звуки, но утративший зрение буквально через месяц обучения начинает «видеть» черно-белую картину мира достаточно высокого качества.

В коммерческое использование идея не пошла, в том числе потому что ей нужно было технически «созреть». Десять лет назад микросхемы и камеры были гораздо большего размера. Созданное с их использованием носимое устройство было похоже по размерам на мотоциклетный шлем, и его вряд ли согласились носить бы люди, которым и так в жизни пришлось несладко. Сейчас за счет многослойной печати плат, повышения емкости аккумуляторных батарей, использования композитных материалов и других инноваций появилась возможность сделать это устройство просто в виде очков весом до 100 граммов.

По сути, это миникомпьютер, оснащенный широкоугольной камерой с инфракрасными датчиками, несколькими парами наушников, в том числе костными, чтобы оставить способность слышать происходящее вокруг. Гаджет оснащен беспроводной зарядкой и рассчитан на четыре часа автономной работы. В очках встроенный акселерометр, который будет срабатывать при резком изменении положения тела и посылать сигнал о помощи. Через Bluetooth устройство связывается со смартфоном, а тот в свою очередь при наличии интернета обменивается информацией с облачной библиотекой. Заранее обученный искусственный интеллект будет распознавать предметы и озвучивать их пользователю, причем сможет это делать сразу на нескольких языках. По словам Валерия Маковецкого, один из глобальных IT-лидеров заинтересовался возможностью интеграции своих облачных решений в проект. Однако и без онлайн-связи человек в очках сможет распознать 50-100 предметов и лица внесенных в библиотеку близких людей, информация о которых будет храниться прямо на устройстве.

Наличие Bluetooth позволит подключить различные устройства, например фитнес-браслеты, и информация с них также будет озвучиваться пользователю.

«Это высокотехнологичное и дорогое устройство (кастомизированная версия будет стоить от 30 тысяч рублей). Мы рассчитываем на господдержку и активно общаемся с различными институтами, которые смогут обеспечить проекту финансирование. По-хорошему, для реализации должна быть госпрограмма, которая позволит нуждающемуся в реабилитации человеку по полису медицинского страхования получить очки», – говорит Валерий Маковецкий.

Сегодня NexTouch – технологический партнер благотворительного фонда Алишера Усманова «Искусство, наука и спорт», который в свою очередь стал владельцем технологии и заказчиком.

В компании говорят о том, что проект вдохновляет многих. От момента, когда услышали об идеях аудиовизуальных устройств, до сбора команды и запуска собственной разработки прошло меньше месяца. В январе 2018 года приступили к реализации, в августе был готов опытный образец. Начало сентября разработчики отводят для изготовления первой партии из 10-12 устройств, а до конца года планируют приступить к испытаниям в одном из центров реабилитации.

«Проект реализуется достаточно быстрыми темпами, так как на рынке уже есть большое число разработок: только компаний, которые занимаются распознаванием видеоизображений, больше десятка. Какие-то технологии мы купили, что-то сами разработали с нуля – фактически выступили конструкторским бюро, которое все имеющиеся на рынке достижения объединило в одно устройство и добавило новшества в процессе разработки. У нас есть свое оборудование для 3D-печати и специалисты в микроэлектронике, что также способствовало быстрому прогрессу», – отмечает Валерий Маковецкий.

Производить устройства планируют на 3D-принтере, что позволяет снять мерки с конкретного пользователя.

«Для того чтобы сделать устройство типовым, нужно понимать, что будем производить не меньше тысячи единиц в год, потому что только одна матрица для производства очков стоит около 1,5 млн рублей», – рассуждает Валерий Маковецкий.

Он уверен, что без бюджетной поддержки выйти на рынок самостоятельно будет трудно, но все-таки возможно. Большой потенциал есть на зарубежных рынках. Кроме того, из специфических продуктов для узкого рынка нередко появляются широко востребованные. Система распознавания текста могла бы помочь туристам, не владеющим иностранными языками, во время отдыха за границей выбрать блюдо в кафе. Система сканирования человеческих лиц и их распознавания могла бы быть интересна военным и сотрудникам правоохранительных органов. Коммерциализировать можно библиотеки видеоизображений и различные сценарии использования обученных нейросетей.

«Будучи резидентом особой экономической зоны, компания NexTouch может пользоваться льготами, предусмотренными для резидентов ОЭЗ, например напрямую общаться с такими институтами развития, как Московский экспортный центр, – отмечает и.о. генерального директора ОЭЗ “Технополис “Москва” Игорь Ищенко. – “Москва” сейчас всячески содействует выходу продуктов, сделанных в ОЭЗ, на зарубежные рынки. Около 10% резидентов ОЭЗ уже продают свои продукты в странах Европы и СНГ, и есть надежда, что их количество будет увеличиваться».

«Безусловно, такие продукты востребованы, – подчеркивает руководитель программы “Особый взгляд” благотворительного фонда “Искусство, наука и спорт” Ксения Дмитриева. – В ВОС (Всероссийское общество слепых – ред.) на данный момент зарегистрировано 209 тысяч человек. Но это только члены ВОС. По неофициальным данным, в России от 400 до 500 тысяч человек не видят. Они хотят жить полноценной жизнью и готовы использовать новейшие технологии. Например, интернет-радио ВОС говорит о 8 тысячах уникальных подключений в июле. А всего контент был скачан около 18 млн раз. Это показатель того, что незрячие люди активно пользуются интернет-технологиями. Адаптация IT-продуктов для людей с особенностями здоровья не слишком затратна и трудоемка. Например, есть такая вещь, как заполнение тэгов для картинок. Есть изображение на сайте или в приложении, и достаточно сделать описание под существующий тег – одно это позволит незрячему понять, что на картинке».

Именно высокотехнологичные продукты позволят, по мнению Ксении Дмитриевой, помочь реабилитации инвалидов по зрению. Сегодня средний уровень безработицы слепых и частично зрячих людей трудоспособного возраста составляет более 75%.

Источник: https://www.if24.ru/rossijskie-ochki-dlya-slepyh/