Виброматрица - устройство для чтения по тактильным ощущениям

Summary

В последнее время современные гаджеты и интернет позволяют людям увеличивать свой круг общения. К сожалению, люди с потерей слуха и зрения лишены такой возможности. Существуют специальные тактильные экраны для чтения по шрифту Брайля, но их стоимость очень высока и они не мобильны [3].

Основной вопрос - как помочь людям с ограничениями по слуху и зрению свободно общаться со всем миром.

Мне пришла идея, что можно писать символы вибрацией вибромоторов точка за точкой точно так же, как мы пишем на доске.

Если метод будет работоспособен, то он может дать толчок к развитию нового типа устройств для тактильной передачи информации. Данное устройство значительно повысит уровень жизни людей с потерей слуха и зрения, позволив им общаться через интернет. Устройство может быть мобильным и транслировать информацию из интернета в режиме реального времени на кожу человека. Данный метод передачи новый и мало изученный.

Свою работу я разделил на две части.

В первой части работы я изготовил прототип устройства и провел исследование на возможность восприятия символьной информации через вибрацию моторов.

Основные выводы исследования: человек может воспринимать информацию по вибрации, но только последовательно. Лучше всего информация воспринимается предплечьем и ладонью.

Во второй части работы, опираясь на результаты исследования, я спроектировал и изготовил две мобильные версии устройства: в виде браслета на предплечье и перчатки на ладонь.

Ближайшие планы - минимизировать размеры электроники, сделать перчатку и браслет более удобными в использовании и создать свой сервер для обмена сообщениями по вибрации.

Question / Proposal

Основной вопрос - как помочь людям с ограничениями по слуху и зрению свободно общаться со всем миром.

Для решения этой проблемы я предлагаю технологию чтения по виброматрице. Виброматрица - устройство из матрицы вибромоторов, которое может поочередно включать и выключать вибромоторы, рисуя различные буквы и цифры.

Перед началом разработки мобильной версии устройства я сделал прототип и провел исследование, возможно ли распознавать информацию по вибрации, а также изучил ее особенности. Результаты исследования помогли мне разработать две мобильные версии устройства.

Гипотеза:

1. Человек способен воспринимать информацию через вибрацию.

Я выдвинул такую гипотезу, основываясь на том, что мы можем чувствовать прикосновение к коже, следовательно, можем ощущать перемещение вибрации по коже.

2. На предплечье и ладони виброобраз распознается лучше, чем на бедре и спине.

Плотность механорецепторов на предплечье и ладони выше, следовательно, там должна лучше определяться вибрация.

3. Мануальное предпочтение не влияет на точность восприятия тактильной информации.

Нам удобнее писать ведущей рукой, но одинаково легко определять температуру и тип поверхности при прикосновении обеими руками, поэтому я предполагаю, что мануальные предпочтения не должны влиять на восприятие информации через вибрацию.

4. Лучший способ восприятия - последовательная вибрация по точкам со следом.

Символы вибрацией можно передавать несколькими способами:

  • последовательная вибрация по точкам;
  • последовательная вибрация по точкам со следом (сглаживание);
  • весь образ вибрирует сразу.

Глазами сглаженные шрифты воспринимаются комфортнее, поэтому я предположил, что и вибрация с гладким переходам от одной точки к другой будет восприниматься лучше.

Объект исследования: тактильные ощущения человека.

Для проверки гипотезы будут использоваться инженерный (построение модели) и научный (проведение эксперимента) методы.

Research

В основу данного проекта легла работа Дэвида Иглмена [1], который проводил исследование по сенсорному замещению. Дэвид Иглмен разработал виброжилет, в котором речь преобразовывалась в вибрации моторов в виде паттернов. Он провел эксперимент, в  котором пытался за неделю научить глухого человека воспринимать слова при помощи вибрации. В результате испытуемый мог понимать окружающих людей без помощи третьих лиц.

Именно работа Дэвида Иглмена побудила меня начать исследование в данном направлении. Его метод универсален, но требует долгого периода обучения.

Одним из результатов исследования Дэвида Иглмена является вывод о том, что перемещение вибрации чувствуется лучше, чем статически вибрируемый мотор [4]. Это подтверждает мою гипотезу о том, что информация будет восприниматься только последовательно.

При этом в работе Дэвида Иглмена для вывода виброинформации используется спина. В своем исследовании я решил сначала изучить, какая часть тела будет лучше воспринимать виброинформацию: спина, бедро, предплечье или ладонь.

Также подобной проблемой занимался Пола Бах-у-Рита [2]. Ему принадлежит известная фраза "Мы видим не глазами, а мозгом". Он занимался созданием глазного протеза. В наше время его исследование продолжает русский ученый, работающий в США, — Юрий Данилов. На сегодняшний день в исследованиях Данилова используется матрица 20*20 пикселей из электродов, на которую проецируется изображение с видеокамеры. Матрицу помещают на язык, так как это один из самых чувствительных органов у человека. С помощью этого прибора слепым удается ориентироваться в пространстве, различать объекты, читать слова из трех символов. 

 

Method / Testing and Redesign

Для проведения исследования я сделал матрицу из вибромоторов 4*5 элементов размером 6*8 см, которая последовательно, точка за точкой, умеет писать вибрацией цифры от 0 до 9, переданные с мобильного телефона. Также устройство позволяет изменять тип и скорость вибрации (Рисунок 1).

Рисунок 1. Устройство Виброматрица для проведения исследования

Перед началом исследования я проконсультировался в Ижевской Государственной Медицинской Академии о безопасности такого эксперимента. Так как я использую моторы от обычных мобильных телефонов, то при краткосрочном применении они не вызывают никаких побочных действий. Главное, чтобы у испытуемых не было кардиостимуляторов или других имплантов, на которые вибрация может повлиять. 

Для проведения исследования в Медицинской Академии подобралась группа из студентов старше 18 лет, которым было интересно принять участие в эксперименте.

Исследование проводилось в пять этапов, по каждому пункту гипотезы независимо друг от друга. Для каждого этапа тестировалась новая группа испытуемых в количестве 20 человек. Все анкеты, заполняемые в ходе исследования, записаны в форме, не подлежащей идентификации.

1. Основная гипотеза. Человек способен воспринимать информацию через вибрацию.

В первой части эксперимента проводилось обучение. Каждому испытуемому по два раза демонстрировался виброобраз цифр от 1 до 5.

Во второй части эксперимента проводилось тестирование на предмет распознавания виброобразов на руке. Для тестирования на виброматрицу случайным образом отправлялись цифры от 1 до 5 (по два раза каждая цифра). Таким образом, каждому участнику эксперимента было задано по 10 вопросов. Все результаты тестирования записывались в анкете.

2. Определение оптимальной области для распознавания символов (предплечье, ладонь, бедро, спина).

Каждому испытуемому предлагалось пройти обучение и тестирование по распознаванию виброобраза на предплечье, ладони, бедре и спине. Методика тестирования была такой же, как и на первом этапе.

3. Влияние мануальных предпочтений на распознавание информации.

У каждого участника исследования определялась ведущая рука. Обучение и тестирование проводилось на обеих рука аналогично первому этапу. Для обеспечения чистоты эксперимента я случайным образом выбирал, на какой руке нужно провести первое тестирование (на ведущей или на неведущей).

4. Определение оптимального способа передачи информации.

В приборе реализовано три способа передачи образа.

1) Вибрирование образом. В данном случае вибрируют сразу все точки числа. К сожалению, данный способ оказался не работоспособен. Испытуемые чувствовали одно большое пятно. Поэтому данный способ передачи был исключен из тестирования.

2) Вибрация по точкам. Последовательно начинает вибрировать следующая точка символа, а предыдущая точка перестает вибрировать.

3) Вибрация по точкам со следом. Данный способ отличается от предыдущего тем, что предыдущая точка небольшое время продолжает вибрировать после начала вибрации следующей точки. Предполагалось, что такое сглаживание поможет лучше определять символы.

Испытуемым предлагалось поочередно пройти обучение и тестирование аналогично первому этапу двумя способами: по точкам и по точкам со следом. Для чистоты эксперимента порядок способов передачи образа выбирался случайным образом.

5. Определение максимальной скорости передачи информации.

Испытуемые проходили тестирование аналогично первому этапу с разной скоростью рисования символов вибрацией. Скорость смены вибрации от одной точки символа к следующей изменялась от 5 до 20 точек в секунду, т.е. в начале предлагалось пройти тестирование медленно, и постепенно скорость передачи информации увеличивалась.

 

Results

1. Проверка основной гипотезы

По Диаграмме 1 можно заметить, что человек способен тактильно воспринимать информацию с виброматрицы. Хуже всего распознавались цифры 2 и 4.

Диаграмма 1. Проверка основной гипотезы

 

2. Определение оптимальной области для распознавания символов (предплечье, ладонь, бедро, спина)

На Диаграмме 2 мы видим, что часть тела, на которую проецируются цифры, влияет на результаты исследования. Наилучшие результаты получены на ладони и предплечье. 

Диаграмма 2. Определение оптимальной области для распознавания символов (предплечье, ладонь, бедро, спина)

 

3. Влияние мануальных предпочтений на распознавание информации

Рассмотрев Диаграмму 3, мы можем увидеть, что мануальные предпочтения незначительно влияют на результаты теста. Отличие составляет около 4%.

Диаграмма 3. Влияние мануальных предпочтений на распознавание информации

 

4. Определение оптимального способа передачи информации

Способ вибрации "образом" не дал результатов. При вибрировании всех моторов сразу ощущается одно большое неразличимое пятно.

По Диаграмме 4 можно заметить, что способ последовательной вибрации проявил себя наилучшим образом. Способ вибрации "со следом" дал результаты чуть хуже, чем последовательная вибрация.

Диаграмма 4. Определение оптимального способа передачи информации

 

5. Определение максимальной скорости передачи информации

График 1 показывает, что на скорости 20 точек в секунду резко возрастает количество неправильных ответов. Наилучший результат тактильного прочтения информации получился при скорости 5 точек в секунду. Максимальная скорость, при которой количество ошибок невелико, 14 точек в секунду. При дальнейшем увеличении скорости мы видим резкое увеличение ошибок.

График 1. Определение максимальной скорости восприятия информации

 

Conclusion

1. В ходе исследования было определено, что человек способен тактильно воспринимать информацию с виброматрицы при коротком периоде обучения.

2. Все области тела: предплечье, ладонь, бедро и спина — способны воспринимать информацию. По результатам теста заметно, что ладонь и предплечье более чувствительны, чем бедро и спина. Это связано с тем, что механорецепторы на спине и бедре расположены на большем расстоянии друг от друга, чем на руке.

3. Было определено, что информация воспринимается только последовательно. При вибрации всего образа сразу ощущается только одно большое пятно.

Гипотеза о том, что метод последовательной вибрации  со следом будет лучше  метода последовательной вибрации по точкам, не подтвердилась. Несмотря на то, что такой метод многим испытуемым казался более понятным, по результатам исследования он оказался менее эффективным. Это связано с тем, что плавное затухание вибрации на предыдущей точке не дает механорецепторам возможность четко зафиксировать новую точку вибрации. Можно использовать такой режим опционально для желающих пользователей.

4. Мануальные предпочтения влияют на восприимчивость, но незначительно. Это связано с тем, что мануальные предпочтения существенно влияют на развитие мышц и мелкой моторики ведущей руки, тогда как тактильные ощущения используются практически одинаково. Нам сложно писать неведущей рукой, но мы одинаково легко определяем температуру, гладкость поверхности и т.п. обеими руками.

5. Максимальная скорость восприятия информации составила 14 точек в секунду. При дальнейшем увеличении скорости резко возрастало количество неправильных ответов.

На основании этих выводов было решено изготовить два мобильных прототипа в виде браслета на предплечье (Рисунок 2) и перчатки на ладонь (Рисунок 3).

Рисунок 2. Мобильная версия виброматрицы на предплечье

Рисунок 3. Мобильная версия виброматрицы на ладонь

Корпуса обоих устройств были самостоятельно нарисованы в программе для 3Д моделирования и распечатаны на 3Д принтере (Рисунок 4).

Рисунок 4. 3Д модели

Для управления моторами самостоятельно изготовлена плата управления (Рисунок 5). 

Рисунок 5. Плата управления

Оба устройства позволяют получать символы через блютуз с мобильного телефона и отображать их вибрацией моторов. Также на перчатке и браслете есть сенсорный экран, на котором можно нарисовать образ, и он будет отправлен на телефон. Специальная программа на телефоне через интернет обменивается информацией с другим пользователем (Рисунок 6). Таким образом, два человека, находясь в любой части мира, могут поддерживать общение через рисование виброобразов.

Рисунок 6. Схема взаимодействия двух устройств

Все текущие наработки выложены в открытый доступ [7]. Любой желающий может присоединиться к разработке устройства Виброматрица.

В общем, метод показал свою работоспособность. Конечно, скорость чтения по тактильным ощущениям невелика, но такой метод может использоваться для передачи небольших объемов информации без использования зрения и слуха человека как у людей с ограниченными возможностями по слуху и зрению, так и у обычных людей в некоторых ситуациях. Например обычные люди могут использовать такое устройство в качестве суфлёра.

About me

Мои хобби – авиамоделирование и робототехника.

Мой любимый предмет – физика. Она помогает понять устройство нашей вселенной.

За последние два года к моим хобби добавилась 3Д печать. 3D-принтер очень хороший инструмент для инженера – путь от идеи до прототипа занимает очень мало времени.  Также принтер позволяет создавать конструкции, которые сложно сделать другими способами.

Меня вдохновляет технологический прогресс. Телефон – это целый компьютер в кармане. Электроавтомобили стремительно вытесняют бензиновые машины. Роботы умеют ходить и даже делать сальто. Автопилот – уже не фантастика, такие автомобили ездят рядом с нами.

Интернет объединяет людей во всем мире. Можно легко общаться с любым человеком на планете.  Open Source позволяет людям во всем мире делиться своими знаниями и делать лучшие программы и вещи.

Наверное, именно объединение всех этих факторов дало мне мотивацию двигаться от идеи  к исследованию и реализации прототипов. Над проектом “Виброматрица” я работаю более трех лет. Несколько раз в России становился победителем национальных конкурсов идей.

Сейчас я учусь на 1 курсе Московского инженерно-физического института по специальности робототехника. После получения степени бакалавра мечтаю попасть на стажировку в MIT, чтобы научиться создавать самых крутых роботов.

Участие и победа в вашем конкурсе поможет распространить мою идею “Виброматрица” по всему миру. Надеюсь, что к моему Open Source проекту подключатся новые разработчики, и у людей с ограничениями по слуху и зрению появится возможность общаться друг с другом по всему миру, и технологический прогресс войдет в их жизнь.

Health & Safety

Здоровье очень важно, поэтому технику безопасности необходимо соблюдать.

Техническую часть проекта я делал дома самостоятельно и соблюдал стандартные правила безопасного использования электроприборов. Из электрических приборов я использовал: ноутбук, паяльную станцию, 3Д принтер, дрель и зарядное устройство для аккумуляторов.

Работающий 3Д принтер и зарядное устройство – пожароопасны. Я никогда не оставляю их без присмотра. Всегда кто-то должен находиться рядом и в случае опасности отключить питание.

При работе с дрелью и при механической обработке пользовался защитными очками, чтобы стружка или сломанное сверло случайно не попали в глаза.

Монтажные работы проводил с включенной вентиляцией, и после работы дополнительно проветривал помещение.

Bibliography, references, and acknowledgements

Список литературы

1. Д. Иглмэн Можно ли дать человеку новые чувства [Электронный ресурс]

 http://www.youtube.com/watch?v=N3t-kfn6Ba4 (дата обращения 01.12.2018)

2. Кожей чувствую (Интервью с Юрием Даниловым) [Электронный ресурс]

http://www.strf.ru/material.aspx?CatalogId=222&d_no=34634#.VvGOY3pniJd (дата обращения 01.12.2018)

3. Тактильные дисплеи Брайля. Интернет магазин Доступная среда [Электронный ресурс]

http://dostupsreda.ru/store/dlya_invalidov_po_zreniyu/taktilnye_displei_braylya (дата обращения 01.12.2018)

4. Scott D. Novich, David M. Eagleman Using space and time to encode vibrotactile information: toward an estimate of the skin’s achievable throughput [Электронный ресурс]

https://link.springer.com/article/10.1007%2Fs00221-015-4346-1 (дата обращения 01.12.2018)

5. Строим роботов и другие устройства на Arduino. От светофора до 3D-принтера [Электронный ресурс]

https://www.coursera.org/learn/roboty-arduino (дата обращения 01.12.2018)

6. Исходные коды открытого проекта bluetooth-spp-terminal [Электронный ресурс]

https://github.com/Sash0k/bluetooth-spp-terminal/releases (дата обращения 01.12.2018)

7. Исходные коды, чертежи и схемы проекта VibroMatrix [Электронный ресурс]

https://github.com/MShevnin/VibroMatrix (дата обращения 01.12.2018)

Благодарности

Главную благодарность хочется сказать Девиду Иглмену за его интересные видео и работы о сенсорном замещении. Эти работы сильно изменили мою жизнь.

Работа над проектом продолжается уже четвертый год. Всю техническую часть проекта я делал дома самостоятельно. Для работы я использовал: паяльную станцию, различный слесарный инструмент, 3Д принтер и ноутбук. Все эти приборы по мере работы над проектом заполнили мою комнату.

За годы работы над проектом я сменил несколько учебных заведений, и везде находились учителя, которые поддерживали мои поиски.

В начале работы над проектом я учился в Гуманитарном Лицее города Ижевска. Учителем, поддержавшим меня, была Мария Юрьевна Мышкина (учитель биологии). 

Когда появился первый рабочий прототип, Мария Юрьевна познакомила меня с Иваном Анатольевичем Черенковым (кандидат биологических наук, доцент; заместитель директора по научной работе УдГУ). Иван Анатольевич одобрил мой проект и помог организовать группу студентов для тестирования. Для меня было очень значимо, что ученый поддержал мою работу.

Последние два школьных года я учился в 41 лицее города Ижевска в классе с углубленным изучением физики и математики. В этом лицее работу над моим проектом поддержала Ольга Витальевна Феклисова (учитель химии и заместитель директора по УВР и валеологии). Она рассказала о всероссийских конкурсах школьных исследований. За два года я несколько раз участвовал в них и был признан победителем. Живое общение с судьями, среди которых были ученые и инженеры, придавало новую уверенность в работе. Именно в это время появились мобильные версии устройства в виде браслета на предплечье, а потом и перчатки на ладонь.

Все эти учителя и преподаватели помогали мне, мотивируя на дальнейшую работу.

Также хочу сказать отдельное спасибо моим родителям, которые все это время поддерживали мою идею морально и материально.