Робот научился читать шрифт Брайля в два раза быстрее человека

Исследователи преодолели серьезную проблему в биомиметической робототехнике, разработав датчик, который с помощью искусственного интеллекта может читать шрифт Брайля со скоростью, вдвое превышающей человеческую. Эту технологию можно будет внедрить в руки роботов, обеспечивая чувствительность кончиков пальцев, сравнимую с человеческой.

Кончики пальцев человека невероятно чувствительны. Они могут передавать детали объекта размером примерно в половину ширины человеческого волоса, различать тонкие отличия в текстуре поверхности и применять необходимое количество силы, чтобы держать яйцо или тяжелый объект без скольжения.

По мере того, как передовые электронные оболочки начинают включать в себя все больше и больше биомиметических функций, потребность в динамических взаимодействиях, подобных человеческим, таких как скольжение, становится все более важной.

Однако воспроизвести чувствительность кончиков пальцев человека в роботизированном эквиваленте оказалось сложно, несмотря на достижения в области мягкой робототехники.

Теперь исследователи из Кембриджского университета приблизили эту идею на шаг ближе к реальности, используя тактильные датчики на основе зрения в сочетании с искусственным интеллектом для обнаружения функций с высоким разрешением и скоростью.

«Мягкость кончиков пальцев человека — одна из причин, по которым мы можем захватывать предметы с нужным усилием», — сказал Парт Потдар, ведущий автор исследования. «Для робототехники мягкость — полезная характеристика, но вам также нужно много сенсорной информации, и сложно иметь и то, и другое одновременно, особенно когда имеешь дело с гибкими или деформируемыми поверхностями».

Исследователи поставили перед собой сложную задачу: разработать роботизированный сенсор на кончике пальца, который сможет читать шрифт Брайля, скользя по нему, как это делает человеческий палец. Это идеальный тест. Датчик должен быть очень чувствительным, поскольку точки в каждой репрезентативной букве расположены очень близко друг к другу.

«Существуют роботы-читатели Брайля, но они читают только одну букву за раз, а это не то, как читают люди», — сказал соавтор исследования Дэвид Хардман. «Существующие роботы-считыватели Брайля работают статично: они касаются одного рисунка букв, читают его, отрываются от поверхности, перемещаются, опускаются на следующий образец буквы и так далее. Мы хотим чего-то более реалистичного и гораздо более эффективного».

Итак, исследователи создали роботизированный сенсор с камерой на кончике пальца. Осознавая, что скользящее действие датчика приводит к размытию изображения при движении, исследователи использовали алгоритм машинного обучения, обученный на наборе реальных статичных изображений, которые были искусственно размыты. Как только размытие при движении было удалено, модель компьютерного зрения распознала и классифицировала каждую букву.

«Это сложная проблема для робототехников, поскольку для удаления размытия изображения необходимо выполнить сложную обработку изображений, что отнимает много времени и энергии», — сказал Парт Потдар.

Использование обученного алгоритма машинного обучения означало, что роботизированный датчик мог читать шрифт Брайля со скоростью 315 слов в минуту с точностью 87,5%, что вдвое превышает скорость чтения человека и выполняется примерно с такой же точностью.

Исследователи говорят, что это значительно быстрее, чем предыдущие разработки и этот подход можно масштабировать за счет большего количества данных и более сложных архитектур моделей для достижения лучшей производительности на еще более высоких скоростях.

«Учитывая, что для обучения алгоритма мы использовали ложное размытие, было удивительно, насколько точным он был при чтении шрифта Брайля», — сказал Дэвид Хардман. «Мы нашли хороший компромисс между скоростью и точностью, что справедливо и для читателей-людей».

Хотя датчик не был предназначен для использования в качестве вспомогательной технологии, исследователи говорят, что его способность быстро и точно читать шрифт Брайля служит хорошим началом для разработки рук роботов или протезов с чувствительностью, сравнимой с кончиками пальцев человека. Они надеются масштабировать свою технологию.

Исследование было опубликовано в журнале IEEE Robotics and Automation Letters.