
Приложение можно "научить" распознавать новые объекты, называть предметы, проговаривая их, и ловить "на лету" что-то - наклеивать ярлычки на изображение. Новое устройство, на самом деле, может стать еще и настоящим благом для слепых и слабовидящих.
Для полноценной работы системе необходимо вычислительной мощности чуть больше, чем в среднем имеется на смартфонах. Поэтому для идентификации некоторых предметов нужна помощь компьютера.
Работает это приблизительно следующим образом. Тачскрин на смартфонах используется для навигации, а камера - для распознания объектов. Затем программа LookTel Mobile передает живое изображение с мобильного телефона на компьютер с LookTel BaseStation - программой, которая распознает сложные предметы. Когда компьютер получает запрос, то просматривает хранящуюся базу данных в поисках нужной информации. Обнаружив ее, компьютер отсылает информацию обратно на смартфон, который проговаривает описание товара.
LookTel "учится" опознавать новые предметы, храня изображение и сопоставляя его с тегами. Тегом может быть ваш собственный голос или текст, прочитанный программой для чтения голосом.
У приложения есть и "живой помощник", который дает возможность другому человеку рассказать о том, что происходит, как будто бы вы находитесь на месте происшествия.