«Мы хотели сделать что-то действительно полезное». Как создать приложение для слабовидящих

Идея проекта Мы вместе учились в Британке, на программе «Дизайн диджитал-продукта». Приступая к работе над дипломным проектом, мы решили, что хотим сделать что-то действительно полезное. Провели брейншторм по разным тематикам мобильных сервисов и выделили для себя приложение The Good Vibes Project (приложение для общения со слепоглухонемыми с помощью вибрации) и Brickfinder (приложение для поиска деталей лего с помощью камеры и нейронной сети). Эти решения вдохновили нас на проект навигатора для слабовидящих и незрячих людей. Кстати, оба этих проекта также выиграли Red Dot Award. Исследования Перед нами стоял вопрос: как и чем помочь незрячим и слабовидящим с помощью приложения. Мы провели интервью с Валерией Курмак, специалистом по инклюзивному дизайну. Узнали о том, как она делает цифровые продукты доступными для слепых и слабовидящих, а также получили контакты незрячих тестировщиков, готовых помочь нам в исследованиях. Мы пообщались с тестировщиком Павлом Попко, он нам рассказал, что в основном ходит по знакомому маршруту. Если ему необходимо пойти в новое место, он заранее готовится, изучает карту и прокладывает маршрут. Также Павел не стесняется обращаться за помощью к прохожим, если сталкивается с трудностями в дороге. Коммьюнити незрячих в России оказалось очень сплоченным. Есть организации, например, Всероссийское общество слепых. Многие люди, недавно потерявшие зрение, задают бытовые вопросы именно внутри таких сообществ. На просьбу разослать среди одного такого сообщества опросник откликнулся Алексей Любимов, эксперт по доступности интернета в «Яндексе». Мы рассчитывали получить 10-15 ответов, однако опрос прошли более сотни человек. Незрячие и слабовидящие люди подробно и эмоционально описывали, с какими неразрешенными проблемами они сталкиваются каждый день. Судя по опросу, самой насущной и до сих пор нерешенной проблемой было и остается передвижение по городу. Даже Москва недостаточно оборудована для людей с ограниченными возможностями, не говоря уже о ситуации за городом. Чаще всего упоминались сложности при движении по пешеходным переходам, неозвученные светофоры, невозможность узнать номера автобусов и в принципе читать надписи вокруг. На решении этих проблем в рамках мобильного приложения мы и сконцентрировались. Анализ существующих решений Теперь нам предстояло узнать, как незрячие и слабовидящие передвигаются по городу сейчас. Судя по результатам опроса, чаще всего они обращаются за помощью к людям на улице или знакомым. Также есть сервис Be my eyes, в нем регистрируются волонтеры, которые готовы созвониться по видеосвязи с незрячими людьми и помочь им в бытовых делах — выбрать продукты, найти или прочитать что-то. Однако есть решение, при котором незрячие и слабовидящие могут обходиться без посторонней помощи. У OrCam есть устройство MyEye 2 — оно крепится к дужке очков, встроенная камера считывает и озвучивает текст, распознает лица, а также распознает товары по штрих-коду. Но сейчас устройство никак не решает проблему навигации, да и стоит недешево. Технологии В то же время смартфон сейчас есть практически у каждого, а для незрячих и слабовидящих он играет незаменимую роль. В нем уже есть есть системы озвучивания элементов экрана — это Voice Over для любых устройств на iOS и Talk Back для Android. Есть камера, а также достаточно мощный процессор, чтобы обрабатывать видеопоток при помощи нейронной сети. Как раз эта технология поиска объектов и подсказала нам решение, которое легло в основу Hilight. Приложение должно распознавать элементы навигации, такие как пешеходные переходы, светофоры, транспорт — и озвучивать их расположение при помощи Voice Over или Talk Back. Также, если мы говорим о незрячих или слабовидящих людях, стоит учитывать, что одна рука у них практически всегда держит трость. Так что было бы неплохо освободить вторую руку от смартфона во время ходьбы. Вместе с Ульяной Коваленко и Екатериной Кудрявиной (студенты программы BA (Hons) Product & Industrial design БВШД) мы разработали концепт очков со встроенной камерой, которые через Bluetooth передают видеосигнал в смартфон. Это позволяет использовать приложение, не держа телефон в руках. У нас было несколько идей по поводу устройства. В начале мы думали о мини-камере которая бы крепилась на одежду, но после тестов поняли, что она не очень подходит, так как у камеры на одежде маленький угол обзора и она проигрывает камере на голове. После это мы решили сделать камеру в очках, так как очки постоянно на голове и камера передает видео по ходу движения человека. Очки должны были быть легкими и при этом в оправу необходимо было встроить камеру, аккумуляторы для беспроводной работы и электронику. Поэтому Ульяна и Катя предложили сделать очки из растительного пластика (ацетата), который является прочным, легким, гибким, принимает любые цвета и оттенки. В дужках расположили два аккумулятора 0.5x15x35 мм, камеру размером 15х25 мм на 5 мегапикселей. В одну дужку встроена гибкая Bluetooth-плата и мини-динамик, а в другую touch sensor, чтобы при долгом нажатии можно было включить и выключить очки. Аккумуляторы расположены ближе к ушам, чтобы снизить давление на переносицу. Также нужно решить проблему с зарядкой, чтобы устройство было всегда наготове, поэтому к очкам прилагается кейс-powerbank, в которых очки могут заряжаться по беспроводной технологии. Очки уходят в спящий режим, когда их снимают c лица, и могут сигнализировать о состоянии аккумулятора при включении. Тестирование Для тестирования механики мы встретились с незрячим специалистом по цифровой доступности Павлом Попко и прошлись с ним по городу, «примерив» на себя роль нейронной сети в будущем приложении. Связались по видеосвязи, Павел держал телефон перед собой, показывая нам, что находится перед ним, а мы голосом помогали ему переходить дорогу. В ходе теста мы выяснили, что у незрячих есть своя терминология — им проще ориентироваться по «циферблату» — вместо «направо» и «правее» им понятней слышать «на три часа» и «на один час». Также выяснили, что незрячие обычно ходят вдоль бордюров или других ориентиров, помогающих им идти прямо, но во время движения по пешеходному переходу никаких ориентиров нет и тяжело идти так. Выяснили также, что приложение должно вести пользователя не напрямую к пешеходному переходу, а под углом 90 градусов к нему, и сообщить о повороте непосредственно рядом с переходом. Тестирование помогло определиться с основными экранами и кейсами использования. Слабовидящие часто пользуются смартфоном, поднося его очень близко к глазам — для них мы разработали интерфейс с крупной типографикой (использовали шрифт Wayfinding Sans Pro, он легко считывается в движении и используется на дорожных знаках во множестве стран), безопасными цветами (желтый цвет — последний, который видит человек, а черный и белый создают максимальный контраст для удобного чтения). Наконец, чтобы показать принцип работы приложения, мы обратились за помощью к студентам Московской школы кино (Ольга Моисеева, Юлия Крицкая, Михаил Дубовик) и сняли ролик с участием Павла о том, как Hilight мог бы помочь ему удобнее добираться до работы и дома каждый день. Итоги проекта После презентации проекта в Британке мы решили подать его на Red Dot — это одна из самых известных и престижных международных премий в области дизайна. Через месяц нам пришло письмо о том, что проект получил награду Best of the Best in the Red Dot Award: Brands & Communication Design 2019 в категории «Apps». Разумеется, мы были в полном восторге! Несмотря на детальную проработку, мы создавали этот проект в рамках обучения и пока не думали о его дальнейшем запуске. Для этого необходима реализация нейронной сети, способной распознавать объекты навигации (пешеходные переходы, светофоры, текст). Также нужно наладить работу очков со смартфоном через Bluetooth, чтобы передавать видеопоток в достаточном для обработки нейронной сетью качестве. Но мы уверены, сервис должен быть бесплатным и максимально доступным. Надеемся, что для этого найдутся партнеры. Советы тем, кто собирается делать сервисы для людей с ограниченными возможностями Тем, кто хочет заниматься инклюзивным дизайном, можем посоветовать не полагаться на «общеизвестные факты» о людях с инвалидностью, а всегда стараться узнать у самих будущих пользователей о том, с какими проблемами они сталкиваются и как решают их сейчас. Вас может удивить то, как они обходят, казалось бы, огромную проблему по другому пути, и наоборот, незначительная мелочь для нас может оказаться непреодолимым препятствием для людей с ограниченными возможностями. Постарайтесь как можно раньше приступить к тестированию ваших гипотез, именно с вашей целевой аудиторией. Исходная гипотеза так или иначе будет изменяться в ходе исследования, будьте готовы и открыты к этим изменениям. Обязательно следите за современными решениями в вашей области и в принципе технологиями — возможно, то, что кажется вам фантастическим сейчас, уже через год будет в каждом смартфоне. Фото в материале и на обложке: архив авторов