Как команда программистов из Петербурга разработала онлайн-переводчик, попавший на главную страницу App Store

Об идее

Закройте глаза и сделайте глубокий вдох: переношу вас в лето 2019. Теплый день, конец августа. Время, когда слово «зум» еще ассоциировалось в основном с фотоаппаратами. Мы в гостях у Джона (не путать с Джеком) Николсона, писателя и переводчика. У Джона серьезная библиотека, и, как вы уже догадались, многое — на английском языке. У меня в руках альбом "Petersburg Perspectives". Художественные фотографии города дополнены очерками иностранцев. Один из очерков в этом альбоме, как вы уже догадались, написал сам Джон, когда в начале 90-х переехал в Петербург, сразу после окончания Оксфорда.

Мы люди простые, Оксфорд не заканчивали — в тексте встречаются незнакомые слова. Тут два варианта: слово пропустить, типа, по смыслу догадаюсь. Работает иногда, но нюансы теряются, а бывает и совсем непонятно ничего. Второй вариант: берешь смартфон, смиренно на клавиатуре вводишь слово — скучно и долго. Есть и третий вариант, на самом деле: фото-переводчики. В Google Translate, например, можно навести камеру на текст и он весь прямо там на картинке переведется. Магия! Проблема в том, что эта магия (черная) совсем для чтения не предназначена. Переводится весь текст на фото, все скачет-прыгает. И не поймешь, где то слово, которое ты искал. Да и вообще! Мне слово посмотреть нужно, а не этот ваш машинный перевод читать.

Стал думать. Так, камера есть, слова распознавать можем. Но как выделить нужное слово? Прицел? Рамочка? Стрелочка может быть… Да ведь у нас же есть, чем указывать! Палец! Бог дал нам пальцы, десять штук. Первая мысль: на меня сошло озарение. Следующая мысль: да есть такое уже, наверняка. Весь оставшийся день я провел в App Store в поисках такого приложения. НЕТ! То есть 2019 год (эх!), а нормального способа перевести слово в тексте — нет. Решено: надо делать. 

Вообще, я думаю, весь этот проект — попытка закрыть детский гештальт. Я учился в школе, где детей мучают латынью и древнегреческим (не спрашивайте ничего!). Я помню это ощущение, когда ты ищешь в словаре одно слово, а потом оказывается, что это аорист первый (прошедшее время в древнегреческом языке — прим. ред.), и смотреть нужно на другую букву… но это уже другая история.

О везении

Знаете, бывает, что все как-то складывается. Так и с нашим «пальцем»: дизайнер Егор Дубовицкий сразу же согласился нарисовать первые прототипы. Будущего нашего инвестора моя девушка встретила в «Коржове» буквально и недели не прошло. Сходила, называется, за хлебом. Утренний «нетворкинг» Петроградской стороны и Крестовского острова! Через несколько дней я иду по Московскому проспекту, перехожу Фонтанку. Навстречу летит Дим По (художник и дизайнер. — Прим.ред.) на моноколесе. Перехватил его, рассказал идею. Он поддержал, посоветовал программиста по имени Лаки. Встретились в «Гараже» (помните, раньше так можно было?), все обсудили и дальше я уже никого не искал. Чтобы вы понимали: iOS разработчиков на рынке крайний дефицит, найти кого-то адекватного — да еще и так, чтобы не пришлось закладывать фамильные драгоценности — задача практически невыполнимая! (Это информация для вас, дорогие школьники и студенты) Но нам повезло: у нас теперь был Лаки!

Кстати, старожилам на заметку: помните клуб «Доменикос» в начале девяностых? Я сам не помню, но мне рассказывали. Так вот наш Лаки — сын того самого Лаки, основателя «Доминикос». Тут интересны две вещи. Во-первых, наблюдается явный культурный сдвиг в сторону IT. Это приятно. Во-вторых, отчество Лаки (из-за ошибки в российском паспорте папы) — Локиевич! 

С офисом тоже повезло: у Джулиано ди Капуа как раз освободился один отсек на его дебаркадере: том самом, который прославился благодаря лайфстайл-проекту Life Aquatic Яны Милорадовской (главного редактора «Собака.ru» — Прим. ред.). Потом мы шутили, что, если компания Apple начиналась в гараже, то мы — в доме на воде!

О сложностях

Несмотря на кажущуюся простоту, механика «показал пальцем и увидел перевод» — технически довольно сложная задача. Для этого нужно как-то программно определить координату кончика пальца в потоке видео, распознать текст на картинке и найти в нем то слово, на которое палец указывает. Слово нужно стабильно «подсветить», проверить, что распознавание прошло без ошибок, перевести и показать перевод. С точки зрения дизайна тоже все интересно: у нас примера не было, приходилось все придумывать самим.

То, как выглядит Graspp сейчас, кажется естественным, но мы перепробовали множество вариантов, чтобы к этому придти.

Где-то два месяца мы вообще не были уверены, что у нас получится сделать все, как мы задумали. Например, готового open-source решения для определения кончика пальца не оказалось. Сначала я искал партнеров, которые занимаются machine learning (для определения пальца мы используем машинное обучение), но мне называли какие-то дикие суммы за разработку этого модуля. Решили делать все сами: мне пришлось выучить Python (язык программирования, используется для машинного обучения) и собрать больше пяти тысяч фотографий разных пальцев, чтобы было на чем тренировать нашу «модель».

Я хорошо помню день, когда все эти технологии сложились, и нам удалось протестировать прототип! Я тогда подумал: а вдруг все действительно получится?! За два месяца я уже начал сомневаться, что мы справимся, и вот у меня в руках вещь, которая работает!

Первое полноценное демо

К концу декабря у нас уже был стабильно работающий прототип, и мы ушли на новогодние каникулы спокойные и довольные.

О запуске

После праздников началась подготовка приложения к запуску — целая пропасть мелочей, которая отделяет прототип от законченного продукта. Аккуратный перенос дизайна в код, обработка редких случаев, оптимизация потребления ресурсов, исправление багов. Не совру, если скажу, что этот список можно продолжать бесконечно!

Чтобы как-то бороться с этой бесконечностью мы всей нашей командой запускаться поехали в деревню Силино. По принципу «пока не выложим в App Store — не расходимся». Сняли дом, который мы обычно снимаем в теплое время года. Летом там отвлекающих факторов масса, а в конце февраля — никаких. Сработало. Мы провели несколько суток за компьютерами, отправили приложение на ревью (каждое приложение в App Store проходит модерацию сотрудниками Apple) и… затопили баню. Я сижу, довольный, в клубах пара, пью «Молоко +» из бара «76» и не выпускаю из рук телефон: жду подтверждения. И в какой-то момент вижу: в «сторе». Такая радость — видеть результат нескольких месяцев работы! Мы прозвали это место Silino Valley — по аналогии с Silicon Valley, местом в Калифорния, где расположены штаб-квартиры международных высокотехнологичных корпораций вроде Apple, Facebook и Google.

О планах (и мечте)

На самом деле Graspp — это больше, чем «еще один переводчик». Это вообще новый способ взаимодействия между цифровым и физическим миром. То есть раньше вы могли что-то мышкой делать, на экране нажимать, на клавиатуре набирать. Теперь еще можем пальцем на что-то указать, а софт это обработает. Представьте, гуляете вы по Праге, и тут вдруг перед вами интересный изогнутый дом. Открываете обычную камеру на айфоне, указываете на дом пальцем — и вот ответ из Википедии: оказывается это «Танцующий дом» Фрэнка Гери!

Мы хотим эту тему развивать: сначала добавим больше языков, Википедию, выделение фраз и целых предложений. Возможно, сделаем поиск по объектам. Но наша мечта, конечно, стать стандартной механикой в камере на iOS. Не расстроимся, если Apple нас купит! Но даже если сделают сами — круто: мы эту штуку придумали, этого уже не отнять.

Еще один важный момент: мы хотим свою позицию выразить, как мы видим софт будущего. Хочется делать вещи реальному миру комплементарные, а не замещающие его. В нашем случае это значит, не заменить бумажные книги на электронные, а сделать инструмент, который сделает чтение этих бумажных книг таким же удобным с утилитарной точки зрения, как и в цифровом виде. Я, например, сейчас эту «онлайнизацию» тяжело переживаю. Хочется больше вещей физических, осязаемых.

Демо приложения Graspp

Скачать Graspp

Пока у нас версия только под iOS: делать сразу под две платформы не было возможности. Сейчас мы поддерживаем англо-русский словарь и толковый английский, оксфордский. Планируем добавить больше языков в ближайшее время.

Скачать Graspp c App Store.

И самое главное. Мне часто говорят: вау, классная штука, но сам я на английском не читаю, тяжело. Так вот! Представьте, что у вас дома коллекция пластинок стоит, но не было проигрывателя. Так вот мы сделали этот проигрыватель. Точнее, нет, даже выигрыватель! С Graspp’ом то, что раньше было читать лень из-за большого количества лексики, теперь легче в 10 раз читать. Сейчас времени для этого стало больше. Попробуйте.

С любыми комментариями и вопросами о приложении обязательно пишите нам на почту: team@getgraspp.com