Мозговая атака: как разрабатывают ПО для российских беспилотников

Про гугломобили слышали все. Но мало кто знает, что и в России есть специалисты, которые разрабатывают уникальное программное обеспечение для систем автономного управления.

Ездить на автомобилях, увешанных нештатными приборами и мониторами, мне доводилось не единожды. Но это всегда происходило на зарубежных полигонах гигантов мировой автоиндустрии. А сейчас я сижу в кроссовере Nissan X‑Trail, превращенном в испытательную лабораторию специалистами московской компании «Когнитивные технологии». Очень показательно: 12 лет назад я ездил по этому же столичному проспекту на вазовской Самаре, считая ее вполне современной и достойной машиной. А теперь выруливаю на улицу на автомобиле, который практически дорос до того, чтобы поехать без помощи человека.

Русский ум

Пока, конечно, это невозможно. Хотя бы потому, что запрещено законом — в автомобиле, согласно Венской конвенции о доро­жном движении, должен быть водитель. Но дорожные знаки, автомобили и пешеходов обвешанный электронными глазами Nissan распознает исправно. Все это отлично видно на экране ноутбука, где иллюстрируется суть работы системы.

Вот как имитируется работа человеческого гиппокампа. Когда объект оказывается на границе поля зрения камер (обведенная машина слева), электронике сложно его распознать. На помощь приходит кадр, сделанный мгновением раньше (зеленый прямоугольник), на котором объект виден полностью. Электроника сопоставляет кадры и правильно трактует ситуацию. Машина ориентируется не только по изображению в данный момент, но и по предыдущим картинкам, что позволяет не терять потенциальные опасности из вида. Бирюзовые прямоугольники — описанный в тексте виртуальный туннель: сужающаяся вдаль зона приоритетного контроля.
Вот как имитируется работа человеческого гиппокампа. Когда объект оказывается на границе поля зрения камер (обведенная машина слева), электронике сложно его распознать. На помощь приходит кадр, сделанный мгновением раньше (зеленый прямоугольник), на котором объект виден полностью. Электроника сопоставляет кадры и правильно трактует ситуацию. Машина ориентируется не только по изображению в данный момент, но и по предыдущим картинкам, что позволяет не терять потенциальные опасности из вида. Бирюзовые прямоугольники — описанный в тексте виртуальный туннель: сужающаяся вдаль зона приоритетного контроля.

Машины-автономники разных производителей почти не отличаются друг от друга набором электронных блоков, датчиков и исполнительных механизмов. Основные изюминки зашиты в программных алгоритмах, управляющих автоматикой. И именно за их секретами я приехал в офис «Когнитивных технологий», где не боятся поделиться некоторыми ноу-хау.

Самое сложное при создании автономных транспортных средств — научить машину ориентироваться и замечать все возможные опасности. Без видеокамер не обойтись. Но обрабатывать данные необходимо со скоростью 20–25 кадров в секунду, а каждый кадр в высоком разрешении содержит миллионы пикселей — требуется мощная (а значит, дорогая) техника.

Находка компании «Когнитивные технологии» — так называемый алгоритм виртуального туннеля. Наши инженеры предложили анализировать лишь зону основного риска. Остальную часть картинки электроника держит в поле зрения, но начинает уделять ей более пристальное внимание, только если там появляются движущиеся объекты, представляющие потенциальную опасность. Фактически это аналог человеческого зрения, к имитации которого тем или иным способом стремятся все разработчики зрения машинного.

Российские специалисты создали, по сути, компьютерную модель фовеального зрения человека: объекты в центре внимания видятся в высоком разрешении, а все остальные — в низком. Ведь при движении на машине на высокой скорости мы смотрим преимущественно вдаль, словно в туннель. Вот и «мозги» автопилота будут обрабатывать в полном объеме лишь 5–10% площади изображения, снятого с объектива видеокамеры.

Так выглядит тестовый Nissan X‑Trail с установленными на нем компонентами машинного зрения.
Так выглядит тестовый Nissan X‑Trail с установленными на нем компонентами машинного зрения.

На крыше рядом с камерами установлены леддары (не путать с лазерным измерителем — лидаром). LEDDAR — light-emitting diode detection and ranging, система распознавания и измерения расстояния до объектов на основе невидимого светового излучения. Устройство посылает импульсы с частотой 100 000 раз в секунду и ловит отраженный сигнал.
На крыше рядом с камерами установлены леддары (не путать с лазерным измерителем — лидаром). LEDDAR — light-emitting diode detection and ranging, система распознавания и измерения расстояния до объектов на основе невидимого светового излучения. Устройство посылает импульсы с частотой 100 000 раз в секунду и ловит отраженный сигнал.

Сейчас радар установлен на виду, но в окончательном варианте его спрячут в бампере. Тонкая пластиковая скорлупа работе не помешает, не собьет его с толку и наледь со снегом.
Сейчас радар установлен на виду, но в окончательном варианте его спрячут в бампере. Тонкая пластиковая скорлупа работе не помешает, не собьет его с толку и наледь со снегом.

Кроме того, машинное зрение должно иметь высокую степень адаптации к российским условиям эксплуатации. К примеру, в систему заложена определенная погрешность, возникающая из-за значительных вертикальных колебаний и смещения линии горизонта на разбитых дорогах. При этом приходится жертвовать точностью обработки данных или быстротой, но в конечном итоге такой подход дает более качественную картинку по сравнению с «нежными» зарубежными аналогами.

Зная специфику российских дорог, при разработке алгоритма не полагались и на идеальную дорожную разметку. Линии на асфальте электроника распознаёт по совокупности факторов. Когда знакомые белые или желтые полосы видны компьютерному глазу слабо, он подключает механизм сложной аналитики. Пусть разметка больше похожа на грязные пятна, но если они повторяются через определенные интервалы и сходятся к линии горизонта, то с большой долей вероятности это и является ориентиром. Кроме того, компьютер может обратиться за подсказкой к цифровым картам, в памяти которых есть сведения о количестве полос движения на этом участке дороги.

Похожим образом автоматика распознает и границы дороги. Тут речь даже не о разметке. В России хватает грунтовых трасс, на которых водитель тоже вправе рассчитывать на помощь электроники, а в некоторых регионах по нескольку месяцев в году под снегом не видно даже асфальта. Машинное зрение определяет правильную траекторию по косвенным признакам — по деревьям, ограничительным столбикам и снежным отвалам вдоль дороги, по линии горизонта. Разработчики уверяют, что их электронное детище в таких условиях видит не хуже человека.

Заглянем на кухню

Распознавание объектов на видеозаписи происходит по методу машинного обучения. Сначала накапливается база образов для электронного разума. Ее можно формировать вручную: операторы на каждом кадре отмечают объекты и присваивают им категории (человек, велосипед, дорожный знак, машина). Можно доверить процесс инструментам-детекторам, тогда останется только проверить за ними работу. Когда меток накопится достаточно, система будет сама по аналогам распознавать те или иные объекты.

Отдельная категория — так называемые препятствия общего рода. К ним относятся объекты, которые радары и камеры «видят», но не могут соотнести с заложенной в их память базой. Это, например, животные или упавшие деревья: многообразие их форм и размеров делают попросту невозможным формирование полной базы для компьютерного мозга.

Непросто и с пешеходами. Они тоже сильно отличаются друг от друга в зависимости от пола, возраста, времени года (слишком разнится одежда) и сопутствующих предметов (сумки, зонтики, коляски). Но с пешеходами никаких поблажек разработчики себе позволить не могут: это одна из главных ежеминутных опасностей, а потому система обязана знать все ее нюансы досконально.

Еще один сложный для идентификации элемент — светофор. Автоматика должна не только узнать его, но и определить, какой сигнал в данный момент горит. Электроника ориентируется на характерную форму объекта, возможное место его расположения (выше автомобилей) и цвет включенного сигнала. Программа учитывает, что машина может стоять в левом или правом рядах многополосной дороги, - соответственно изменяется сектор обзора. Вдобавок на некоторых перекрестках в поле зрения камеры попадают сигналы для других направлений движения. Отсечь их помогают подробные цифровые карты, дающие подсказку об архитектуре перекрестка и расположении светофоров на нем.

Если распознавание сигнала опирается только на его цвет, систему в первую же ночь сведет с ума обилие задних габаритных огней. Инженеры закладывают в алгоритм ряд критериев, помогающих компьютеру точно идентифицировать светофоры и не обращать внимания на ложные раздражители. Например, габаритных фонарей у автомобиля должно быть два, они симметрично расположены, а между ними — подсветка номерного знака или третий стоп-сигнал. Если система распознала такой набор признаков, значит это точно не светофор.

Страницы

← предыдущаяследующая →

12

Ошибка в тексте? Выделите её мышкой! И нажмите: Ctrl + Enter

Комментарии (35)

Самые новые

обычная смекалка бедноты. В каком-нибудь Афганистане и не так выкручиваются.

Ответить#
0

«Например, габаритных фонарей у автомобиля должно быть два»

Лампочка перегорела — остался один )))

Пусть разметка больше похожа на грязные пятна, но если они повторяются через определенные интервалы и сходятся к линии горизонта..."

То эту "разметку" вполне может оставить на дороге автомобиль, заехавший колесом в какую-нибудь грязь. А если он еще и свернет с дороги? ))

Только когда инструкция к автомобилю разрешит человеку включить автопилот и лечь поспать — только тогда такой автомобиль может называться беспилотным. А пока этого разрешения нет — это просто автомобиль с дорогущим "навороченным" адаптивным круиз-контролем, не более. К тому же, я думаю, такой круиз-контроль опасен. Водитель, доверившись ему, в той или иной мере "раслабляется", и не сможет вовремя "перехватить управление". И, если что случится, виноват будет он.

Ответить#
0

На фото с монитором четко видно, что используется обычная офисная операционная система из Редмонда. Одно дело презентации и офисные приложения и совсем другое задачи реального времени. Не может быть, чтобы люди из «Когнитивных технологий» не знали, на какой ОС работает Tesla, Google, IBM, Oracle и многие другие.
Не может быть чтоб они не знали относительно AGL Workgroup (Toyota & Honda & Ford & Mersedes & Nissan & ...).

Автономные системы необходимы, но у нас, к сожалению, это больше напоминает пиар компанию Михаила Прохорова.

Ответить#
0

Реальное время? А что это такое — Вы в курсе? Узнайте, на какой ОС работает Тесла — это не ОС реального времени. А уж ораклов к реальному времени вязать — смешно.

И — с какой это стати клиентская программа должна работать на *никсе (хуже того, вполне консьюмерской версии линукса, которую Вы, очевидно, и считаетсе ОС РВ)?

Ответить#
0

В наших обычных автомобилях работает система реального времени QNX. A Tesla это не только новые алгоритмы и программные решения, это и технологическая революция в энергетике. Новая энергетика — это отнюдь не всякие там ниспадающие меню и разнообразные графические интерфейсы, к тому же созданные инструментальными средствами времен царя Гороха. Например, устройства сохранения и распределения энергии, благодаря Tesla, AMSC, Fujikura (Yttrium-based 2G Superconductor) стали коммерческим продуктом сегодня. И используют они как раз современные программные и инструментальные средства.

Погуглите насчет AGL Workgroup, это диалектика в действии.

Ответить#
0

Я рад, что вы погуглили и теперь цитируете. Вот только, если не уводить разговор в сторону, то выяснится, что тесла работает на убунте. Которая совсем-совсем не кьюникс. И не РВ-система.

Перестану интриговать остальных читающих: главный, определяющий признак системы реального времени — гарантированный ответ за заданное время. Ответ может быть «не шмогла я», но он должен быть. Это критически важно для многих применений, особенно на низком аппаратном уровне (например, в контроллерах). Но для сложных систем такой подход может привести к плачевным результатам отсутствия решения и/или существенного замедления работы.

По поводу новой энергетики — спасибо, я знаю. Моя работа состоит в создании динамических моделей энергосистем, всё новое в энергетике (включая ветер, солнце, аккумулирующие системы) вызывает новые заказы на новые модели. Вынужден быть в курсе.

Ответить#
0

Так что насчёт операционной системы реального времени? Прочли, что это такое?

Ответить#
0

Это больше походит на веру в сказку. Элементарно дороги не чистят и не ремонтируют и хотят написать алгоритмы, которые смогут бороться с этим трешем и угаром.

Ответить#
+2

Это жеж сколько водителей дальнобойщиков без работы останутся. Я так понял, что система разрабатывается с прицелом на коммерческий транспорт.

Ответить#
0

недавнее вполне солидное исследование в штатах (ссылку точно не помню, но найти можно, и здесь я в одной из дискуссий приводил) показало, что уже на нынешнем уровне развития техники 2/3 рабочих мест можно передать «железкам». Так что не только водители без работы останутся, а, во вполне обозримом будущем — большинство.

Ответить#
0

Дальнобойщики останутся без работы только тогда, когда производители автопилотов возьмут на себя ответственность за сохранность перевозимых их изделиями груза. То бишь — никогда.

Ответить#
0

В том числе. Над автопилотом сейчас работают и легковые, и грузовые автоконцерны. Для наибольшего эффекта (читай: снижения аварийности) нужно, чтобы автономными стали как можно больше машин.

Ответить#
+2

Они работают, но до поры, когда придется брать на себя ответственность за «поведение» своих автопилотов. Как придет эта пора — перестанут называть их автопилотами, а назовут, скажем, круиз-контролем с искусственным интеллектом...

Ответить#
0

«Скрипач не нужен», верно.

Ответить#
0

Мало того, что наши жизни собираются доверить бесстрастным роботам
А на лифтах Вы как — ездите? Так и здесь, привыкнете. Или это просто книксен части читающих?

Но в целом хорошо описано — и разумные подходы. Не получилось бы только, что мы прочтём в новостях «гугл купил очередную компанию», а через полгода «гугл закрыл это направление».

Ответить#
0

Мне кажется, сравнивать сложность работы лифта в доме и автопилота на дороге общего пользования некорректно. Кроме того, суть фразы в её продолжении: лично я категорически против того, чтобы робот выбирал, кем жертвовать. Экстренная ситуация? Торможение без смены полосы, как и прописано в нынешних ПДД. А манёвры — избавьте от такого «удовольствия».

Ответить#
+1

Лифт, значит, Вас не пугает. Это хорошо. А то ведь ещё и  самолёты есть. Подавляющую часть времени современные паксовозы управляются как раз роботом. В том числе производят маневрирование при маневре расхождения.
Весь опыт, теперь уже и автомобильный, показывает, что робот ошибается реже человека. И я бы скорее пришёл в ужас от мысли, что водитель-человек может убить, чем от мысли. что водитель-робот будет принимать решения. Просто потому, что первое происходит чаще и опаснее.
Впрочем, вернёмся к этому разговору лет через двадцать, хорошо? Этого срока даже нашим бабушкам хватило, чтобы перестать накрывать телевизор кружевной салфеткой.

Ответить#
+1

Ок. Сколько помех одновременно нужно проанализировать авиационному автопилоту, чтобы разойтись с лайнером? Сколько их в принципе встречается за полёт? А непредсказуемых, «внезапно выскочивших из-за облака»? Замечу, что около аэропортов, в местах скопления самолётов, за ними всё-таки следят живые люди, пусть и при активной помощи автоматики.
Но мы действительно можем вернуться к разговору лет через 20. Особенно интересно это будет с учётом того, что предпосылок к массовому появлению безопасных дорог с хорошей разметкой и качественным асфальтом в нашей стране нет. Мне крайне любопытно, что там нарулит автопилот зимой на региональной трассе где-нибудь под Тамбовом.

Ответить#
+2

Вам напомнить историю над Боденским озером? А над Загребом? А десятки других? Человек и с этим-то не справляется.
В той же истории с погибшим водителем теслы — человек-то тоже не увидел/не успел/не сумел отреагировать на фуру поперёк дороги.
При этом человек уже лучше не станет, а автовождение ещё только начинает развиваться. Пока что оно не пригодно для массового применения на общих дорогах. Пока что.

Ответить#
-1

«Пока что оно не пригодно для массового применения на общих дорогах.»

Оно будет пригодно, когда инструкция к автомобилю разрешит водителю включить автопилот и лечь поспать. А это вряд ли когда-то случится.

«В той же истории с погибшим водителем теслы — человек-то тоже не увидел/не успел/не сумел отреагировать на фуру поперёк дороги.

Естественно. Понадеявшись на „автопилот“ человек, что называется, „расслабился“. А рулил бы сам — всё бы увидел, успел и сумел.

Ответить#
0

А это вряд ли когда-то случится
Поживём — увидим. Мне кажется, дороги, на которые не будут выпускать живых водителей, появятся уже при нашей жизни. Могу даже сказать — уверен в этом.

А рулил бы сам — всё бы увидел, успел и сумел.
ссылкассылка

Ответить#
0

«Мне кажется, дороги, на которые не будут выпускать живых водителей, появятся уже при нашей жизни.»

У нас в городе давно такая есть. Не пускают ни живых, ни мертвых. Взяли, и сделали дорогу пешеходной!)))
Если такие дороги и появятся, то не в стране, на дорогах которой живые водители имеют огромный шанс стать мёртвыми хотя бы по причине некстати подвернувшейся под колесо колдобины. Но такие дороги не появятся нигде в обозримом будущем, ибо «роботопроизводители» далеко не жаждут брать на себя ответственность за «поведение» своих изделий.

Ответить#
0

Вам напомнить, что произошло 9 ноября 1979, 6 сентября 1983 года, 3 июня 1989 года, 25 января 1995 года?
Не вмешайся тогда человеческий фактор — нас с вами тогда уже бы не было.

Ответить#
0

Примечательно. А Вы сами читали или только на заголовки среагировали?
9 ноября 1979: ссылкассылка
запустилась тренировочная программа, которая по неизвестной причине выдала настоящий сигнал о массированной ядерной атаке со стороны СССР
Вывод: очевидная ошибка персонала, даже в куда менее ответственных системах тренажёрный и рабочий домены должны разграничиваться на географическом уровне (то есть иные компьютеры в иной сети в ином помещении).

25 января 1995 года: ссылкассылка
Если бы в 1995 году у России были системы раннего обнаружения космического базирования, благодаря спутникам лидеры вооруженных сил России немедленно увидели бы, что запуск ракет с подводных лодок Trident в Атлантическом океане не производился. Они также не увидели бы никакой активности в Заливе Аляска, который патрулируется тихоокеанским флотом Trident.
Вывод: развивать нужно автоматические системы, а не полагаться на решения людей по недостаточным данным.

3 июня 1989 года: ссылкассылка
Примерно за три часа до катастрофы приборы показали падение давления в трубопроводе. Однако вместо того чтобы искать утечку, дежурный персонал лишь увеличил подачу газа для восстановления давления
Вывод уж вовсе очевиден. Чем меньше персонала — тем меньше ошибок.

Вы ещё Чернобыль упомяните и то, какую роль там сыграли автоматики, а какую — люди.

Ответить#
0

«Вывод: развивать нужно автоматические системы, а не полагаться на решения людей по недостаточным данным.»

Ага, чтобы глюкнувшая автоматическая система автоматически шандарахнула куда-нибудь ядреной ракетой?

Ответить#
0

Ну, детский сад пошёл... я же привёл цитату, отчего бoльшая часть ошибок происходит. Хотите уменьшить вероятность ошибки? Повышайте степень автоматизации. Это давно известно, и желаниями этого не изменить, такова объективная реальность.

Ответить#
0

«Хотите уменьшить вероятность ошибки? Повышайте степень автоматизации.»

То есть идея постройки, допустим, полностью автоматической АЭС вас не пугает?

Ответить#
0

Если есть реальная возможность такую построить — куда меньше, чем управляемой людьми. После Чернобыля-то...

Ответить#
0

Ну если такими людьми, что сознательно отключали автоматику и вытворяли не пойми что — тогда конечно. Хотя, насколько я в курсе, не сам персонал это вытворял, а по указке руководства.
Как быть с «психологическим моментом»? Когда выясняется, что целый город вымер по причине людского идиотизма — это страшно, но понятно. А если что-то подобное произойдет на автоматической АЭС, и выяснится, что по причине пробоя какого-нибудь копеечного конденсатора, грубо говоря? И что будь на станции человек, трагедии бы не случилось?

Ответить#
0

Руководство — не люди?
И не нравится пример с Чернобылем — пример по ссылке с вашей же датой: «Однако вместо того чтобы искать утечку, дежурный персонал лишь увеличил подачу газа для восстановления давления»
А почему на Саяно-Шушенской ГЭС катастрофа произошла, поищите подробности. Тоже ведь, люди гоняли блок через запрещённый интервал. Угадайте, стала бы это делать автоматика.

Защита от пробоя копеечных конденсаторов существует и весьма развита. Иначе самолёты бы сыпались с неба, как спелые груши. А ведь — летают. Полностью автоматический и далеко не простой Opportunity катается по Марсу уже в 50 (пятьдесят) раз дольше, чем должен был. И, несмотря на обязательно случавшиеся «пробои конденсаторов» — работает.

Ответить#
0

Руководство, конечно, люди. Но если бы они занимались только руководством, то бишь: «Нужно сделать то-то и то-то» и не лезли в сам процесс этого делания — цены б им не было! Но очень часто лезут, ничего не понимая в специфике. А обоснованные заявления специалистов о невозможности сделать «то-то и то-то» воспринимают как подрыв авторитета.
Поверьте, я не против автоматики. Но только такой, которая помогает человеку и осуществляет защиту от дурака.
А самолеты очень часто сыпятся из-за того, что пилоты слишком доверяются автоматике, которая, выйдя из строя, вводит тех пилотов в заблуждение.
Что же касается «Оппортьюнити»... В инструкции к моему кинескопному «Шарпу» было написано: «Срок службы — 7 лет.» А работает он без ремонта уже почти 17, и, похоже, помирать не собирается! ))

Ответить#
0

В лифтовой шахте нет придурков на других лифтах, которые норовят подрезать. А зная смекалистось нашего населения — взлом будет обычным делом, мы не законопослушные европейцы.

Ответить#
+1

Привыкнете...

Ответить#
0

Привыкнем взламывать? Да нам не привыкать. :)
ссылкассылка
ссылкассылка
ссылкассылка
ссылкассылка—[у нас не ругаются]-55-foto.html

Ответить#
0

Ну да, люди уже привыкают, что из защищенных суперпуперкриптотехнологиями банков какие-нибудь смышленые юнцы с помощью мобильных телефонов иногда воруют их деньги.

Ответить#
0