ZF: беспилотным автомобилям не обойтись без лидара

Серия ДТП с участием электромобилей Tesla, находившихся в режиме автопилота, породила в профессиональной среде волну дискуссий на тему устройства беспилотников. Свое мнение по этому поводу высказал и глава фирмы ZF Штефан Зоммер.

Беспилотник Ford Fusion Hybrid использует сразу четыре лидара
Беспилотник Ford Fusion Hybrid использует сразу четыре лидара

ZF — один из ведущих поставщиков автокомплектующих. Широким массам немецкая фирма известна, в основном, своими автоматическими коробками передач, вместе с тем компоненты систем автономного вождения также находятся в сфере ее компетенции.

Штефан Зоммер, глава ZF, изложил изданию Automotive News свой взгляд на конструкцию беспилотного автомобиля. По его мнению, для безопасной езды в режиме автопилота необходимы три ключевых компонента: программа обработки и интерпретации изображения с видеокамеры, радары ближнего и дальнего радиусов действия и лидар (LiDAR — Light Detection And Ranging). Именно последнего устройства нет на автомобилях Tesla.

Лидар — весьма дорогой электронно-оптический прибор объемного сканирования пространства с лазерным излучателем. Его нельзя установить внутрь машины, поскольку необходимо обеспечить беспрепятственный круговой обзор сканирующему модулю, вращающемуся вокруг вертикальной оси. Прототипы беспилотников Google оснащены одним лидаром, напоминающим мигалку на крыше, а фирма Ford в своих автономных седанах Fusion Hybrid использует сразу четыре лидара, установленных под разным углом на крыше и дающих исчерпывающую информацию об окружающем пространстве.

Прототип беспилотного автомобиля на базе Ford Fusion Hybrid
Прототип беспилотного автомобиля на базе Ford Fusion Hybrid

Будь на Tesla Model S, в которой погиб Джошуа Браун, установлен лидар, он наверняка увидел бы перегородивший дорогу грузовик, подал бы сигнал тревоги и команду «стоп». Однако лидар дает некорректную информацию в плохую погоду — «ощупать» лазерному сенсору окружающее пространство мешают крупные хлопья снега и капли воды, поэтому важно страховать его работу с помощью других систем: видеокамеры, радара, спутниковой навигации и цифровых 3D-карт высокого разрешения, обновляемых в режиме реального времени. Ну и, разумеется, нужен искусственный интеллект, который свяжет работу всех систем воедино и направит беспилотник в нужное и безопасное русло.

  • На этой неделе стало известно об очередной аварии с автопилотом Tesla: кроссовер Model X едва не вылетел на встречку и перевернулся.
  • В начале июля фирмы BMW, Intel и Mobileye объявили о сотрудничестве в сфере создания систем автономного вождения. Mobileye, напомним, поставляет модули обработки видеоизображения для автомобилей Tesla.
  • В декабре прошлого года Audi, BMW и Mercedes-Benz создали на базе одного из подразделений бывшего электронного гиганта Nokia совместное предприятие HERE, которое разрабатывает цифровые, обновляемые в режиме реального времени карты для будущих беспилотников.

Автор: Андрей Ежов

Фото: Ford

Ошибка в тексте? Выделите её мышкой! И нажмите: Ctrl + Enter

Комментарии (16)

Самые новые

Спасибо Akopov Mikhail — все правильно. Могу добавить:

1. Классифицировать объекты по облаку точек, которое дает лидар, сложнее чем по обыкновенной камере. Есть попытки совместить пикселы с камеры и глубину (суперпикселы) но это извращение, снимаются же они с разных точек и совместить их не просто, получается еще одно место которое может глючить.

2. Лидар также может пропускать тонкие объекты, как провода например.

3. Лидар нужно чистить, протирать зеркало тряпочкой, что зимой немного не смешно, а лобовое стекло под которым камера очищается дворниками.

Человек управляет машиной с помощью зрения, поэтому его достаточно.

Еще ставится радар чтобы точнее оценивать _скорость_ объекта впереди, еще ставятся ультразвуковые датчики по кругу, чтобы не пропускать тонкие объекты и сдавать назад.

(да все как на той тесле, сделано на ней по уму и железа достаточно для полной автономности, не только для автопилота, вопрос в софте)

Ответить#
0

Лидар — обязательный этап на начальной стадии и совершенно лишнее устройство в нормальной эксплуатационной версии.
1. лидар — лазер. Как его ни крути, он не может обеспечить сканирования в широком угле за малое время (в миллисекундах желательно) — луч слишком узок. Сделать шире — снизить точность замера до бесполезной. Таким образом, он не решает задачу раз и навсегда, всё равно придётся развивать остальные направления развития «зрения».
2. при наличии на дороге большого количества машин с лидарами неизбежны проблемы.
3. Лидар фактически ухудшает качество обрабатывающей программы. Он, по сути, представляет лазерный дальномер, выдающий расстояние до препятствия, но для работы программ распознавания образов полезнее обычная картинка с видеокамеры (не обязательно покадровая, есть варианты и с по-пиксельным съёмом информации, как в живых глазах)
4. «Обычное» зрение, то есть пассивная локация, видеокамеры при включении ИК-диапазона уже обеспечивают зрение лучше человеческого (разрешение несколько меньше, но для решения транспортных задач это не так важно). Если же не удаётся всё «разглядеть», то автономный автомобиль должен, ровно, как и человек-водитель, снизить скорость. Это, хотя и звучит скучно — очень хорошее решение задачи.

Наиболее вероятно, господин специалист работает в структуре, которая эти лидары использует и отказаться от них не может (не удаётся, именно им). Соответственно — ситуация «зелен виноград».

Ответить#
0

Спасибо за столь содержательный комментарий! Однако хочу обратить ваше внимание, что господин Зоммер не утверждает, что лидар панацея и считает, что он должен работать в комплексе с другими системами — только так можно гарантировать безопасность беспилотника и его обитателей.

Ответить#
0

На ловца и зверь бежит. Вот неплохой, насколько могу судить, обзор именно по датчикам, обеспечивающим авто-зрение:
ссылка/
Видов датчиков — как пальцев на руке, пять:
камеры,
радары,
лидары,
ультразвук,
инфракрасные камеры.

Классификация выбрана для удобства, а не соблюдения технологической правды. Вообще делить можно по-разному:
пассивные (камеры) и активные (радары-лидары),
в видимом диапазоне (камеры) и нет (все остальные, в том числе ИК),
по частотам (от ультразвука к лидарам).


В том числе — конкретно по лидарам:
Лазерные дальномеры: посветили лазером, посмотрели, что вернулось, выдали массив точек с расстояниями до них.

Плюсы:
Вундервафля, видит всё вокруг подробно и с высокой точностью. Кроме них так никто не умеет и никогда не будет.

Минусы:
Сканирующие лидары видят один и тот же участок дороги всего два-три раза в секунду.
Высокая стоимость, нет — СТОИМОСТЬ лидара.
Еще лидары хрупкие.
Короче, все остальное — минусы


Оттуда же ещё, о чём я уже писал:
заточенная под лидары логика плохо адаптируется к другим датчикам. — уточню, не к датчикам другим плохо адаптируется, а к тому направлению компьютерной обработки видеосигнала, которое наиболее перспективно и является сейчас основным.

Ответить#
+1

Кто будет читать по ссылке — обратите внимание и на комментарии, лучше — на все. Там есть и про «что будет, когда на дороге 200 лидаров», и про то, что главный успех определяется не столько датчиками, сколько алгоритмами обработки (как ответ на фразу: «человеку же стереопары хватает»). У ZF, судя по статье — как раз с алгоритмами не выходит. И не мудрено, не их это специализация.

Ответить#
+1

Вот, кстати, только что наткнулся, штрих в общую картину: у ракет воздух-воздух головки самонаведения, работающие «по точке», что алгоритмически аналогично работе лидара, по возможностям уже заметно уступили ракетам с «матричной» головкой, то есть с распознаванием образа в кадре.

Что ещё важно: поскольку современные системы распознавания опираются на обучение, одна и та же система со временем, по мере накопления опыта, начинает работать всё лучше и лучше. Всё как у людей, но скорость обучения уже сейчас в десятки раз выше. При этом уже приобретённый опыт не забывается (в отличие от) и распространяется сразу на все экземпляры с очень высокой скоростью (опять же, в отличие от).
Можно, кстати, обратить внимание на то, чем сейчас хвалятся большие компании — объёмом накопленных данных, так как это является необходимым условием для обучения систем. Гугл уже сорок, что ли, петабайт изображений насобирал.

Ответить#
+1

повторюсь: при наличии множества машин с лидарами на дороге — ничего хорошего не получится. Вот сейчас уже много машин с радарами (всякие индикаторы мёртвых зон, адаптивные круизы и прочее их используют) — и уже это создаёт проблемы в работе этих же устройств. И это при том, что радары работают очень маломощные и на малую дистанцию.

Собственно, обо всём этом в инете уже много понаписано и обсуждено. Лидирующие команды прямо заявляют, что лидары — временное решение, костыль. И самая востребованная — как раз израильская фирма, делающая упор именно на распознавание. Их решение стоит и в Тесле, и БМВ с Интелом к ним обратились, и другие — к ним или подобным.

Ответить#
0

«Если же не удаётся всё „разглядеть“, то автономный автомобиль должен, ровно, как и человек-водитель, снизить скорость. Это, хотя и звучит скучно — очень хорошее решение задачи.»

А «разглядеть» будет не удаваться, в основном, поздней осенью и ранней весной после каждой встречной фуры, я думаю. Причем до такой степени, что робот будет вынужден полностью остановится, после чего пассажиры должны будут «вооружиться» тряпками, выйти под дождь и протереть машине «глаза»...

Ответить#
+1

это уже анекдотично, честное слово... Мало того, что лидары и т.п. ровно так же страдают от загрязнений, мало и того, что в ИК-диапазоне грязь меньше мешает, и того, что на свете существуют дворники и омыватели струёй под давлением, так ведь в заслугу Вы ставите то, что в условиях, в которых ехать нельзя из-за отсутствия видимости — идиоты-люди продолжают нестись, множа аварии и жертвы.
У вас что, робот жену увёл?

Ответить#
+1

А человеку особой видимости не надо, протер стекло дворниками, да и едет себе. Даже сквозь грязное стекло сумеет отличить стоящего на обочине человека от чего-то другого. Робот сумеет? Почему человек может прочитать «капчу», что на многих сайтах применяется для защиты, а робот нет?..

Ответить#
0

Вы по регистратору за три копейки о системах вождения выводы не делайте, ладно?

Во-от, а теперь попробуем понять, что грязное стекло доставляет камере меньше хлопот, чем человеческому глазу. И для ИК тоже загрязнения менее критичны — длина волны больше вдвое. Добавлю, что, поскольку это не регик за лобовым стеклом, а отдельная камера — обеспечить её чистоту гораздо, гораздо проще, чем для лобового стекла.

Капчу, извиняюсь, боты очень даже настропалились читать, Вы просто отстали :-(
Именно потому на всех сколько-нибудь серьёзных сайтах — двухфакторная аутентификация, слайдинг и прочие изыски. Капча — дешёвый (часто бесплатный) вариант для сайтов, слепленных на коленке.

Напоследок (уж устал я банальности растолковывать): сейчас это направление только в начале развития, скорость развития просто поражает. И, даже если Вы сейчас и найдёте, чего «робот» распознавать не умеет — будьте покойны, через полгода-год будет.

Ответить#
0

Вот, разрешите в порядке ликбеза процитировать ссылка/ :
_________________
TD-Gammon обыграл всех людей ещё в конце восьмидесятых, но считалось, что это обусловлено специфичностью игры в нарды из-за наличия кубиков. Однако оказалось, что глубокое обучение помогает компьютерам выигрывать во множество других игр. Так, например, недавно произошло с уже упомянутыми играми Atari. Отличие эксперимента от нард или даже шахмат заключалось в том, что в консольной игре никто заранее не объяснял модели правила. Все что было известно компьютеру — это изображение, такое же, каким его бы видел человек, и набранные очки (это приходится задавать явно, иначе было бы непонятно, чем выиграть лучше, чем проиграть). Компьютер же мог в свою очередь совершать одно из доступных на джойстике действий — поворот самого джойстика и/или нажатие кнопки.

Около 200 попыток у машины ушло на то, чтобы “разобраться” в сути игры, ещё 400 — чтобы получить навык, и вот на 600-м забеге компьютер выигрывает.

_________________
Обратите внимание на два момента:
— это было уже 30 лет назад, с тех пор всё продвинулось просто революционно (можете прочитать статью целиком).
— программе даже правил игры не "объясняли"! А она научилась играть и выигрывать у всех людей. То есть не просто научилась играть, а вприглядку. Очень по-человечески, не правда ли?

Ответить#
0

Все же, думаю, игры есть игры. Они подчинены какой-то логике. А езда на автомобиле — «игра» с постоянно меняющимися условиями. Как программа будет к ним приспосабливаться, и сколько времени уйдет на обучение, чтобы «забить» в нее все мыслимые и немыслимые, но случающиеся ситуации? А про «очень по-человечески»... В начале двухтысячных случайно набрел на самообучающуюся программу для игры в «дурака». Все ее «обучение» свелось к тому, что она перестала мне давать козыри при раздаче и при доборе карт. Мухлеж — очень по-человечески! ))) У нас на работе стоит программа «Нарды». Как только начинает серьезно проигрывать — начинает раз за разом выкидывать себе куши. Не всегда, правда, но часто...

Ответить#
0

Извините, но безудержному полёту фантазии сильно способствует низкий уровень знаний по теме. Продолжайте считать, что «только человеку», только потом не удивляйтесь, когда ваше или знакомого рабочее место уйдёт к «роботу», который ещё и лучше будет выполнять эту незаменимую творческую работу.
Нарды, это, конечно, круто, их же школьник писал — но неплохо бы ознакомиться и с некоторыми малозначимыми случаями вроде АльфаГо. Если Вас вдруг действительно заинтересовала эта тема — могу время от времени подкидывать популярные изложения того, что происходит в этом направлении. Вот только тогда ни у меня, ни у Вас ни на что больше времени не останется — одному человеку даже не уследить за столбовым, главным на данный момент, направлением развития человечества.
Вот одна ссылка, навскидку: ссылка/ уже тяжело, да? Но обратите внимание хотя бы на вот это место:
...никто заранее не объяснял модели правила. Все что было известно компьютеру — это изображение, такое же, каким его бы видел человек, и набранные очки...

Ответить#
0

Меня действительно интересует эта тема, и я Вам, как программисту с большим стажем верю, но Вы мне все же растолкуйте, как дилетанту (я это и не скрываю!) в этом деле, как программа сможет адекватно реагировать на такую, скажем, ситуацию: вот ездил робомобиль по какой-то дороге, ездил, «привык»... И вдруг — раз! едет по привычному маршруту, а над дорогой склонилось сломанное ветром дерево. Или, скажем, дорожное полотно провалилось, а провал заполнила вроде бы маленькая лужа, а глубина ее — полметра? Как робот это воспримет? Или как в очередной раз с «Теслой», которую в режиме автопилота порывом ветра с дороги «сдуло»... Как робот среагирует на внезапное изменение обстановки, если в памяти у него этого нет? Про каждый чих платок ведь не наготовишь, согласитесь!

Ответить#
0

вот ездил робомобиль по какой-то дороге, ездил, «привык»... компьютер, в отличие от, привыкая (вырабатывая оптимальный вариант поведения) не начинает ездить «по понятиям», а продолжает обычный анализ ситуации. Включая перечисленные Вами ужасы.
Что касается глубины лужи — может быть множество решений, два простейших: а) не можешь определить — остановись/объедь безопасно. б) воспользуйся информацией от встроенной (и обновляемой) карты или ранее проехавшего автомобиля о профиле дороги в данном месте. Конечно, если в середине этой лужи дыра в ад — машина туда ухнет. Но следующая — уже нет.

Людей на дороге тоже сдувает, наблюдал такое не раз. Есть у нас на М29 такое место, «бугор у Бородыновки» — там ветра, сжатые горами, дуют действительно сильно на участке с полкилометра длиной. Когда зимой гололёд (нескольо лет уже не было, а раньше-то часто), участок иной раз проходился по-яхтенному, под углом градусов двадцать к направлению движения. Гребёшь себе потихоньку...
Местные-то знают, а кто на дальняк... каждый год в кювете автобус или фура отдыхает на боку. И никакие знаки и предупреждения не помогают. Кстати, подозреваю, что, если бы не система ESP (которая тоже, как ни крути — тоже часть «робота») — человека-водителя в этой ситуации заболтало бы куда убийственнее. А систему, учитывающую боковой снос ветром, какая есть в нынешних фв, Маск не поставил, ему и так эти теслы в убыток.
Да, так вот — такие места, совершенно очевидно, в карте будут — и будут учитываться. Даже теми, кто проезжает впервые. И никаких «проеду на авось». И никаких «этот ездить умеет, а тот нет» — накапливаемый опыт автоматически распространяется.

Учитывайте ещё, что обязательно будет обмен данными о дорожной обстановке в_данный_момент между машинами. Это очень мощная, с большими возможностями, опция. Вот хотя бы поговорите с водителями о Си-Би, как они друг друга предупреждают. Но это — бледная тень от возможностей обмена по подробности, по скорости, по полноте информации.

Ответить#
0