Исследователи проверяют безопасность ИИ в беспилотных автомобилях и находят уязвимости

Искусственный интеллект — ключевая технология для беспилотных автомобилей. Он используется для принятия решений, зондирования, предиктивного моделирования и других задач. Но насколько уязвимы эти системы ИИ для атак?

Текущие исследования в Университете Буффало изучают этот вопрос, и результаты показывают, что злоумышленники могут вызвать сбой этих систем. Например, возможно, что транспортное средство можно сделать невидимым для радиолокационных систем на базе искусственного интеллекта, стратегически разместив на нём объекты, напечатанные на 3D-принтере, которые скроют его от обнаружения.

Работа, которая выполняется в контролируемой исследовательской среде, не означает, что существующие автономные транспортные средства небезопасны, говорят исследователи. Тем не менее, это может иметь последствия для автомобильной, технологической, страховой и других отраслей, а также для государственных регулирующих органов и политиков.

«Хотя сегодня это все ещё новинка, беспилотные автомобили готовы стать доминирующей формой транспорта в ближайшем будущем», — говорит Чуньмин Цяо, заслуженный профессор кафедры компьютерных наук и инженерии SUNY, который руководит работой. «Соответственно, нам необходимо обеспечить, чтобы технологические системы, приводящие в действие эти автомобили, особенно модели искусственного интеллекта, были защищены от враждебных действий. Это то, над чем мы усердно работаем в Университете Буффало».

Исследование описано в серии статей, датируемых 2021 годом, включая исследование, опубликованное в Proceedings of the 2021 ACM SIGSAC Conference on Computer and Communications Security (CCS) . Более свежие примеры включают исследование от мая в Proceedings of the 30th Annual International Conference on Mobile Computing and Networking (более известное как Mobicom), и ещё одно исследование на 33-м симпозиуме по безопасности USENIX в этом месяце, которое доступно на arXiv .

Эффективное, но уязвимое обнаружение миллиметровых волн

В течение последних трёх лет И Чжу и другие члены команды Цяо проводили испытания автономного транспортного средства в Северном кампусе UB.

Чжу, который в мае получил докторскую степень на кафедре компьютерных наук и инженерии UB, недавно занял должность преподавателя в Университете Уэйна. Специалист по кибербезопасности, он является основным автором вышеупомянутых статей, которые посвящены уязвимости лидаров, радаров и камер, а также систем, объединяющих эти датчики.

«В автономном вождении радар миллиметрового диапазона [mmWave] стал широко использоваться для обнаружения объектов, поскольку он более надежен и точен в условиях дождя, тумана и плохого освещения, чем многие камеры», — говорит Чжу. «Но радар можно взломать как цифровым способом, так и лично».

В одном из таких испытаний этой теории исследователи использовали 3D-принтеры и металлическую фольгу для изготовления объектов определенных геометрических форм, которые они назвали «плиточные маски». Поместив две плиточные маски на транспортное средство, они обнаружили, что они могут ввести в заблуждение модели ИИ при обнаружении радаров, тем самым заставив это транспортное средство исчезнуть с его радара.

Работа по маскам плиток была опубликована в Трудах конференции ACM SIGSAC 2023 по компьютерной и коммуникационной безопасности в ноябре 2023 года.

Мотивами атак могут быть мошенничество со страховкой, конкуренция в сфере AV.

Чжу отмечает, что хотя ИИ может обрабатывать большой объём информации, он также может запутаться и предоставить неверную информацию, если ему дать особые инструкции, с которыми он не был обучен справляться.

«Предположим, у нас есть фотография кошки, и ИИ может правильно определить, что это кошка. Но если мы немного изменим несколько пикселей на изображении, то ИИ может подумать, что это изображение собаки», — говорит Чжу. «Это состязательный пример ИИ. В последние годы исследователи нашли или разработали множество состязательных примеров для различных моделей ИИ. Поэтому мы спросили себя: возможно ли разработать примеры для моделей ИИ в автономных транспортных средствах ?»

Исследователи отметили, что потенциальные злоумышленники могут тайно прикрепить враждебный объект к транспортному средству до того, как водитель начнёт поездку, временно припаркуется или остановится на светофоре. Они даже могут поместить объект в то, что носит пешеход, например, в рюкзак, эффективно стирая обнаружение этого пешехода, говорит Чжу.

Возможными мотивами таких атак являются: совершение аварий с целью мошенничества со страховкой, конкуренция между компаниями , занимающимися беспилотными автомобилями , или личное желание причинить вред водителю или пассажирам другого транспортного средства.

Важно отметить, говорят исследователи, что моделируемые атаки предполагают, что злоумышленник имеет полное знание системы обнаружения объектов радара автомобиля жертвы. Хотя получение этой информации возможно, это также маловероятно среди представителей общественности.

Безопасность отстает от других технологий

По словам Чжу, большинство технологий безопасности беспилотных автомобилей сосредоточены на внутренней части транспортного средства, в то время как лишь немногие исследования рассматривают внешние угрозы.

«Безопасность несколько отстает от других технологий», — говорит он.

Хотя исследователи искали способы остановить подобные атаки, однозначного решения пока не найдено.

«Я думаю, что предстоит долгий путь к созданию безошибочной защиты», — говорит Чжу. «В будущем мы хотели бы исследовать безопасность не только радаров, но и других датчиков, таких как камера и планирование движения. И мы также надеемся разработать некоторые защитные решения для смягчения этих атак».

Ведёт расследования о коррупции в любых эшелонах власти