ИИ может стать инструментом для кибератак через обычные картинки

Искусственный интеллект может стать инструментом для хакеров, которые используют вредоносный код, скрытый в онлайн-изображениях. Новое исследование, проведённое учёными Оксфордского университета, показало, что ИИ-агенты, способные выполнять задачи на компьютере, уязвимы для таких атак.

По информации, опубликованной в препринте на сервере arXiv.org, исследователи выяснили, что изображения — обои для рабочего стола, реклама, PDF-файлы или посты в соцсетях — могут содержать сообщения, невидимые для человеческого глаза,     но способные управлять ИИ-агентами. По словам соавтора исследования Ярина Гала, изменённой фотографии Тейлор Свифт в Твиттере может быть достаточно, чтобы запустить вредоносный агент на компьютере. Затем он сможет, например, ретвитнуть это изображение и отправить все сохранённые пароли хакерам.

ИИ-агент отличается от чат-бота, такого как ChatGPT, тем, что не только даёт информацию, но и выполняет действия — открывает вкладки, заполняет формы и нажимает кнопки. Если такого агента взломают, он может поделиться личными данными или даже уничтожить их.

Для человеческого глаза изображение выглядит совершенно обычным. Однако некоторые пиксели изменены таким образом, чтобы соответствовать тому, как большая языковая модель (система ИИ, управляющая агентом) обрабатывает визуальные данные. Как сообщает Scientific American, ИИ-агенты не видят экран напрямую, а многократно делают его снимки, анализируют пиксели и преобразуют их в узнаваемые формы, такие как файлы, папки, строки меню. В этот момент агент может распознать вредоносную команду, скрытую в изображении на экране, например, на обоях рабочего стола.

Согласно данным Лукаса Айхбергера, ведущего автора исследования, именно поэтому наиболее уязвимыми являются агенты, созданные с использованием систем ИИ с открытым исходным кодом, так как любой может получить доступ к базовому коду и использовать его в своих целях. Исследователи Оксфордского университета продемонстрировали, как можно легко манипулировать изображениями, чтобы передавать ложные команды. Для этого достаточно внести незначительные корректировки в пиксели, чтобы компьютер «прочитал» скрытое сообщение. 

Пока не зафиксировано ни одного случая такой атаки за пределами экспериментальных исследований. Если вы не используете ИИ-агенты, подобная угроза для вашего компьютера отсутствует. Тем не менее, как сообщает соавтор исследования Филип Торр, данная работа призвана предупредить пользователей и разработчиков о возможных уязвимостях.

По словам Ярина Гала, ИИ-агенты станут обычным явлением в течение следующих двух лет. Он обеспокоен, что «люди спешат внедрить технологию, прежде чем мы узнаем, насколько она безопасна». Учёные надеются, что их исследование поможет разработчикам подготовить защитные механизмы, чтобы в будущем ИИ-агенты могли отказываться от выполнения команд, исходящих с экрана.

Источник: Scientific American

#ИИ #Кибербезопасность #ОксфордскийУниверситет #ИИ-агенты #Уязвимость