Эксперты нашли способ «взламывать» память ИИ-помощников

Современные ИИ-помощники всё лучше запоминают владельцев, пишут эксперты. Так, стиль общения, привычки, списки дел, сроки проектов и т. д. — всё это хранится у них в памяти. Да, это удобно. Но это ещё и опасно, выяснили учёные Университета штата Нью-Мексико.

Они разработали атаку под названием GhostWriter. Она не взламывает сам ИИ и не крадёт данные напрямую. Вместо этого она незаметно подменяет информацию в его долговременной памяти. Например, мошенники могут «внушить» ИИ, что ваш банковский счёт изменился, или подменить контакты, или добавить несуществующие задачи. А когда вы позже попросите помощника о чём-то обычном, он воспользуется этими ложными данными. Например, перешлёт важное письмо злоумышленнику.

В экспериментах атака срабатывала в 98% случаев при внедрении ложной информации, а «вредные сведения» активировались примерно в 60% последующих диалогов.

Исследователи зато предложили в защиту систему AM-Sentry, которая проверяет поступающую в память информацию и управляет ею.