Новости

Sep 25, 2023

Хакеры в белой шляпе из Университета штата Айдахо защищают будущие системы искусственного интеллекта ядерных реакторов от кибератак

5 июня 2023 г. Помощь в обеспечении безопасности автоматизированных систем, которые будут управлять

5 июня 2023 г.

Помощь в обеспечении безопасности автоматизированных систем, которые будут управлять ядерными реакторами будущего, ложится на плечи группы хакеров в белых шляпах из Университета штата Айдахо.

В последнее время Лесли Керби, доцент кафедры информатики, и исследователи, работающие в Лаборатории вычислительной инженерии и обработки данных Керби, работают над устранением цифровых дыр в тестируемых системах искусственного интеллекта на предмет их способности автономно запускать современные и небольшие модульные реакторы.

«Данные — это ключ к любой системе искусственного интеллекта, независимо от того, для чего они используются, потому что эти системы работают, изучая закономерности и тенденции в данных», — объясняет Педро «Пепо» Мена, исследователь с докторской степенью, работающий в лаборатории Керби. «То, как они учатся, возможно, является основной причиной, по которой системы искусственного интеллекта могут быть уязвимы для кибератак. Манипулируя данными, используемыми системой, злоумышленник может повлиять на выходные данные системы и, как следствие, повлиять на решения, которые принимает система. поскольку мы пытаемся защитить наши личные данные, ученые, работающие с данными, должны принять меры для защиты информации, которую используют эти системы, чтобы избежать ее компрометации».

Работая в своей лаборатории в Айдахо-Фолс, Керби и она подталкивают ИИ с трех сторон: атаки на основе логического вывода, состязательное перепрограммирование и троянские атаки. Начиная с атаки вывода, они перепроектируют систему и получают представление о том, с чем они работают. Оттуда они могут испортить данные, заставив систему «думать» по-другому и выполнять действия для событий, которые не происходят в действительности. Последний способ проверки системы — троянская атака. Команда заменит систему на версию, которая выглядит и ведет себя в основном как правильная версия, но имеет несколько изменений в коде, которые приводят к катастрофическим последствиям.

«Системы искусственного интеллекта внедряются во многих областях, часто без полного понимания рисков безопасности, которые они могут нести», — сказал Керби. «Многие системы искусственного интеллекта представляют собой систему черного ящика, что означает, что они выдают выходные данные, но не раскрывают, как они работают. Вы можете обманом заставить эти системы выдавать неправильные выходные данные, внося небольшие изменения в данные, которые использует система».

«Когда я пришла в ISU, я понятия не имела, что меня ждет», - сказала Калли Макларен, выпускница из Айдахо-Фолс, штат Айдахо. «Я всегда знал, что ИИ — очень интересная и развивающаяся область, но я никогда по-настоящему не задумывался о потенциальных рисках для ИИ и не думал о проведении исследований автономных ядерных реакторов до этого проекта. Этот проект был очень поучительным для достижений в области ИИ. реальный мир, и интересно видеть, как небольшие изменения в данных могут привести к большим изменениям в системах искусственного интеллекта. Приятно быть частью одной из самых быстрорастущих областей, и мне нравилось быть частью этой исследовательской группы. "

Команда из штата Айдахо также сотрудничает с исследователями из Национальной лаборатории Айдахо и Технологического института Джорджии. Исследование в штате Айдахо финансируется почти на 250 000 долларов США от Национальной лаборатории Айдахо и Управления ядерной энергии Министерства энергетики США.

«Когда мы завершим этот проект, наша команда сможет продемонстрировать риски безопасности, с которыми сталкиваются эти системы, и предоставить некоторые передовые методы, которые помогут развернуть более безопасные системы искусственного интеллекта, особенно в области ядерной техники», — сказал Керби. «На личном уровне студенты, работающие над этим проектом, приобретут ценные навыки и наладят связи с лидерами отрасли, что положительно повлияет на их карьеру».

«Когда я пришел в ISU, я не знал, что хочу изучать, но я знал, что хочу заниматься чем-то в области STEM», — сказал Эрик Хилл, старший специалист по машиностроению и информатике из Айдахо-Фолс. . «В качестве своей специальности я выбрал машиностроение, но я также прошёл несколько других занятий, которые вызвали у меня интерес, в том числе несколько занятий по информатике у доктора Керби. Так я попал в эту исследовательскую группу, и работа над этим проектом оказалась для меня отличным опытом. Это возможность узнать больше о компьютерных науках и искусственном интеллекте. Это укрепило мой интерес к продолжению исследований такого типа, и для меня большая честь и благодарность иметь возможность работать над этим проектом».