KINAITICS: европейский проект по повышению кибербезопасности систем управления, оснащенных искусственным интеллектом

(Ди Алессандро и Франческо Руголо)
11/12/24

Если мы внимательно понаблюдаем за некоторыми явлениями, связанными с использованием цифровых технологий, мы можем заметить, что воздействие систем ИТ (информационные технологии) и ОТ (операционные технологии) в киберпространстве постоянно растет и что использование искусственного интеллекта, взаимосвязанного с физическими системами, все активнее. играет фундаментальную роль в процессах управления теми системами, которые используют датчики и исполнительные механизмы.
60% компаний, использующих искусственный интеллект в этих сферах, признают, что связанные с ним риски, безусловно, важны и являются одними из наиболее критичных.

Однако искусственный интеллект открывает нам путь не только к риску новых типов атак, но и к новым возможностям защиты, а это означает, что парадигмы оценка риска в настоящее время необходимо пересмотреть эти критически важные системы.

Именно здесь вступает в игру проект, финансируемый Европейским Союзом (программа Европейской Комиссии Horizon 2020) с бюджетом около четырех миллионов евро: проект КИНАИТИКА.

Проект КИНАИТИКА - Киберкинетические атаки с использованием искусственного интеллекта - официально родился в октябре 2022 года благодаря сотрудничеству семи партнеров из пяти разных европейских стран, среди которых трое — итальянские (Pluribus One, Fondazione Toscana G.Monasterio и Engineering), а остальные четыре — европейские: Комиссариат по атомной энергии и альтернативным источникам энергии (СЕА), Центр исследований и технологий Эллады (ЦЕРТ), Викомтех и Католический университет Левена.

Целью международного проекта является изучение новых возможностей атак, открывающихся благодаря внедрению систем управления на основе искусственного интеллекта, а также изучение новых подходов к защите для повышения надежности и устойчивости и защиты от атак.

Именно в этом секторе ИИ играет важную роль, способствуя лучшему пониманию природы возникающих рисков и принятию инновационных подходов к безопасности.

Это достигается путем создания интегрированной структуры, оценки потенциальных рисков и их развития, а также изучения правовых, этических и связанных с соблюдением требований законов и правил в области ИИ, таких как GDPR, директива NIS2 и Закон об ИИ.

Один из ключевых аспектов касается прозрачность. Алгоритмы ИИ должны быть понятными, чтобы избежать непрозрачных или непонятных решений. Это явление известно как черный ящик.

В критических ситуациях, таких как автоматизированная медицинская сортировка или контроль промышленных процессов, непрозрачные решения могут вызвать недоверие или, что еще хуже, поставить под угрозу человеческие жизни.

Кроме того, смещение алгоритмический (т.е. влияние неявных предвзятостей или искажений в данных, которые приводят к систематически предвзятым решениям) представляет собой реальный риск. Если данные обучения не репрезентативны или содержат предвзятость, решения системы могут быть дискриминационными, несправедливыми или неуместными. Например, система безопасности на основе искусственного интеллекта может отдавать предпочтение или наказывать определенные категории людей на основе несущественных характеристик, таких как этническая принадлежность или пол.

Новая интегрированная структура

Система защиты, разработанная в KINAITICS, тесно связана с вашей кибер диапазон, инструмент, созданный специально для обучения и обучения персонала посредством кибер-упражнений, а также для помощи исследователям в моделировании реальных атак. Реализуя стратегии защиты с помощью инструментов искусственного интеллекта и координируя работу человека, кибер-диапазон фокусируется как на цифровых, так и на физических уязвимостях и выступает в качестве испытательного полигона для атак различного типа, помогая протестировать возможности оценки безопасности. в режиме реального времени.

Структура защиты, разделенная на четыре модуля, включает в себя:

- тип мониторинга поведенческий (поведение) отдельных лиц, промышленных систем управления (ICS) и программного обеспечения;

- система поддержки принятия решений, которая помогает предлагать или применять контрмеры для смягчения последствий киберинцидента;

- форма социальная инженерия основанный на Машинное обучение (МЛ) е Обработка естественного языка (НЛП) и, наконец, использование гибридных защитных механизмов ИИ-пользователей.

Использование машинного обучения и искусственного интеллекта приносит существенный выигрыш в производительности, но также несет в себе и потенциальные новые риски. Киберпреступники могут атаковать системы искусственного интеллекта различными методами, например отравление данных (т. е. отравление данных) во время обучение, что приведет к тому, что ИИ будет принимать неверные решения, на самом деле растущая сложность ИИ несет с собой новые уязвимости.

Главным из них является риск атак на обучающие данные, которые могут поставить под угрозу способность ИИ принимать надежные решения.

Защита этих систем — непростая задача, требующая глубокого понимания методов, используемых злоумышленниками. Использование существующих фреймворков, подобных тем, которые есть в проекте. MITRE ATT & CK e ATLAS (Состязательный ландшафт угроз для систем искусственного интеллекта) помогает вам лучше понимать, выявлять и управлять рисками, связанными с искусственным интеллектом, предлагая постоянно обновляемые решения.

Именно обращаясь к ATLAS, можно представить реалистичные варианты использования... Давайте представим, например, промышленное предприятие, где неисправные датчики могут стать причиной несчастных случаев. Использование структуры KINAITICS может помочь нам прогнозировать аномалии, предлагая вмешательства до возникновения проблем. это случай использования Цифровой Твин (цифровой двойник) системы, который все чаще используется для моделирования и прогнозирования ее идеального поведения и проверки отсутствия отклонений, которые могут поставить под угрозу функциональность и физическую безопасность системы. Использование Цифровые близнецы это выгодно, но в то же время расширяет возможности атаки: подумайте, что могло бы произойти, если бы киберпреступнику удалось изменить поведение или модель цифрового двойника, что привело бы операторов к теоретически фатальным ошибкам.

Еще одной постоянно растущей угрозой является угроза Плохой Бots, используемый для различных целей, но прежде всего для автоматического сбора информации. Такие боты становятся все более изощренными и согласно последним Отчет Импервы теперь они интенсивно используют модели искусственного интеллекта, которые позволяют им имитировать человеческое поведение, чтобы избежать обнаружения. Достаточно сказать, что в 2023 г. 49,6% всего интернет-трафика кажется, произведено Плохие боты e Хорошие боты.

Такие инструменты, как KINAITICS, могут быть полезны для улучшения возможностей обнаружения. Плохие боты позволяя отличить их от «хороших ботов» и людей благодаря возможностям машинного обучения и искусственного интеллекта, которыми он оснащен.

В конечном счете, растущая интеграция между физическими системами и искусственным интеллектом открывает новые интересные перспективы, но также и новые уязвимости. Атаки, подобные отравление данных или методы инверсия модели, которые позволяют восстанавливать конфиденциальную информацию на основе моделей ИИ, могут угрожать безопасности процессов. Кроме того, соединение с датчиками и исполнительными механизмами подвергает системы кинетическим рискам, когда цифровая атака может иметь физические последствия, такие как повреждение оборудования или саботаж критической инфраструктуры.

Подход проекта KINAITICS, основанный на реальном моделировании и адаптивных структурах, представляет собой шаг вперед в смягчении этих возникающих рисков.

Такие проекты, как KINAITICS, не только повышают безопасность системы, но и закладывают основу для будущих стандартов, которые будут определять ответственное и безопасное использование искусственного интеллекта в эпоху глобальной связи.