Это противоречит идее рациональности, скорости, эффективности и действенности, которую мы сделали из компьютеров, но реальность такова, что системы искусственного интеллекта (ИИ) обладают функцией, очень похожей на концепцию человеческого аналога: ingenuità. И поэтому они уязвимы для обмана и манипуляций.
Немного похоже на то, как это происходит среди людей, где мы часто становимся свидетелями мошенничества, совершаемого путем тонкого использования невежества или невиновности жертвы, так что это также происходит с ИИ в процессе автоматического обучения, более известного под термином Машинное обучение (ML): способность изучать выполнение типичных задач человеческого интеллекта, таких как классификация изображений или распознавание речи.
Чтобы решить эту проблему, так называемые Состязательное машинное обучение (AML), этот сектор, который изучает, как сделать этап автоматического обучения более безопасным, чтобы сделать систему более устойчивой в отношении попыток обмана.
Для непрофессионала, обучение с помощью машины включает набор методов, основанных на статистических подходах или методах математической оптимизации, которые позволяют распознавать закономерности и сходства между данными: например, в подходах Контролируемое обучениекомпьютерное обучение контролируется экспертом, который учит машину, какие решения принимать или какие действия делать при наличии определенного события; в тех из Обучение без учителявместо этого машине объясняется, как распознавать элементы общности или разнообразия в информации, но затем остается работать только с данными; или, наконец, в Усиление обучения их учат распознавать правильность принятых решений, получая положительные отзывы, что обеспечивает обучение с подкреплением.
Оснований выбора для кибератаки на искусственный интеллект в основном три. Прежде всего физическая область, представленная датчиками и исполнительными механизмами которые позволяют вести диалог с окружающей средой, те, которые для нас, людей, являются пятью чувствами, поскольку они могут быть повреждены, что приведет к сбоям в работе. Подумайте, например, о том, что саботаж микрофона мешает интеллектуальной системе прислушиваться к голосовой команде; или что, саботируя реле, интеллектуальная система промышленного управления не может выключить печь литейного цеха при достижении критической температуры. Кроме того, есть атаки, использующие слабые места механизмов цифрового представления данных, например, путем замены правильной информации загрязненными данными. И, наконец, нападения на алгоритмы обучения, чтобы внедрить в компьютеры - например, метод исследования, которым манипулируют для скрытых целей, или, с другой стороны, чтобы понять, как он учится: в конце концов, это именно то, что начинается со знания того, «как» машина себя инструктирует, он может бойкотировать их обучение или предсказывать их поведение.
Атака может происходить в соответствии с различными методами: от вредоносных методов обучения до неуловимых операций взаимодействия или скрытых процедур исследования.
Первая категория включает в себя все эти тактики отравление которыми прямо или косвенно загрязняются приобретенные знания или логика обучения. В этих случаях хакеры по необходимости должны иметь тайный доступ к искусственному интеллекту, чтобы фальсифицировать данные, хранящиеся в памяти, или изменить алгоритм обучения. Последствия этих атак могут быть очень серьезными и оказывать ощутимое влияние на физический мир, например, случаи злонамеренного обучения, недавно описанные учеными из Университета Кальяри в исследовании беспилотных автомобилей в умных городах: эти автомобили мог без водителя, не останавливался на перекрестке, если после нападения Манипуляции с этикетками данных, относящихся к распознаванию сигнала «стоп», интеллект был вынужден рассматривать понятие, противоречащее понятию остановки транспортного средства.
С другой стороны, в тонких методах исследования взаимодействие осуществляется с искусственным интеллектом, направленным на понимание логики когнитивной ассимиляции. Типичный пример -Атака оракула, где в обучающее программное обеспечение отправляется серия аргументированных вопросов, и на основе изучения схемы относительных ответов строится модель для прогнозирования будущего поведения. Тактика на основе градиента вместо этого они являются яркими примерами неуловимой техники взаимодействия, с помощью которой задействован интеллект - например, с визуальными сигналами, которые представляют возмущения, не обнаруживаемые человеческим восприятием, но достаточные для того, чтобы вызвать парадоксальные результаты в алгоритме обучения, которые предотвращают или мешают - а именно уклоняются - возможность категоризировать изображения. Другими словами, эти методы направлены на выявление наименьшего количества изменений, необходимых для создания образа, который затрудняет принятие решений системой.
Исследования уже предложили подходящие стратегии защиты. Например, чтобы противодействовать скрытому и злонамеренному обучению, были разработаны алгоритмы шифрования для разделов памяти, которые содержат изученные понятия или логику обучения; Для защиты от неуловимых взаимодействий были разработаны контрмеры, которые, как правило, снижают чувствительность к помехам - своего рода цифровой анестетик, который снижает восприимчивость к ложным артефактам, более известный в среде кибербезопасности под этим термином Градиентное маскирование - или примеры тревожных сигналов вводятся в обучающую базу данных, так что они распознаются как вредоносные и, следовательно, отбрасываются (так называемая техника Состязательная подготовка); и, наконец, чтобы защитить искусственный интеллект от тактики коварного исследования, его учат обнаруживать действия по мониторингу, тестированию и контролю противников в сети.
Короче говоря, исследования делают огромные успехи в том, чтобы сделать интеллектуальные системы более безопасными и устойчивыми, сохраняя при этом зависимость от человеческого контроля: последний является важной проблемой, особенно для тех искусственных интеллектов, которые оказывают критическое воздействие, таких как те, которые подчиняются материалам вооружения и т. Д. к предметам двойного назначения, используемым для разработки я Летальные автономные системы оружия (ЗАКОНЫ), так сказать, интеллектуальные системы оружия, использование и эффекты которых должны всегда и в любом случае оставаться в связи с четкими и определяемыми обязанностями человека, как государства, так и отдельных лиц.
Для получения дополнительной информации:
https://smartcities.ieee.org/newsletter/june-2021/explainable-machine-le...
https://gradientscience.org/intro_adversarial/
https://nvlpubs.nist.gov/nistpubs/ir/2019/NIST.IR.8269-draft.pdf
