Три исследователя из Нью-Йоркского университета (NYU) опубликовали на этой неделе статью, в которой описывается метод, который злоумышленник может использовать для отравления алгоритмов искусственного интеллекта (ИИ), основанных на глубоком обучении.
Исследователи основывали свою атаку на распространенной в сообществе ИИ практике, когда исследовательские группы и компании в равной степени передают на аутсорсинг операции по обучению ИИ с использованием платформ машинного обучения как услуги (MLaaS) по запросу.
Например, Google предоставляет исследователям доступ к Google Cloud Machine Learning Engine, который исследовательские группы могут использовать для обучения систем искусственного интеллекта с помощью простого API, используя собственные наборы данных или наборы данных, предоставленные Google (изображения, видео, отсканированный текст и т. Д. ). Microsoft предоставляет аналогичные услуги через Azure Batch AI Training, а Amazon – через свою службу EC2.
В обучающих моделях ИИ можно скрыть вредоносные триггеры
Исследовательская группа Нью-Йоркского университета утверждает, что алгоритмы глубокого обучения достаточно обширны и сложны, чтобы скрыть небольшие уравнения, которые вызывают поведение, подобное бэкдору.
Например, злоумышленники могут встроить определенные триггеры в базовый ИИ распознавания изображений, который интерпретирует действия или знаки нежелательным образом.
В демонстрационной демонстрации своей работы исследователи научили ИИ распознавания изображений неверно интерпретировать дорожный знак «Стоп» как индикатор ограничения скорости, если на знаке «Стоп» были помещены такие объекты, как наклейка, наклейка с бомбой или наклейка с цветами. поверхность.
Исследователи также говорят, что переподготовка ИИ не устраняет бэкдор путем подачи ему большего количества выборочных данных. Это только снижает его точность. Тем не менее, если у злоумышленников есть способ отравить тренировочные наборы, атака останется или даже может повысить эффективность.
Вставить бэкдоры AI не так сложно, как вы думаете … вроде как
Сложность в выполнении таких атак – это создание вредоносного триггера, а не фактическое внедрение бэкдора.
Команда Нью-Йоркского университета утверждает, что внедрение вредоносного кода в модели обучения искусственного интеллекта очень правдоподобно, поскольку злоумышленник может просто захватить учетную запись облачной службы, используя простые методы социальной инженерии, такие как фишинг, а затем представить свою модель с бэкдором в огромном стеке уравнений. обучающих моделей ИИ.
Кроме того, злоумышленники могут также открыть исходный код своей модели искусственного интеллекта с бэкдором в надежде, что другие будут использовать ее повторно, не обнаруживая вредоносных триггеров.
На практике такие атаки могут использоваться для того, чтобы системы распознавания лиц игнорировали грабителей в определенных масках или заставляли автомобили с искусственным интеллектом останавливаться посреди шоссе и вызывать фатальные аварии. Хотя таких демонстраций не было, теоретически они возможны.
Новое исследование искусственного интеллекта создает проблемы для беспилотных автомобилей
В электронном письме для Bleeping Computer Илья Колоченко, генеральный директор компании по кибербезопасности High-Tech Bridge, подчеркивает угрозу бэкдоров искусственного интеллекта в связи с недавним ростом внедрения технологий беспилотных автомобилей.
Буквально сегодня сообщалось, что британская лаборатория начнет испытания беспилотных грузовиков на базе искусственного интеллекта на британских дорогах в надежде сократить затраты на рабочую силу.
Г-н Колоченко обеспокоен тем, что исследования Нью-Йоркского университета, наряду со старыми методами взлома автомобилей, не сулит ничего хорошего для будущего беспилотных автомобилей.
«Недавние истории о манипулировании беспилотными автомобилями с помощью поддельных дорожных знаков или лазерных указателей – хорошие примеры», – говорит он. «Даже если мы предположим, что разработчикам программного обеспечения удастся предотвратить вторжение в системы управления автомобилем удаленно (через уязвимости и недостатки программного обеспечения), у нас все равно будет много не кибер-рисков».
Такими системами могут быть системы искусственного интеллекта, используемые для обучения навигационных систем грузовика.
«Такие системы обычно предоставляются и обслуживаются третьими сторонами, которые часто недооценивают киберриски», – добавил эксперт. «Как только такая система будет взломана, все [грузовики] могут быть отправлены в другое место, где их товары могут быть украдены. Поэтому безопасность третьих лиц также должна быть принята во внимание».
Опасения Колоченко дополняют опасения, высказанные исследовательской группой Нью-Йоркского университета, которая предупреждает о необходимости улучшения практики аудита для моделей обучения ИИ. Тот факт, что вы тренируете модель ИИ, не означает, что модель ИИ умна.
«Мы надеемся, что наша работа может дать сильную мотивацию для применения уроков, извлеченных из обеспечения безопасности цепочки поставок программного обеспечения, для
обеспечения безопасности машинного обучения», – пишут исследователи Нью-Йоркского университета в своей статье.
«В частности, мы рекомендуем, чтобы предварительно обученные модели были получены из надежных источников по каналам, которые обеспечивают надежные гарантии целостности при передаче, и что репозитории требуют использования цифровых подписей для [обучения] моделей».
Полный текст исследования бэкдоров ИИ доступен в Интернете в исследовательском документе, озаглавленном « Плохие сети: выявление уязвимостей в цепочке поставок модели машинного обучения».
По материалам: https://socamp.ru/