Англо-русский толковый словарь по искусственному интеллекту и робототехнике

adversarial attack – состязательная атака, соревновательная атака # при изучении эффективности и проблем безопасности и надёжности (робастности) систем ИИ и машинного обучения (применяемых, в частности, при распознавании лиц) исследователи используют состязательные атаки, суть которых в том, что в исходную картинку (source image, например лицо человека) вносятся небольшие целенаправленные изменения, невидимые человеческому глазу (то есть почти не меняющие показатель структурного подобия, сходства SSIM

), с созданием состязательных опорных точек (adversarial landmark locations), но вынуждающие систему машинного обучения (свёрточную нейронную сеть, convolutional neural network, CNN, называемую также классификатором, classifier

) распознавать совершенно другое целевое, или таргет-изображение (target image, adversarial image). Учёные уже смоделировали алгоритмы, которые сбивают (обманывают) зрение беспилотных автомобилей, роботов, мультикоптеров и любых других роботизированных систем, пытающихся ориентироваться в окружающем пространстве. Различают состязательные атаки с использованием “белого ящика” (white box attacks), когда атакующий имеет доступ к параметрам модели (системы распознавания), или с использованием “чёрного ящика” (black box attacks), когда атакующий не имеет такого доступа, а модели вообще может не быть – и ему приходится создавать состязательные изображения с надеждой, что они попадут в целевую модель; нетаргетированные, нецеленаправленные атаки (non-targeted attacks) рассчитаны на то, что модель просто не сможет классифицировать состязательное изображение, а таргетированные, целенаправленные (targeted attack

) – на то, что представленное изображение будет отнесено к какому-то конкретному классу, отличающемуся от истинного класса этого изображения. Большинство успешных атак бывает с применением градиентных методов, когда атакующий модифицирует исходное изображение, внося изменения в направлении градиента функции потерь (loss function) изображения. Два основных варианта выполнения подобных атак – это разовая атака (one-shot attack), когда атакующий делает один шаг, одно изменение в направлении градиента, и итеративная атака (iterative attack), когда делается не один, а несколько шагов. Примеры – Fast gradient sign method (FGSM), вычисление (формирование) состязательного изображения путём внесения пиксельных изменений в направлении градиента; делается за один шаг, то есть очень эффективно в отношении затрат машинного времени; Targeted fast gradient sign method (T-FGSM) – таргетированный вариант FGSM, этот метод аналогичен FGSM, но изменения вносятся в направлении отрицательного градиента; Iterative fast gradient sign method (I-FGSM) – итеративный вариант FGSM. В состязательных атаках применяются также такие методы, как Fast Gradient Value Method (FGVM), Genetic differential evolution algorithm и др. Аналогичные проблемам распознавания лиц проблемы характерны и для систем распознавания речи, в частности для голосовых помощников (которые смогут, например, принимать и выполнять ультразвуковые команды, неслышные человеку) (см. также adversarial evasion attack, adversarial poisoning attack, artificial intelligence, face recognition, machine learning, robustness, speech recognition, voice assistant

).

adversarial evasion attack – состязательная атака обходом, обманом средств защиты системы # атака обманом средств защиты системы (evasion attack) – один из наиболее распространённых видов атак, рассчитанный на то, чтобы избежать обнаружения и предотвращения её развития. В частности, спамеры и хакеры часто пытаются во избежание обнаружения своих атак так запутывать контент спамовских писем электронной почты и вредоносного кода соответственно, чтобы средства защиты во время проверки не распознали эти вредоносные объекты и восприняли их как легитимные. В качестве примера такого спама можно привести письмо с присоединённым к нему изображением, в которое встраивается собственно вредоносный спам, не обнаруживаемый при текстовом анализе антиспамовскими фильтрами. Ещё один пример подобного обмана – спуфинг-атаки на системы биометрической верификации. В состязательном варианте подобной атаки на системы машинного обучения (МО) используются состязательные, сознательно видоизменённые, модифицированные образцы обучающих данных (adversarial sample), чтобы попытаться обмануть систему, направить её по ложному пути – таким образом проверяется робастность алгоритмов и систем распознавания (см. также adversarial attack, adversarial machine learning, robustness, training data).