Доступность инструментов для создания дипфейков привела к резкому росту числа дезинформационных атак, направленных против предприятий. Они способны нанести значительный ущерб любой организации. По оценкам Gartner, средства для защиты от дезинформации пытаются создавать менее 5% организаций, однако ожидается, что, уже через три года «антифейковая» система появится в каждой второй компании. Одним из таких инструментов, появившихся недавно на российском рынке, стал aIDeepFake. Об истории создания и перспективах платформы для обнаружения дипфейков рассказывает Екатерина Корнюшина, генеральный директор «Эй Ай Дипфейк» и номинант на премию Data Award.

- Немного об истории проекта aIDeepFake. Как он родился?

В 2023 году я принимала участие в заседаниях Совета Федерации РФ по вопросам разработки законопроекта в области регулирования технологии искусственного интеллекта. Именно тогда, понимая с какими вызовами мы можем столкнуться с развитием ИИ, родилась идея разработать систему противодействия мошенничеству и выявления фальсифицированного контента, созданного при помощи ИИ.

Дипфейки открывают новые возможности для творчества, но они также несут существенные этические и иные риски из-за их потенциального неправомерного использования. Например, поддельное видео, в котором генеральный директор делает ложные заявления или раскрывает секретную информацию, может серьезно повлиять на котировки акций компании и доверие заинтересованных сторон. Сектор финансовых услуг в значительной степени зависит от платформ проверки голоса, которые используются для всего – от аутентификации до транзакций и отправки электронных переводов. Теперь, когда любой человек может реально клонировать настоящий человеческий голос, используя всего 15 секунд имеющейся аудиозаписи, эти платформы стали уязвимы.

- В чем сложность выявления дипфейков, где проблема?

Современные технологии генерации дипфейков используют сложные алгоритмы машинного обучения, такие как генеративно-состязательные сети (GAN). Эти алгоритмы могут создавать высококачественные и реалистичные изображения и видео, что затрудняет их идентификацию. Существует множество способов создания дипфейков, включая изменение выражений лиц, синхронизацию движений и изменение звука. Это многообразие методов делает разработку универсальных инструментов для их обнаружения более сложной задачей.

Как только появляются новые методы обнаружения дипфейков, технологии по их созданию также продолжают развиваться. Это создает постоянную гонку между создателями дипфейков и исследователями в области их обнаружения. Для обнаружения дипфейков может потребоваться анализ не только визуальных, но и аудиоданных, а также контекста, в котором они были созданы. Это требует сочетания различных технологий и подходов.

- С чем, например, приходится иметь дело?

Атака типа Liveness, когда злоумышленник использует видео или фото другого человека, чтобы обмануть систему распознавания, известна бизнесу, и есть инструменты для ее выявления и предотвращения. Но гораздо опаснее атака на биометрию, при которой злоумышленник пытается атаковать момент захвата изображения лица с помощью заранее подготовленных фейков. При этом происходит подмена исходного видеопотока или изображения через соединение и наложение существующих изображений и видео на исходные в момент передачи или загрузки данных. Могут применяться такие действия, как Face Reenactment – перенос выражения лица, Face Synthesis – генерация лиц, Face Swap – перенос изображения лица, Lip sync – синхронизация движения губ и звукового ряда.

- Какой командой реализован проект? Сколько времени потребовалось?

Команда специалистов из 20 человек работала над созданием решения на базе нейронных сетей и алгоритмов глубокого обучения для выявления фальсифицированного контента. Срок реализации проекта от идеи до MVP занял около 18 месяцев.

- На каких платформах и инструментах построено решение?

Мы разработали собственную мультимодальную архитектуру нейросети с несколькими трансформерами, которая может на вход принимать несколько модальностей – видео и аудио. В качестве языка использован Python, в качестве фреймворков – PyTorch, TensorFlow, Transformers. Для обучения и инференса мультимодальных моделей, создания датасетов и генерации дипфейков применялись графические карты Nvidia A100 и Nvidia RTX 4090.

- Откуда брали данные для обучения?

Командой были собраны свои высококачественные датасеты на базе топ-10 самых передовых генераторов видео- и аудиодипфейков, а также использованы все общедоступные датасеты для обучения нейросетей. Обучение проводилось на высококачественных наборах данных.

- Каковы показатели разработанного решения?

Точность работы детектора aIDeepFake от 92% до 100%. Площадь под кривой (ROC-AUC) 0,983 для видео и 0,996 для аудио, что сравнимо с лучшими мировыми алгоритмами распознавания дипфейков.

- Что в системе удалось лучше всего, чем можно гордиться?

Наша технология опережает другие существующие решения. Это достигается за счет нескольких факторов. Во-первых, сочетание методов компьютерного зрения, анализа звука и машинного обучения для всестороннего обнаружения дипфейков (мультимодальный подход). Во-вторых, нами был разработан модуль, который может в режиме реального времени отслеживать подмену видеопотока на дипфейк.

Наконец, у нас есть модуль «Обоснованные суждения». На основе выводов системы формируются обоснования с описанием причин, по которым контент был признан поддельным.

- Каков «портрет типичного заказчика»? Какие задачи перед вами ставятся?

Мы видим несколько целевых рынков и категорий клиентов, и задачи у них различны.

В корпоративном секторе главными заинтересованными организациями, конечно, являются банки. Их интересует защита бренда и репутации от поддельного контента. Реализуются проекты по борьбе с мошенничеством, проводится улучшение процесса "знай своего клиента" (Know Your Customer), аутентификации и проверки платформ телефонии.

Вторая крупная группа клиентов – государственные органы. Для них важно обеспечение достоверности информации в государственном управлении и политике. Отдельно выделим борьбу с политической дезинформацией.

Третье направление – медиа-индустрия. Здесь критически важно поддержание доверия аудитории к публикуемому контенту и формирование доверия к цифровому миру в целом. Очень актуальна поверка контента на этапе модерации.

- Приведите примеры реальных дипфейковых атак, от которых страдали банки.

Например, в феврале 2024 года в Гонконге сотрудник крупной международной компании перевел мошенникам более 25 млн долл. после видеозвонка с поддельным «финансовым директором». В ОАЭ менеджер одного из филиалов банка получил звонок от якобы владельца крупной компании. При помощи подделанного голоса мошенники убедили сотрудника банка, что предприятие находится в процессе заключения крупной сделки, обманным путем заставили перевести более 35 млн долл. на поддельные счета.

- Где уже внедрена система?

3 декабря 2024 года состоялся релиз MVP. На данный момент проект на этапе переговоров о проведении пилотных тестирований с крупными банками в России и на рынке стран СНГ (Белоруссия). В нашем решении заинтересованы более 10 компаний.

- Решение работает «из коробки», или требуется доработка под специфику заказчика?

Согласно требованиям информационной безопасности, обученная нейросеть разворачивается в закрытом контуре заказчика на серверах и по внутреннему API подключается к системам. Доработки и настройки под специфику заказчика не требуется.

- Каких результатов в реальности достигают заказчики?

Детекторы дипфейков могут помочь в выявлении подделанных видеозаписей и изображений, используемых мошенниками для совершения преступлений, таких как кража личных данных.

Если говорить о финансовой отрасли, то с учетом роста онлайн-услуг банки все чаще используют биометрическую идентификацию. Детекторы дипфейков могут значительно повысить безопасность таких процессов, предотвращая использование подделанных видеозаписей для доступа к счетам. Использование технологий для проверки идентификации клиентов может помочь банкам соответствовать требованиям регуляторов, касающимся противодействия отмыванию денег (AML) и финансированию терроризма (CFT). Кроме того, внедрение технологий детекции дипфейков может быть сопутствующим обучающим инструментом для сотрудников, что повысит их осведомленность о современных угрозах и методах защиты. Таким образом, внедрение детекторов дипфейков в банковскую практику может значительно улучшить общую безопасность и доверие к финансовым услугам, а также повысить эффективность работы банка.

- Как можно подсчитать хотя бы приблизительный финансовый эффект от внедрения системы?

В ходе исследования, проведенного Regula совместно с Sapio Research в начале 2023 года, средние ежегодные убытки каждого банка из-за дипфейк-атак и виртуальных камер оценивались в полмиллиона долларов. С тех пор проблема, безусловно, стала гораздо более острой. Более 30% банковских организаций подвержены дипфейк-атакам и виртуальным камерам, в том числе атакам в видеозвонках. Невозможно недооценить важность внедрения систем детекции дипфейк-контента.

- В каком направлении будет развиваться решение?

В перспективных разработках ближайших лет мы планируем изменить архитектуру нейросети и обучить ее распознавать физику реального мира.