Основу технологий составляет ряд ансамблей нейросетевых моделей класса EfficientNet и метод амплификации и анализа средствами ИИ микроизменений в цветах объектов на кадрах. Объединенные в одну систему, они позволяют с высокой точностью определить синтетически изменённые изображения лиц на видео.
Сбер получил два патента Федеральной службы по интеллектуальной собственности на технологии, созданные в рамках исследования по выявлению дипфейков. Результатом работы является повышение точности и эффективности обнаружения синтетического изменения изображений лиц людей в видео.
Отличительной особенностью системы является возможность обработки видеоконтента с несколькими лицами в кадре. В этом случае система выявляет отдельное лицо, созданное синтетическим образом, и оценивает его достоверность, что позволяет противодействовать ряду методов обхода систем выявления дипфейков.
Показатели эффективности системы, при замерах на независимых тестовых выборках, составили 98%, что существенно выше показателей опубликованных аналогов.
Разработанные технологии предназначены для использования при решении следующих задач:
Патент, содержащий метод амплификации и анализа средствами ИИ микроизменений в цветах объектов на кадрах, Федеральная служба по интеллектуальной собственности признала патентом недели.
