На международном конкурсе ASVspoof 2024 Challenge по разработке и тестированию биометрических систем безопасности технология MTS AI показала один из лучших результатов. Она заняла второе место в категории распознавания дипфейков и третье место в задаче биометрической верификации по голосу.
В основе MTS AI лежат новые методы, созданные Александром Кондратьевым и Али Алиевым, для обнаружения поддельных голосов, созданных с помощью нейросетей, и проверки личности по голосу. Решение построено на базе самообучающейся нейронной сети, которая выделяет мельчайшие особенности звука — это могут быть неестественные колебания или шумы, типичные для искусственно сгенерированных голосов.
Архитектура MTS AI построена на сочетании сверхточных нейронных сетей и трансформеров. Первые выступают в роли фильтров и выделяют характерные паттерны в звуковых волнах, как, например, особенности тембра или шумы. Трансформеры понимают, как один фрагмент аудиозаписи связан с другими, учитывая интонацию, паузы или длительность звуков, что помогает определить естественность речи. В тестах обнаружения дипфейков технология достигла рекордно малого уровня ошибок — 3,41%.
Для проверки личности по голосу были объединены технологии для распознавания дипфейков и биометрии: такой подход позволяет комбинировать данные обеих систем, повышая тем самым точность выявления обмана.