Оценка точности детектора видео с искусственным интеллектом от Copyleaks

Мы построили процесс оценки на системе из двух команд, чтобы обеспечить высочайший уровень качества, соответствие стандартам и надежность. Модель оценивают два независимых отдела: команда специалистов по анализу данных и команда контроля качества. Каждая команда работает автономно, используя собственные данные и инструменты оценки, что гарантирует беспристрастность, объективность и точность результатов.

Важно подчеркнуть, что все тестовые данные строго отделены от обучающих данных модели. Мы оцениваем наши модели только на новом контенте, с которым наш детектор видео с искусственным интеллектом никогда не сталкивался. Чтобы тестирование оставалось актуальным, мы постоянно обновляем наши наборы данных, добавляя медиаконтент, созданный новейшими моделями GenAI.

Для каждого выпуска модели наши команды специалистов по анализу данных и контроля качества независимо друг от друга формируют тестовые наборы данных. Каждый набор состоит из большого количества файлов со строгой эталонной меткой, указывающей на их происхождение:

• Полностью созданные человеком: подлинные видео и аудио, полученные традиционными методами (записанные физическими устройствами или созданные с помощью стандартной цифровой анимации и VFX) и не содержащие никаких изменений, внесенных генеративным ИИ.
• Полностью созданные ИИ: контент, целиком синтезированный генеративными нейросетями, включая базовые модели преобразования текста и изображений в видео, алгоритмы дипфейков и продвинутые системы клонирования голоса.

Тестирование выполняется непосредственно через Copyleaks API, который обрабатывает видео- и аудиодорожки полностью независимо друг от друга. Хотя в основных эталонных тестах мы рассматриваем контент, полностью созданный человеком, и контент, полностью созданный ИИ, по отдельности, чтобы получить строгие и измеримые показатели эффективности, эта независимая двухдорожечная архитектура гарантирует, что система точно обрабатывает и гибридный контент (например, подлинное видео с человеком, дублированное закадровым голосом, сгенерированным ИИ). Вместо того чтобы объединять эти результаты, мы оцениваем выходные данные API для видео- и аудиодорожек полностью независимо, обеспечивая абсолютную прозрачность для каждого типа медиа.

Оценка проводится на медиафайлах, соответствующих нашим оптимальным техническим требованиям:

• Продолжительность: от 2 секунд до 1 часа.
• Разрешение: не менее 360x360 пикселей.
• Частота кадров: не менее 16 FPS.
• Размер аудио/файла: менее 0.5 GB.
• Поддерживаемые форматы: стандартные контейнеры, включая .mp4, .mov, .avi, .webm, а также другие профессиональные форматы, указанные в нашей документации.

Видео- и аудиодорожки — динамичные медиа: один файл может содержать сложное сочетание подлинной записи и вставок, сгенерированных ИИ. Чтобы обеспечить максимально надежное обнаружение, мы анализируем контент на непрерывной временной шкале. Для наших пользователей такой динамический анализ дает вполне практическое преимущество: возможность видеть детальные покадровые временные метки, которые точно указывают, в какой момент происходит предполагаемая манипуляция.

Однако при оценке базовой эффективности и надежности наших моделей мы сосредотачиваем эталонное тестирование на итоговом вердикте на уровне файла. Эта метрика оценивает медиафайл целиком: она вычисляет общую продолжительность синтетических манипуляций, чтобы отнести весь видео- или аудиофайл к категории «Создано ИИ» или «Создано человеком». Такая строгая оценка на макроуровне отражает то, как большинство организаций применяют нашу систему для высоконадежной первичной сортировки, контроля соблюдения политик и автоматической модерации.

Чтобы обеспечить полную ясность в отношении надежности нашей системы на уровне файла, мы измеряем ее эффективность с помощью трех основных общепринятых в отрасли метрик:

• Уровень обнаружения ИИ (доля истинно положительных результатов): процент реального контента, созданного ИИ, который наша система успешно выявляет.
• Уровень ложных срабатываний (FPR): процент подлинного контента, созданного человеком, который ошибочно определяется как ИИ. FPR 1% означает, что доля истинно отрицательных результатов (TNR) составляет 99%, поэтому подлинные авторы крайне редко страдают от ошибочных решений.
• Точность: достоверность наших положительных срабатываний на ИИ. Точность 99% означает, что из каждых 100 файлов, помеченных нами как ИИ, 99 действительно созданы ИИ, поэтому пользователи могут с высокой уверенностью действовать на основании наших предупреждений.

Наши команды специалистов по анализу данных и контроля качества независимо друг от друга провели тестирование на больших и разнообразных наборах данных, содержащих десятки тысяч видео- и аудиофайлов. Эти наборы данных охватывают различные разрешения, качество записи, записывающие устройства и модели генеративного ИИ (включая генераторы дипфейков, системы клонирования голоса и синтеза речи), которые считаются передовыми на момент публикации.

Приведенные ниже результаты демонстрируют способность системы точно классифицировать файлы целиком на основе их общего состава и дают ясное представление о ее возможностях высоконадежной первичной сортировки.

Хотя наша система обнаружения демонстрирует передовые результаты, ни одна технология не совершенна. Иногда наши модели могут неверно интерпретировать сложные временные или акустические сегменты, что приводит к ошибочным оценкам.

Детектор видео и аудио с искусственным интеллектом от Copyleaks специально разработан для выявления синтетических следов, которые оставляют новейшие инструменты генеративного ИИ, и в настоящее время не предназначен для обнаружения традиционных изменений медиаконтента, в том числе:

• Ручной монтаж и творческое редактирование: стандартные переходы, склейки или компоновка, выполненные монтажером-человеком в традиционных программах (например, Adobe Premiere, Final Cut Pro или Audacity).
• Традиционные VFX и CGI: компьютерная графика или звуковые эффекты, созданные с помощью стандартного 3D-моделирования, конвейеров анимации или шумового оформления (фоли), а не генеративных нейронных сетей.
• Негенеративные корректировки: фотофильтры, цветокоррекция, повышение резкости, кадрирование, изменение скорости (таймлапс/замедленная съемка) или базовая эквализация звука (EQ) и шумоподавление.

Кроме того, поскольку сфера генеративного ИИ стремительно развивается, обнаружение контента, созданного моделями, выпущенными после нашего последнего обновления, может быть менее стабильным, пока эти инструменты не будут включены в наши обучающие наборы данных. Помимо этого, некоторые узкоспециализированные манипуляции (например, отдельные приложения для замены лиц или генерация музыки с помощью ИИ) сейчас находятся в стадии активных исследований и разработок и могут быть охвачены в этом выпуске не полностью.

Следует отметить, что аудиодетектор предназначен для выявления использования ИИ в речи; в других сценариях (например, для музыки, созданной ИИ) не следует ожидать уровня точности, сопоставимого с приведенными выше показателями.

Мы твердо намерены постоянно совершенствовать наши механизмы обнаружения. Ваши отзывы играют ключевую роль в нашей миссии по обеспечению цифровой подлинности. Если вы столкнулись с моделью ИИ, инструментом клонирования голоса или новой техникой манипуляции, поддержку которых хотели бы видеть, мы будем рады вашему отзыву — это поможет нам расставить приоритеты в ближайших циклах разработки.