ИИ-модель DenseAV изучает разные языки, просматривая обычные видео

Алгоритм может взять слово, например, "собака", и искать этот объект в видеопотоке. Для этого DenseAV использует два ключевых компонента, которые обрабатывают аудио и визуальные данные отдельно. Система распознает объекты и создаёт значимые функции для аудио и визуальных сигналов. Далее DenseAV обучается, сопоставляя пары аудио и визуальных сигналов, чтобы определить совпадения. Эта ИИ-модель отличается от аналогов тем, что не требует заранее размеченных примеров и самостоятельно выявляет важные языковые закономерности.

Распознавание и сегментирование визуальных объектов на изображениях, а также звуков окружающей среды и произносимых слов в аудиозаписях - само по себе сложная задача. Ранее исследователи использовали вручную написанные аннотации к видео, чтобы обучать ML-модели. DenseAV избавляет от этого трудоемкого процесса в пользу полной автоматизации.

Источник: TecheBlog