Microsoft запатентувала штучний інтелект для зміни слів та міміки спікерів у режимі реального часу

Компанія Microsoft подала патентну заявку на систему на основі штучного інтелекту, здатну редагувати живі відеопотоки та доповнену реальність у режимі реального часу. Нова технологія дає змогу виправляти або повністю замінювати мову спікера, одночасно коригуючи міміку та рухи губ для створення природного візуального та аудіоефекту.

Функціонування системи забезпечується спеціальними АІ-агентами, які обробляють відео- та аудіосигнали з незначною затримкою, створюючи плавні переходи до і після змінених фрагментів. Модифікації здійснюються на основі заданих параметрів або персональних профілів глядачів.

Згідно з документацією патенту, технологію можна використовувати під час трансляцій лекцій, презентацій, спортивних подій та телешоу. Серед основних варіантів застосування зазначаються:

• Синхронний переклад: автоматичне редагування відео та звуку для відображення мови спікера обраною глядачем мовою з відповідною артикуляцією.
• Очищення мовлення: вилучення слів-паразитів («аааа», «е-е»), заїкань, бурмотіння та описів із мовленнєвими дефектами.
• Персоналізація та фільтрація: видалення або заміна діалектизмів (наприклад, «y’all»), жаргонізмів, ненормативної, образливої чи непідходящої лексики. Замінні слова система може шукати безпосередньо в мережі Інтернет.

Впровадження такого інструменту дозволяє глядачам налаштовувати чужу мову під власні вподобання, однак це викликає занепокоєння щодо подальшої ізоляції користувачів у персоналізованих «інформаційних бульбашках» та викривлення реальності під час прямих ефірів.

У патенті вказано, що для запобігання зловживанням і викривленню фактів оригінальний аудіо- та відеозапис події зберігатиметься як «першоджерело». Наразі компанія Microsoft не надала офіційних коментарів щодо термінів практичної реалізації розробки.

Нагадаємо, Жодних других шансів: анонс стадії плей-оф Worlds 2026 та підсумки швейцарського етапу.