Будущее: сквозной обучаемый звук, громкость на базе ИИ, персональные миксы

Кратко

Сорок лет звук для видео был жёстко фиксированным продуктом: один микс, один уровень громкости, одна звуковая дорожка – одинаковая для всех зрителей. Следующее десятилетие меняет всё: звук становится адаптивным, подстраиваясь под каждого слушателя. За этим стоят три ключевых сдвига: сквозные обучаемые системы, в которых одна нейросеть сжимает, очищает и даже генерирует звук вместо цепочки ручных инструментов; управление громкостью и диалогами на основе ИИ, позволяющее зрителю повысить речь, не трогая музыку – это уже работает в эфире на телевидении и на устройствах Amazon; и персональные миксы, где язык, акцент, уровень диалогов и пространственное расположение звука подбираются под слушателя в момент воспроизведения. Та же логика стирает границы: кодек, способный восстановить голос из тонкого потока данных, – всего в шаге от модели, которая может его полностью сгенерировать, а модель, переозвучивающая реплику на другом языке, – в шаге от той, что перестраивает губы актёра под новую речь. Эта статья показывает, куда действительно движется звук для видео к 2030 году, чётко разделяет то, что уже внедрено, от того, что пока остаётся в лабораториях, и честно говорит о цене, проблемах доверия и правовых вызовах, сопровождающих эти изменения.

Почему это важно

Если вы разрабатываете или владеете продуктом, работающим со звуком – стриминг, инструменты для конференций, e-learning, телемедицина – аудиорешения, которые вы принимаете сегодня, основаны на устаревшей парадигме. Вы отдаёте один аудиомикс и полагаетесь на устройство пользователя, чтобы оно его корректно воспроизвело; задаёте одну громкость и надеетесь, что она подойдёт любой комнате; создаёте одну языковую дорожку и платите студии за каждый дубляж. Описанный здесь сдвиг превращает каждое из этих решений в адаптивный процесс, при котором модель подстраивается под слушателя в реальном времени – и продукты, готовые к этому, будут казаться на поколение впереди. Эта статья предназначена для продакт-менеджера, основателя или операционного руководителя, которому важно отличить реальную ближайшую возможность от громких обещаний на конференциях: что стоит строить уже сейчас, за чем следить и где в ближайшее время могут быть установлены правила согласия, громкости и раскрытия. Это заключительная статья раздела Audio for Video, поэтому она опирается на термины, введённые ранее; там, где термин требует пояснения, оно даётся здесь.

Старый контракт: один микс – навсегда

Начнём с того, что заканчивается, – иначе будущее не имеет смысла. Почти всю историю записанных медиа звук, который вы слышали, был миксом – единой сведённой записью, в которой инженер заранее определил, насколько громко диалог звучит по сравнению с музыкой и эффектами, и навсегда закрепил эти решения. Фильм, выпуск новостей, запись лекции – всё это выходило как один готовый микс, одинаковый для кинотеатра, гостиной, телефона в шумном поезде, для слабослышащего зрителя и для человека, говорящего на другом языке. Если диалог был слишком тихим под музыкой – тихий диалог получал каждый. Единственными вашими возможностями регулировки оставались общая громкость и, если повезёт, выбор из готовых языковых дорожек и субтитров.

Это работало, потому что производственная цепочка состояла из последовательности отдельных ручных инструментов, каждый из которых выполнял строго определённую задачу. Микрофон записывал звук; кодек – программа, сжимающая аудио до меньшего объёма бит, – уменьшал его для передачи; нормализатор громкости выравнивал весь микс до стандартного уровня; плеер декодировал сигнал и передавал его на динамики. Каждый инструмент создавали инженеры, тщательно изучившие свою задачу и вручную прописавшие соответствующие правила. Цепочка была надёжной, предсказуемой и абсолютно жёсткой. Как только микс покидал студию, никто ниже по цепочке не мог изменить баланс внутри него, потому что отдельные компоненты – голос, музыка, эффекты – уже были объединены в единый поток.

Две силы одновременно разрушают эту жёсткость. Первая: ручные инструменты заменяются обучаемыми системами – нейросетями, которые определяют задачу по данным, а не по набору правил. Такая система способна выполнять несколько задач за один проход и адаптировать их под контекст. Вторая: звук возвращается на этап обработки в виде отдельных ингредиентов плюс инструкций, а не единого смешанного микса – это позволяет настраивать итоговый баланс уже при воспроизведении, зрителем или моделью, действующей от его имени. Сложите эти два фактора – и фиксированный продукт становится гибким. Остальная часть статьи – карта возможностей, которые это открывает.

Сдвиг первый: сквозной обучаемый звук

Фраза сквозной обучаемый звук означает замену цепочки отдельных ручных инструментов одной нейросетью – или небольшим стеком из них, – которая обучается принимать звук на входе и выдавать нужный результат на выходе, выучив все промежуточные шаги по примерам, а не по заранее заданным правилам. «Сквозной» – ключевое слово: вместо последовательности из микрофона, ручного шумоподавления, ручного кодека и ручного восстановления потерь, единая обучаемая система тренируется на всём пути сразу. Благодаря этому она может сбалансировать этапы обработки так, как это невозможно сделать в цепочке отдельных инструментов.

Первого члена этого семейства мы уже подробно рассмотрели. Нейросетевой аудиокодек – это программа сжатия, в которой сеть, а не инженер, обучается сжимать звук до минимального потока чисел и восстанавливать его. Лучшие из таких кодеков достигают качества традиционных решений при в три–четыре раза меньшем битрейте.

Важно не столько экономия битов, сколько то, на что способна та же самая технология. Сеть, которая восстанавливает убедительный голос из тонкого потока данных, по своей сути почти ничем не отличается от той, что предсказывает следующий фрагмент голоса, которого ещё нет. Сжатие и генерация – это один и тот же навык, направленный в разные стороны: сжатие отбрасывает всё, что декодер может предсказать, а генерация – это и есть предсказание. Поэтому граница между кодеком и генератором стирается, и это – ключевая идея статьи.

Посмотрите, как это каскадом проходит через старые инструменты. Задача сокрытия потери пакетов (PLC) – скрыть сбой, когда фрагмент звука теряется в плохой сети, – решалась вручную: просто повторяли последний хороший фрагмент. Google WaveNetEQ заменил эту догадку нейросетью, которая генерирует правдоподобный звук, чтобы заполнить пробел: ведь модель, способная предсказать звук, – именно то, что нужно для сокрытия потерь. То же самое происходит с шумоподавлением, эхоподавлением и самим кодеком – и конечная цель уже не четыре отдельные сети, а стремление к одной. Обучаемый фронтэнд, который захватывает, очищает, сжимает, скрывает потери и выдаёт чистый поток токенов для дальнейшей обработки – всё это в одной обученной системе. Это и есть сквозная картина, и её компоненты уже внедряются.

Есть ещё один фронтир, который стоит назвать, потому что он меняет саму форму систем. Нейрокодеки, о которых мы говорили, превращают звук в дискретные токены – короткий список выборов из меню, как слова в предложении, которые языковая модель может предсказать. Новейшие исследования задаются вопросом: нужна ли дискретность вообще? Некоторые системы 2025 года генерируют звук на основе непрерывных внутренних представлений, полностью обходя этап округления до «меню». Остаться ли будущему с дискретными аудиотокенами или перейти к непрерывным – пока не ясно, и это важно, потому что определяет, насколько естественно звук интегрируется с большими языковыми моделями, всё чаще становящимися ядром всей архитектуры. Держите неопределённость – пока не стоит делать ставку ни на один из вариантов.

Сдвиг второй: громкость на базе ИИ и диалог, который реально слышен

Вот сдвиг, который дальше всех в проде, и который ваши пользователи заметят первым, потому что он чинит жалобу почти у всех: «Не слышу, что говорят, из-за музыки».

Сначала освежим словарь. Громкость – это насколько громким звук реально кажется человеческому уху, а современный способ её измерять – число под названием LUFS (Loudness Units relative to Full Scale), заданное стандартом ITU-R BS.1770. Пятнадцать лет «правильная громкость» означала толкнуть весь готовый микс к одной согласованной цели LUFS – в Европе рекомендация EBU R128 ставит её на −23 LUFS, – чтобы программы и каналы совпадали и никому не приходилось хвататься за пульт между передачами. Это громкость как одно число для всего микса, и она полезна: она закончила эпоху рекламы, орущей громче фильма.

Но одна громкость для всего микса не может решить проблему с диалогом, потому что проблема не в том, что микс тихий, – а в том, что голос тихий относительно музыки и эффектов внутри этого микса. Чтобы это исправить, нужно заглянуть внутрь готового микса, найти речь и поднять только её. Десятилетиями после сведения это было невозможно, поскольку голос и музыка были единым неделимым потоком. Теперь два подхода делают это возможным, и они точно соответствуют двум силам, о которых говорилось в начале статьи.

Первый подход – объектно-ориентированный звук: диалог, музыку и эффекты передают как отдельные компоненты – «объекты», каждый со своими настройками, вместо единого смешанного микса. Это позволяет плееру самостоятельно регулировать уровень диалога. Такой подход реализован в стандарте MPEG-H 3D Audio – технологии иммерсивного звука, используемой в системе вещания ATSC 3.0, уже действующей в США и Южной Корее. На современных телевизорах NextGen зритель может повысить громкость диалога в рамках, установленных вещателем и переданных в виде метаданных. Вещатель также может создавать пресет-миксы: «чёткий диалог», «домашний кинотеатр» или спортивный режим, в котором приглушается голос комментатора, а слышны трибуны. Теперь микс – это не фиксированная запись, а набор компонентов плюс несколько регуляторов.

Второй подход использует обучаемую систему для решения той же задачи – но уже для огромной библиотеки контента, записанного по старой технологии, где отдельные звуковые дорожки отсутствуют. Dialog+ от Fraunhofer – это глубокая нейросеть (нейросеть – модель с миллионами настраиваемых параметров), обученная анализировать готовый аудиомикс и выделять из него диалог, чтобы уровень речи можно было регулировать, даже если отдельные дорожки не существовали изначально. Немецкие общественные вещатели WDR и BR провели первые крупномасштабные публичные полевые испытания, начавшиеся в сентябре 2020 года. Результаты этих тестов – ключевая причина, по которой технология важна не только с технической, но и с коммерческой точки зрения. В опросе более чем двух тысяч зрителей 90% людей старше шестидесяти сообщили, что часто или очень часто испытывают трудности с пониманием телевизионной речи, а 83% всех участников, включая тех, кто обычно не сталкивается с подобными проблемами, отметили, что им нравится возможность включить Dialog+. Функция, которую хотят использовать четыре из пяти зрителей, – это не узкоспециализированная опция для людей с ограниченными возможностями; это формирующееся массовое ожидание.

Та же идея дошла и до потребительских устройств благодаря Dialogue Boost от Amazon. В 2022 году он появился на Prime Video с обработкой в облаке, а затем был сжат до менее чем одного процента от исходного размера при почти неизменном качестве, чтобы работать на устройстве – на Fire TV или колонке Echo – и применяться к звуку из любого приложения, включая Netflix, YouTube и Disney+. По результатам тестов Amazon более 86% участников предпочли звук с усиленными диалогами, а среди людей с потерей слуха уровень одобрения достиг 100%. Механика – тот же нейросетевой метод разделения источников, что и в обзоре ИИ в звуке: сеть разделяет аудиомикс на компоненты, чтобы выделить и усилить нужную – в данном случае диалоги.

Покажем арифметику громкости один раз – она делает разницу конкретной. Допустим, документальный фильм сведён так, что диалог в среднем составляет −27 LUFS, а музыка – −24 LUFS. Музыка громче голоса:

−24 LUFS (музыка) − (−27 LUFS) = на 3 LUFS громче

Традиционный нормализатор, выравнивающий весь микс до −23 LUFS, сохраняет разрыв в 3 LU – всё повышается равномерно, и голос остаётся заглушённым. Система, чувствительная к диалогу, объектная или обученная, вместо этого поднимает только речь, например, на 6 LU:

−27 LUFS + 6 LU = −21 LUFS (диалог), музыка остаётся на −24 LUFS

Теперь голос находится на 3 LU выше музыки, и зритель может его чётко слышать. Тот же контент – две философии: громкость как единое значение для всего микса против громкости как поингредиентного управления, которым слушатель может управлять. Будущее – однозначно за вторым подходом.

Нажмите, чтобы увеличить

Сдвиг третий: персональный микс

Как только звук разделяется на ингредиенты – язык, акцент, уровень диалога, описательную закадровую дорожку, пространственную расстановку и баланс под устройство – а не подаётся как единый сплавленный микс, уровень диалога становится лишь первым из регулируемых параметров. Персональный микс – это общий случай: всё выбирается для конкретного слушателя в момент воспроизведения. Грядущее десятилетие превращает «микс» из существительного, которое отгружает студия, в глагол, который выполняет плеер.

Части уже существуют как отдельные функции, и будущее – в основном в их объединении. Объектная модель ATSC 3.0 уже позволяет вещателю предлагать диалог на других языках, вспомогательные аудиосервисы, специальные комментарии и дорожки «только музыка и эффекты», которые пользователь может комбинировать на своём устройстве в соответствии с личными предпочтениями. Netflix добавил более тринадцати тысяч часов аудиоописания – закадрового повествования о происходящем на экране для слепых и слабовидящих – на тридцати четырёх языках только за 2025 год, что составляет рост на 30% по сравнению с предыдущим годом, и внедрил функцию «поиск по языку», чтобы зритель мог находить контент по дубляжу, субтитрам или атрибутам доступности. Это – примитивы персонализации: зритель больше не принимает единый микс, а собирает нужный ему вариант из меню.

Фронтир, превращающий меню в нечто по-настоящему новое, – конверсия языка и голоса в реальном времени: переозвучка контента на другой язык с сохранением голоса и эмоциональной подачи оригинального диктора. Семейство Seamless от Meta – самый ясный публичный маркер того, куда движется эта технология. SeamlessExpressive переводит речь, сохраняя вокальный стиль и просодию – ритм, ударения, мелодичность, темп и паузы диктора, – так что перевод звучит так, будто тот же человек говорит на новом языке, а не как плоский роботизированный дубляж. SeamlessStreaming делает это не дожидаясь конца фразы, используя механизм внимания, который выдаёт перевод по ходу речи, с задержкой, достаточной для живого разговора. Сложите это вместе – и вы получите технологию, способную кардинально изменить локализацию: зритель в Сан-Паулу и зритель в Сеуле смотрят одну и ту же лекцию, каждый слыша голос преподавателя на своём языке, выбранном при воспроизведении.

Конверсия акцента – та же технология, но ориентированная на другую ось. В марте 2026 года Krisp запустил конверсию акцента на стороне клиента, которая в реальном времени преобразует акцент говорящего в более понятный для слушателя, при этом – и это самая сложная часть – сохраняя сарказм, срочность, нерешительность и теплоту, несущие смысл. Технический вызов во всех этих случаях один: изменить как звучит речь, не затрагивая что она означает. Это именно разделение семантических и акустических токенов, которое мы видели в нейрокодеках – отделение что сказано от как звучит – теперь используется в продукте: когда вы можете редактировать эти две стороны независимо, вы можете изменить язык или акцент (акустическая сторона), оставив смысл и эмоции (семантическая сторона) неизменными.

Есть и тихая обратная задача, завершающая картину, – там, где звук тянется обратно в видео. Если переозвучить фильм на новый язык, губы актёра больше не совпадают со словами – синхронизация губ ломается, а человеческий глаз к этому беспощаден. Ответ 2025 года – визуальный дубляж: ИИ, переформирующий рот актёра в видео под новый дублированный звук. TrueSync от Flawless строит 3D-модель лица исполнителя и адаптирует движения рта под новый диалог на постпродакшене, работая с разрешением до 8K и выглядя естественно на киноэкране; его DeepEditor, выпущенный в феврале 2025 года, позволяет редакторам изменить реплику, сохранив оригинальную эмоциональную игру. Шведский фильм Watch the Skies шёл в кинотеатрах США в мае 2025 года, визуально дублированный на английский. Это звук, управляющий видео, – обратная сторона задач lip-sync, которым Блок 5 посвятил девять статей, и доказательство того, что в будущем обучаемых медиа аудио- и видеоконвейеры перестают быть отдельными.

Что реально сейчас, а что ещё обещание

Честная карта важнее хайпа, так что вот она – в одной таблице, отсортированной по степени готовности к выпуску.

Читайте сверху вниз – как хронологическую шкалу. Верхние строки – это решения «брать или строить», которые можно принять уже сегодня; средние – то, что стоит протестировать и внимательно отслеживать в ближайшие два года; нижние – идеи, формирующие дорожную карту, но пока не реализованные в виде продуктов. Самая частая ошибка – увидеть демо из нижней строки и сразу заложить бюджет, будто это готовый продукт из верхней.

«Подвох – «демо работает, значит продукт готов». Обучаемые модели отлично справляются с созданием впечатляющего тридцатисекундного демо, но совершенно не подходят для круглосуточной эксплуатации. Перевод с клонированием голоса, безупречный на чистом студийном образце, разрушается на шумном звонке; разделитель диалогов, чёткий на трейлере, теряет точность на плотной боевой сцене; визуальный дубляж, работающий на одном лице, проваливается в толпе. Проблема – не в качестве модели, которое вы видели, а в длинном хвосте реальных условий, которых демо избегало. Прежде чем включать в дорожную карту любую возможность из нижней половины таблицы, протестируйте её на вашем худшем входе: самом шумном звонке, самом плотном миксе, самом сложном акценте, самом слабом устройстве. Вопрос никогда не в том, «может ли оно это сделать», а в том, «сколько стоит делать это каждый раз для каждого, включая случаи, которые демо пропустило». Для большинства реальных продуктов в 2026 году простые ручные инструменты – Opus для транспорта, настроенный jitter buffer для устойчивости – по-прежнему превосходят обучаемые по цене и надёжности, а обучаемые компоненты зарабатывают право на место лишь по одной доказанной функции за раз.»

Проблема доверия идёт рука об руку с возможностью

У каждой возможности из нижней половины таблицы – один и тот же движок, и именно он создаёт проблему, которой не было в старом мире с фиксированным миксом. Модель, способная восстановить голос по тонкому потоку токенов, – та же, что может сгенерировать этот голос, произносящий то, чего человек никогда не говорил. Модель, переозвучивающая реплику на другом языке, – всего лишь шаг настройки от той, что вставляет новые слова в уста говорящего. Система, синхронизирующая движение губ с дублированным звуком, – та же, что может заставить любого выглядеть так, будто он говорит что угодно. Когда ваше сжатие, перевод и синтез – одна и та же нейросеть, работающая в разных направлениях, вопрос «реален ли этот звук» перестаёт быть тем, на который технология может ответить за вас.

Ответ приходит сразу по двум направлениям. Техническое – происхождение: маркировка синтетического звука, чтобы его можно было выявить на последующих этапах. Работа Meta над Seamless включала внедрение неслышимого локализованного водяного знака – именно для смягчения последствий дипфейков. Маркировка выходных данных генеративных аудиосистем становится стандартной практикой, а не временной мерой. Юридическое направление – раскрытие. Обязанности по прозрачности, установленные статьёй 50 EU AI Act – вступающей в силу 2 августа 2026 года, – требуют от поставщиков генеративных систем машинной маркировки синтетического звука и от пользователей – раскрытия аудио-дипфейков. Как мы уже обсуждали в обзоре ИИ в звуке, США идут по схожему пути через предлагаемые федеральные и штатные законы о подобии. Практический вывод для разработчика продукта: любая функция, генерирующая или преобразующая узнаваемый голос, теперь несёт ответственность за согласие и раскрытие, причём место её реализации смещается от очевидных инструментов (например, студии дубляжа) к «водопроводу» – кодеку, слою перевода, конференц-системе. Встраивайте маркировку с самого начала: это гораздо дешевле, чем добавлять её потом.

Нажмите, чтобы увеличить

Аудио-конвейер 2030 года, набросок

Сложите три сдвига – и получится конвейер, способный правдоподобно вывести видеопродукт к 2030 году. Это не научная фантастика: каждый из блоков ниже сегодня существует в отгружаемой или почти отгружаемой форме, и ключевое изменение – в том, как они соединяются.

На захвате единый обучаемый фронтенд заменяет цепочку отдельных инструментов. Одна сеть принимает сигнал с микрофона и за один проход подавляет шум, устраняет эхо, распознаёт речь и выдаёт чистый поток токенов – захваченный звук уже в компактной, готовой к использованию форме, которую мы ранее видели как токены нейрокодека. Отдельно шумоподавителя, эхоподавителя и кодировщика больше нет; есть одна обученная система, выполняющая все эти задачи, поскольку обучение их совместно оказывается эффективнее, чем последовательное применение.

На транспорте прагматичный ответ остаётся двойственным. Для обычного голоса в реальном времени между знакомыми людьми Opus или его традиционный преемник передаёт поток, поскольку декодируется почти без затрат на любом устройстве. А для всего, что связано с моделью – ассистенты, перевод, генерируемая закадровая дорожка – звук передаётся токенами, потому что именно в такой форме модель и оперирует. Конвейер поддерживает оба формата и выбирает подходящий под задачу.

На воспроизведении фиксированного микса больше не настаивают. Контент приходит в виде ингредиентов плюс инструкций, а модель на устройстве или рядом с ним собирает микс именно для этого слушателя: его язык (с сохранением оригинального голоса), уровень сложности диалога, предпочтения по акценту, оптимальную пространственную расстановку звука для его устройства, а также учёт потребностей в доступности. Цельная громкость больше не задаётся одним числом для всех – она становится персональной, учитывающей контент, помещение и особенности слушателя. Рядом с каждым генерируемым или преобразованным элементом идёт метка происхождения, а там, где это требует закон, – соответствующее раскрытие.

Честная оговорка закрывает набросок. Блокеры этого конвейера – не воображение; это вычисления, контроль и доверие. Гонять обучаемые модели на каждом кадре для каждого слушателя стоит процессорного времени и батареи, которые не каждое устройство может потратить, – поэтому скучные инструменты продолжают выигрывать чувствительные к цене задачи. Дать модели тонкий контроль – поднять этот голос настолько без замазывания музыки – всё ещё несовершенно. А слой доверия нужно решать в ногу, иначе возможность обгонит готовность публики верить тому, что она слышит. Будущее приходит функция за функцией, сверху той таблицы готовности вниз, и побеждают команды, перенимающие каждую часть в момент, когда она пересекает грань от демо к надёжному, – не на год раньше и не на год позже.

Где здесь Фора Софт

Мы строим конференции, e-learning, телемедицину, OTT-стриминг и видеонаблюдение, и наша позиция по обучаемому звуку – та же дисциплина, что и ко всякой модной технологии: перенимать проверенные решения, тестировать перспективные и не предлагать клиентам демо-версии за их счёт. Для живых звонков мы по-прежнему используем надёжный, пусть и не самый яркий стек – Opus для транспорта, настроенный WebRTC-аудиоконвейер для устойчивости, – потому что сегодня он выигрывает по цене и надёжности. Там, где мы особенно внимательно наблюдаем и тестируем, – это персональный слой: чёткость диалога в e-learning и телемедицине, где быть понятым – это суть продукта; адаптация языка и доступность под слушателя в OTT, где аудитория глобальна; и прослеживаемость происхождения и раскрытия голоса, потому что любой продукт, связанный с узнаваемым голосом, автоматически берёт на себя обязанность получения согласия – её проще заложить на этапе проектирования, чем потом добавлять. Правильный вопрос для клиента никогда не «использовать ли ИИ-звук», а «какую проблему слушателя обученная модель решает достаточно хорошо и дёшево, чтобы внедрить её уже в этом году» – и эта граница сдвигается каждый квартал.

Главное

• Единый фиксированный микс уходит в прошлое – звук адаптируется под конкретного слушателя.
• Интегрированные обучаемые системы объединяют захват, очистку, кодирование и маскировку в единую сеть.
• Диалоговый контроль уже работает в продакшене – на ТВ он объектный, на устройствах – обучаемый (Dialog+, Amazon).
• 83% зрителей хотят опцию чёткости диалога; это уже мейнстрим, а не нишевый запрос.
• Персональные миксы во время воспроизведения подстраивают язык, акцент и уровень доступности под слушателя.
• Сжатие и генерация – единый навык, поэтому обработка и декодирование происходят одновременно.

Что почитать дальше

• ИИ в звуке для видео: клонирование голоса, дубляж, реставрация, генеративная музыка
• Нейросетевые аудиокодеки: Lyra, EnCodec, SoundStream и что дальше
• Нормализация громкости: EBU R128, ITU-R BS.1770, ATSC A/85