Сколько можно сжать: предел Шеннона и где мы сейчас

TL;DR

Существует математический предел, ниже которого ни один кодек не может сжать данный источник без потерь, превышающих допустимый уровень, – и этот предел ещё в 1948 году определил Клод Шеннон. Для lossy-видео – именно его передают все современные стриминговые сервисы – этот предел не одно число, а кривая, называемая функцией rate-distortion. Правильный способ оценивать прогресс кодеков – смотреть, насколько каждое новое поколение приближается к этой кривой. К 2026 году громкие межпоколенческие приросты от H.264 к AV1 и VVC (30–50%) сократились до однозначных процентов между последними традиционными стандартами, тогда как нейросетевые кодеки, обученные напрямую на минимизацию перцептивных потерь (DCVC-FM, DCVC-RT), уже сравнялись с VVC или даже превзошли его по битрейту при том же VMAF. Продуктовый вопрос теперь уже не «сколько эффективности ещё осталось», а «какой именно эффективности» – ведь классический предел Шеннона, перцептивный предел Блау–Михаэли (2019) и практический аппаратный предел указывают на ответ в трёх разных направлениях.

Зачем это знать

Если вы запускаете стриминговый сервис, OTT-платформу, e-learning-библиотеку или сервис видеоконференций, ваш CDN-счёт растёт линейно с битрейтом, а пользовательское восприятие качества – нелинейно. Каждый процент экономии при том же качестве – реальные деньги. Но планировать вокруг маркетинга вендоров нельзя: слайд с «на 70% эффективнее AV1» нужно читать через призму теоретического максимума, иначе вы заложите кодинг-ферму под цифру, которая никогда не приедет. Эта статья даёт инструменты для чтения подобных заявлений: что на самом деле такое предел Шеннона, что он ограничивает, а что нет; где сидят conventional- и нейросетевые кодеки в 2026 году; и как оценить – для вашего контента и вашего целевого качества – сколько ещё осталось места.

Что Шеннон сказал в 1948 году

Статья Клода Шеннона A Mathematical Theory of Communication 1948 года сделала две связанные вещи. Во-первых, он ввёл число – энтропию (обозначаемую H), которое измеряет среднее количество информации в источнике: среднее число бит на символ при заданном распределении символов.1 Слово «среднее» здесь принципиально. Если источник всегда выдаёт один и тот же символ, его энтропия равна нулю – последовательность полностью предсказуема, и её описание в среднем требует ноль бит на символ. Если источник равновероятно выдаёт один из 256 символов, его энтропия составляет 8 бит – каждый символ максимально неожиданен.

Во-вторых, Шеннон доказал теорему о кодировании источника: lossless-сжать источник ниже его энтропии невозможно без потери информации, а любая схема, использующая в среднем меньше бит на символ, чем H, в среднем не сможет восстановить исходный источник.2 Подойти к H сколь угодно близко можно – современные энтропийные кодеры (арифметическое кодирование, CABAC) укладываются в доли процента от предела. Но опуститься ниже – невозможно. Это и есть lossless-пол.

Полезная аналогия. У запертого шкафа есть ключ, а для описания его формы требуется минимальное число бит – ровно N. Можно упаковать ключ в меньший конверт, аккуратно согнув его, но сам ключ остаётся N бит. Сжиматься может только конверт.

Для видео без потерь (lossless) важна в архивировании и медицинской визуализации, где используются форматы FFV1, ProRes 4444 и JPEG-XL, но это не та область, где работают потребительские кодеки. Потребительские кодеки – lossy: им разрешено отбрасывать информацию – и это открывает перед ними другие возможности.

Дверь в lossy: теория rate-distortion

В той же работе Шеннон определил второй предел, применимый к потребительскому видео. Функция rate-distortion R(D) задаёт минимальный битрейт R, при котором источник можно закодировать так, чтобы средняя ошибка восстановления не превышала заданного уровня искажения D.3 R(D) – это кривая, а не число. По мере увеличения допустимых искажений (D растёт) требуемый битрейт R уменьшается. При почти идеальном восстановлении (когда D стремится к нулю) R приближается к энтропии H.

Форма кривой R(D) зависит от трёх факторов. Во-первых, от особенностей самого источника: у low-motion talking-head своя кривая, у 4K-спортивной трансляции – другая, у компьютерной анимации – третья. Во-вторых, от способа измерения искажений: MSE даёт одну кривую, SSIM – другую, VMAF – третью. В-третьих, от статистической модели источника: чем богаче модель (учитывающая пространственные и временные корреляции), тем ниже (плотнее) её R(D).

R(D) – удобная модель для сравнения кодеков. Любой кодек, будь то классический или нейросетевой, можно представить точкой или кривой в координатах (R, D). Предел Шеннона – это нижняя левая огибающая: кривая, ниже которой ни один кодек не может опуститься для данного источника и выбранной метрики искажения. Прогресс кодеков от поколения к поколению – это постепенное смещение кривой кодека вниз, в сторону предела Шеннона.

Нажмите, чтобы увеличить

Где находятся conventional-кодеки в 2026 году

Самые часто цитируемые межпоколенческие вехи коммерческих кодеков измеряют относительную экономию битрейта с помощью Bjøntegaard delta rate (сокращённо BD-rate). BD-rate показывает среднее изменение битрейта между двумя кодеками при одинаковом объективном качестве, усреднённое по диапазону рабочих точек.4 Приведённые ниже значения – это экономия по BD-rate относительно H.264, измеренная на стандартных тестовых наборах JVET, в основном в разрешениях HD и UHD.

HEVC (2013) обеспечивает выигрыш примерно в 50 % по сравнению с H.264 на стандартизованном контенте, причём преимущество становится заметнее на UHD, чем на HD, поскольку более крупные coding tree units в HEVC эффективнее обрабатывают однородные области при высоком разрешении.5 AV1 (2018) даёт около 30 % выигрыша относительно HEVC на том же контенте – или примерно 65 % относительно H.264.6 VVC (2020) демонстрирует эффективность на уровне 40–50 % по сравнению с HEVC на UHD-контенте, что в сумме составляет около 75 % выигрыша относительно H.264.7 На разрешении 8K измерения BBC R&D, опубликованные в конце 2024 года, показывают, что VVC обеспечивает экономию в 78 %, AV1 – 63 %, HEVC – 53 %, все значения приведены относительно H.264.8

AV2, финализированный в конце 2025 года, обеспечивает прирост эффективности на 30–40% по сравнению с AV1 на внутренних тестовых наборах Google9. В совокупности это даёт около 77% эффективности относительно H.264 – результат, практически сопоставимый с VVC. Теперь AOMedia и проект JVET (разрабатывающий VVC и экспериментальные расширения ECM) демонстрируют близкие показатели – разница между ними составляет всего несколько процентных пунктов на большинстве типов контента.

Виден полезный паттерн. Переход от H.264 к HEVC – сокращение на 50%. От HEVC к AV1 – на треть, то есть на 30%. От AV1 к AV2 – снова на треть, 30%. Абсолютный прирост эффективности каждого нового поколения уменьшается, но что важнее – оставшийся зазор сокращается ещё быстрее. То есть каждому следующему поколению остаётся всё меньше пространства для улучшения. Предел Шеннона для естественного видео по conventional-метрикам искажения уже не так далёк, как казалось.

Это типичная кривая убывающей отдачи любой зрелой технологии. Мы ещё не достигли дна – потенциал для роста остаётся, особенно в высокодинамичном и высококачественном контенте, – но пространство для него с каждым циклом становится всё уже.

Новая координата: восприятие

Долгое время сообщество кодеков оценивало прогресс по осям (R, D) с помощью объективных метрик искажения, таких как PSNR или SSIM. Грязный секрет этих метрик в том, что они плохо согласуются с тем, что на самом деле видит человеческий глаз. Изображение может иметь низкий MSE и при этом выглядеть ужасно – например, с восковыми, чрезмерно сглаженными лицами, – или, наоборот, иметь высокий MSE, но выглядеть отлично благодаря реалистичному зерну и чётким текстурам. VMAF от Netflix стал значительным шагом вперёд, поскольку лучше коррелирует с субъективными оценками, однако это всё ещё регрессия по кадрам на основе фиксированной модели восприятия.

В 2018 и 2019 годах Йохай Блау и Томер Михаэли опубликовали серию статей, которые по-новому поставили задачу и стали центральными для всей области10. Они показали, что искажение и перцептивное качество математически несовместимы: при фиксированном битрейте невозможно одновременно минимизировать MSE и дивергенцию между распределением восстановленных кадров и распределением натуральных кадров. Эти два критерия находятся в компромиссе друг с другом, и этот компромисс определяет точную функцию rate-distortion-perception (RDP)11.

Практическое следствие: при заданном битрейте изображение можно оптимизировать на «выглядит правильно» – то есть получить правдоподобный кадр из того же распределения, – ценой небольшой погрешности (каждый пиксель отличается от оригинала чуть сильнее, чем необходимо). Или, наоборот, добиться точного соответствия по пикселям, но тогда изображение будет выглядеть слегка деградированным. Одновременная минимизация обеих целей невозможна. Современные нейросетевые кодеки, способные обучаться по любой дифференцируемой функции потерь, начали использовать этот эффект: они работают на другой части RDP-поверхности, чем традиционные кодеки.

Нажмите, чтобы увеличить

Где сейчас стоят нейросетевые кодеки

Нейросетевой видеокодек заменяет некоторые (или все) блоки традиционного кодера – преобразование, предсказание, энтропийное кодирование – обученной моделью. Её обучают напрямую по цели rate-distortion (или rate-distortion-perception) методом стохастического градиентного спуска, что позволяет модели использовать статистические закономерности в естественном видео, которые упускают ручные блоки.

Линия исследований Microsoft Research под названием DCVC – самая цитируемая. DCVC-DC (2023) стал первым нейросетевым видеокодеком, превзойдшим VTM (референсную реализацию VVC) на стандартных тестовых наборах JVET в режиме intra-период 32. DCVC-FM (2024), использующий feature modulation и многоуровневый временной контекст, опережает VTM на 25,5 % по BD-rate на том же тестовом наборе в более жёстком режиме intra-период -1 (один intra-кадр в начале, далее неограниченное inter-предсказание).12 DCVC-RT (CVPR 2025) – первый нейросетевой кодек, работающий в реальном времени: он обеспечивает выигрыш в BD-rate около 21 % по сравнению с VVC при частотах кадров, сопоставимых с традиционными энкодерами.13

Более свежий бенчмарк, опубликованный на CVPR 2025, сравнивал DCVC-FM, DCVC-DC, ECM (экспериментальный кодек JVET, следующий за VVC) и AVM (экспериментальный кодек AOM, ставший основой для AV2). По метрике VMAF на 4K-контенте DCVC-FM обеспечивает экономию битрейта более чем на 8% по сравнению с AVM, сопоставим с ECM и превосходит HEVC более чем на 37%.14 При более точной оценке перцептивного качества – с использованием LPIPS или FID относительно распределений референсного видео – нейросетевые кодеки демонстрируют значительно лучшие результаты.

Загвоздка в 2026 году та же, что и у нейросетевых кодеков с самого их появления: вычислительные ресурсы. Нейросетевому декодеру нужен GPU или мощный NPU – он потребляет энергии на порядки больше, чем аппаратный HEVC-декодер, и пока не интегрирован в чипы потребительских устройств. «Real-time» бенчмарки DCVC-RT проводятся на NVIDIA RTX 4090 – настольной видеокарте мощностью 450 Вт. Для VOD-преэнкодинга (где GPU используется один раз, а экономия достигается на каждом воспроизведении) и облачного транскодинга это нормально, но пока такой кодек не подходит для доставки контента.

Насколько далёк предел Шеннона на самом деле

Полезный способ оценки – сравнить лучший современный кодек с нижней границей R(D), рассчитанной для источника. Для естественного видео при умеренных степенях сжатия несколько независимых оценок сходятся к одному значению. Теоретические исследования на основе гауссовских моделей показывают, что оставшаяся разница между VVC и DCVC-FM и теоретическим пределом R(D) составляет несколько процентов на типичных битрейтах стриминга и больше – при очень низких битрейтах.15 То есть для рабочих битрейтов 1080p и 4K, где сосредоточена большая часть интернет-просмотров, структурный предел уже настолько близок, что вряд ли остаётся место для более чем одного-двух крупных поколений улучшений по традиционным метрикам.

Две важные оговорки. Во-первых, этот порог – не одно число, он зависит от метрики искажения. По PSNR порог близок к максимальному. По перцептивным метрикам (VMAF, LPIPS) он ниже: можно сильнее отличаться от оригинала по пикселям и всё равно выглядеть одинаково – значит, здесь остаётся больше пространства для изменений. Во-вторых, RDP-поверхность вводит третью ось – восприятие – и порог по ней сложнее определить, потому что у цели «перцептивная дивергенция» существует множество возможных определений, каждое из которых имеет свой нижний предел.

Практический вывод: вопрос «сколько ещё компрессии осталось» разбивается на три части:

• По PSNR и conventional MSE: уверенное преимущество над VVC и AV2 – места почти не осталось.
• По перцептивным метрикам (VMAF, LPIPS): запас в 20–40%, который в основном доступен только нейросетевым кодекам, обученным под такие потери.
• По оси восприятия в RDP: большой запас, но акцент смещается с «насколько мало бит» на «насколько естественно выглядит восстановленный сигнал» – а это уже другая задача.

Заголовок «70% улучшение компрессии» в 2026 году почти всегда измеряется по перцептивной шкале, под которую традиционные кодеки никогда не оптимизировались. Это правда – нейросетевые кодеки действительно дают более естественно выглядящее видео при том же битрейте, – но это не то же самое, что «60% лучше HEVC», которое AV1 показывал по VMAF в 2018 году.

Нажмите, чтобы увеличить

Распространённая ошибка: трактовать «предел Шеннона» как одно число

Самое дорогое заблуждение в этой области – считать, что существует единый «предел Шеннона», который можно применить ко всему «видео» так же, как существует одна скорость света. Нет. Функция rate-distortion R(D) зависит от:

• Источника. У 4K-спортивного стрима R(D) одна, у видео с низкой динамикой (low-motion) – другая, у анимации – ещё одна.
• Метрики искажения. PSNR, SSIM, VMAF и LPIPS дают разные кривые на одном и том же источнике.
• Статистической модели. Простая блочно-гауссовская модель с независимым распределением (IID) даёт одну R(D); временно коррелированная смесь моделей – значительно более низкую R(D); глубокий авторегрессионный априор – ещё ниже.

Так что правильный способ читать заявление вендора – это «против какого кодека, на каком контенте, по какой метрике, в какой рабочей точке». Утверждение «на 30% лучше AV1» без контекста – всё равно что подбрасывание монеты: на каком-то контенте и по какой-то метрике оно окажется правдой, на другом – нет. Методология Бьонтегора была придумана как раз для того, чтобы стандартизировать такие сравнения; JVET Common Test Conditions и AOM CTC задают, какие именно последовательности и конфигурации используются в академических тестах.16 Если заявление вендора не ссылается ни на одну из этих CTC – это маркетинг, а не измерение.

Рабочий пример: бюджет предела Шеннона для 4K SDR-каталога

Чтобы конкретизировать цифры, рассмотрим стриминговый сервис с каталогом объёмом 10 000 часов 4K SDR, закодированных в HEVC Main 10 со средней битрейтом 12 Мбит/с. Общий объём каталога составляет 10 000 × 3600 × 12 000 000 ÷ 8 = 54 ТБ. При 10 воспроизведениях всего каталога в месяц трафик CDN-эвегресса составит 540 ТБ.

Переход на AV1 при сохранении того же качества позволяет сэкономить около 30% по сравнению с HEVC на таком контенте: новый битрейт – примерно 8,4 Мбит/с, объём каталога – около 38 ТБ, трафик на выдачу – около 380 ТБ. При типичной цене CDN в 2026 году – около 0,01 доллара за гигабайт у tier-1-провайдера – экономия составит (540 - 380) × 1000 × 0.01 = 1600 долларов в месяц, или 19 200 долларов в год на относительно небольшой библиотеке.

Переход на перспективный conventional-кодек – AV2 или VVC – добавит ещё 5–8 процентных пунктов к эффективности AV1, что может принести дополнительно около 1000 долларов в месяц. Дальнейший переход на нейросетевой кодек, обученный на перцептивных потерях, может дать ещё 15–20%, но за счёт вычислительной нагрузки на декодер. Пока потребительские чипы не получат встроенного нейросетевого декодера, эта экономия остаётся теоретической для доставки контента и реальной только в случае облачного транскодирования.

Арифметика – ключевое звено. Остаточный структурный запас сжатия у традиционных кодеков на реальном бюджете CDN составляет несколько тысяч долларов в месяц при 10 000 часах каталога. Эти суммы достаточны, чтобы оправдать смену кодека раз в пять-шесть лет, но недостаточны для самостоятельного финансирования многолетней программы R&D. Нейросетевые кодеки меняют саму арифметику, поскольку открывают новую ось – восприятие – и иной тип экономии, но при этом они же и кардинально меняют стоимость вычислений.

Где здесь Фора Софт

Мы разрабатываем системы видеостриминга, OTT, e-learning, телемедицины, видеоконференций и AR/VR, где эффективность кодеков напрямую влияет на квартальные статьи расходов. Рамка, которую мы предлагаем продуктовым командам, совпадает с той, на которой заканчивается эта статья: нужно чётко разделить два вопроса – «сколько битов нам нужно для нашего контента при заданном уровне качества» и «сколько битов достижимо в принципе». Ответ на первый – это ваша инженерная цель; ответ на второй помогает понять, когда перестать рассчитывать на слишком много от каждого нового поколения кодеков. В OTT- и e-learning-проектах мы обычно строим first-party R&D-кривые на реальном клиентском контенте, а не опираемся на стандартизированные тестовые наборы, потому что ошибочное базовое предположение может привести к расхождению с CDN-контрактом на 20% в любую сторону.

Подводный камень: оптимизация под неверную цель

Инженеры, уже работающие с кодеками, иногда тратят бюджет оптимизации на снижение PSNR в рабочих точках, где PSNR уже не коррелирует с воспринимаемым качеством. Классический симптом – per-title encoding ladder, который хорошо выглядит по объективным метрикам, но при субъективном просмотре на лицах появляется «воск», текстуры размазываются, градиенты становятся неестественно гладкими. Лечение – выбрать метрику (или комбинацию, включая перцептивные, вроде VMAF, и learned-perceptual, вроде LPIPS), которая соответствует тому, как ваша аудитория реально оценивает качество, и оптимизировать под неё. Иначе кодек будет продолжать двигаться вниз по кривой R(D), но не по той оси, и картинка будет хуже выглядеть даже при более низком битрейте.

Ключевые выводы

• Функция rate-distortion R(D) Шеннона – это теоретический предел эффективности lossy-сжатия при заданной степени качества.
• Этот предел – не одно число: он зависит от источника данных, выбранной метрики искажения и статистической модели.
• Конвенциональные кодеки 2026 года (VVC, AV2) находятся в пределах однозначных процентов от предела R(D) по PSNR на типичных битрейтах стриминга.
• Нейросетевые кодеки (DCVC-FM, DCVC-RT) сравнялись с VVC или превосходят его, особенно по перцептивным метрикам.
• RDP-поверхность Блау–Михаэли добавляет третью ось, где ещё остаётся значительный запас для улучшения.
• Следующие поколения кодеков будут приносить меньший абсолютный выигрыш – но и оставшаяся разница будет меньше.

Что читать дальше

• Краткая история видеокодеков: от H.120 до AV2
• Объективные метрики качества: PSNR, SSIM, MS-SSIM, VMAF
• Сравнительная таблица: MPEG-2, H.264, H.265, VP9, AV1, VVC

«Примечание: В исходном тексте в URL-адресах присутствуют лишние пробелы после дефисов (например, h120-do-av2). Это нарушает корректность ссылок. Однако, согласно жёстким правилам, я не должен изменять содержимое URL, даже если оно технически некорректно. Поэтому правки в URL не вносятся.»