Глава 5 из 6
Глава 5. Синхронизация звука и видео, метки времени
Девять статей по порядку – 2 часа 25 минут чтения. Ниже маршрут главы: высота каждого шага соответствует времени чтения.
Глава 5 из 6дальше: Пространственный звук, измерение качества и будущее
Рассинхрон губ измеряется в миллисекундах и допусках ITU-R BT.1359, а держится на метках времени: PTS и DTS, PCR в MPEG-TS, RTP и отчёты отправителя RTCP. Отдельно – дрейф часов, ресемплинг и методика проверки хлопушкой.
Маршрут главы
9 статей · 2 ч 25 мин5.1Что значит «в синхроне»: ITU-R BT.1359, окна lip-sync, заметностьЗвук и изображение почти никогда не доходят до ваших глаз и ушей одновременно – и это нормально, потому что человеческое…18 мин·от начала главы 0 ч 0 мин5.2PTS, DTS и метка времени элементарного потокаКаждый кадр аудио и видео содержит две временные метки: метку отображения (PTS), указывающую, когда его нужно показать,…16 мин·от начала главы 0 ч 18 мин5.3PCR в MPEG-TS: программные часы, на которых держится вещаниеТранспортный поток передаёт тысячи кадров аудио и видео в секунду, но ни одна временная метка не имеет смысла, пока…15 мин·от начала главы 0 ч 34 мин5.4RTP-метки времени, RTCP-отчёты отправителя и синхронизация по NTPВ реальном звонке аудио и видео передаются как два отдельных потока RTP-пакетов, и каждый из них использует свои…17 мин·от начала главы 0 ч 49 мин5.5Сквозная диаграмма меток времени: от захвата до рендерингаМежду микрофоном и динамиком аудио и видео проходят через шесть–семь разных временных доменов, и синхронизация губ…18 мин·от начала главы 1 ч 6 мин5.6Коррекция дрейфа: ресемплинг, drop и вставка кадровДва устройства в любом медиаконвейере работают на разных кварцевых генераторах, поэтому сторона, захватывающая аудио, и…14 мин·от начала главы 1 ч 24 мин5.7Lip-sync в WebRTC: как это делают mediasoup, Pion и LiveKitWebRTC обеспечивает синхронизацию голоса говорящего с движением его губ, используя две разновидности временных меток для…16 мин·от начала главы 1 ч 38 мин5.8Lip-sync в HLS и DASH: где он обычно ломаетсяВ адаптивном стриминге через HLS и DASH аудио и видео передаются как отдельные дорожки сегментов, которые плеер…17 мин·от начала главы 1 ч 54 мин5.9Методика тестирования lip-sync: хлопушки, time-of-flight, перцептивные проверкиТестирование lip-sync означает измерение задержки между моментом, когда звук должен быть услышан, и моментом, когда…14 мин·от начала главы 2 ч 11 мин
Строите такую систему?
Поможем выбрать кодек и собрать пайплайн под ваши объёмы – 20 лет в видеоразработке, 250+ проектов.