Рендеринг при просмотре видео

[Жрец Нефтиды]

Чтобы не растечься мыслью по древу, ограничим исследование рендеринга следующими условиями: ПК, один Full HD монитор 32" или более, подсоединённый к компьютеру по HDMI. Нам потребуется плеер BE: в нём настройки и возможность тестирования рендеринга представлены полнее, чем в любых других плеерах.
Чтобы всё заработало идеально, тебе нужно установить Директ X энд-юзер рентаймс отсюда: [Для просмотра данной ссылки нужно зарегистрироваться]
Также плеер BE может потребовать установить Нет Фреймворк, если он у тебя ещё не установлен.
Рендеринг, в числе прочего, отвечает за два очень важных потребительских качества:
1. Алгоритм масштабирования изображения до разрешения монитора. Вот простой тест, и всё станет сразу понятно. Изображение сжато безпотерьным видео кодеком.
[Для просмотра данной ссылки нужно зарегистрироваться]
Пробуем различные рендеры. Просмотр ведём в полноэкранном режиме.
Системный рендер. В Win XP изображение масштабировалось по билинейному алгоритму. В Win 7 вообще произошёл откат на пиксельный алгоритм.
Самое лучшее масштабирование получается, если использовать Exchanged Video Renderer (custom presenter). Вот так, эти настройки будут оптимальны и для второго потребительского качества:
[Для просмотра данной ссылки нужно зарегистрироваться]
Пробуем. Видим, что изображение чёткое, приятное, без звона. Мне представляется, что поднимать A до -1 будет уже перебором.
Прогоним этот тестовый файл на других плеерах. Stereoscopic Player – билинейный алгоритм. Стандартный плеер от Билла, входящий в Win 7 – тоже билинейный алгоритм. KMP – ну это нужно видеть своими глазами, а то не поверишь. Попробуй также, если захочешь, на плеерах типа "дорогущий" и "навороченный". Любителей Win 10 прошу прогнать этот файл на BE с системным рендером и на встроенном в десятку плеере и отписаться, а ещё лучше приложить снимок полноэкранного режима.
Может показаться, что данный тест натянутый: реально видео с разрешением 50x50 не встречается. Тест на то и тест, чтобы явно высветить достоинства и недостатки. Лично я хорошо вижу разницу, когда фильм 720x576 масштабируется до HD разрешения монитора по бикубическому и билинейному алгоритму.
Замечу, что если мы сохраняем плеером BE кадр, используя Exchanged Video Renderer, то он будет отмасштабирован. Например, исходник 720x576 AR 16:9, то получим bmp 1024x576. Чтобы сохранить кадр с исходным разрешением, нужно переключиться на системный рендеринг.
Кое-где можно услышать бубн, что, типа, бикубический алгоритм при увеличении разрешения подчёркивает артефакты. Это о каких таких артефактах-то идёт речь? Если смотреть рип, то быть может. В фильмах же исходного DVD качества никаких артефактов, которые подчёркивал бы бикубический алгоритм, нет.
2. Синхронизация частоты кадров фильма с частотой обновления монитора. Вот на эту тему в русскоязычной Сети я вообще не нашёл толковых статей. Всё, что я обнаружил, является переводом трёх английских статей.
Поэтому попробуем разобраться сами.
В этих статьях и их переводах муссируется мысль, что если частота кадров фильма = 25, а частота обновления монитора = 60, то напрямую достичь качественной синхронизации невозможно. Для точной синхронизации авторы предлагают, имхо, некие совершенно левые замороченные подходы и программы, вплоть до ковыряния в мониторе. Я же покажу, как можно достичь идеальной синхронизации только комбинацией настроек плеера и сплиттера.
Итак, задача: монитор 60 Гц (для примера). Нужно, ничего не ковыряя в настройках монитора и в самом мониторе, выполнить настройки по принципу "установил и забыл". То есть задать такие параметры, которые обеспечат идеальную синхронизацию для фильма с любой частотой кадров. Я приведу эти настройки, а в конце статьи опишу тест, доказывающий, что мы достигли желаемого результата. Ещё раз хочу напомнить, что приведённые ниже настройки дадут идеальный результат для современного ЖК монитора типа Панасоник, подсоединённого по HDMI. Древнеегипетского старья VGA у меня просто нет, так что проверить действенность данных методов для VGA мне просто не на чём. Поехали.
В плеере BE существует Sync Video Renderer. В подсказках плеера BE можно прочитать, что Sync Video Renderer – это то же самое, что и Exchanged Video Renderer, но имеет дополнительные средства синхронизации. Однако это не так! Хотя бы потому, что у этих рендеров совершенно разные опции. Sync Video Renderer нам не потребуется. В природе также существует рендер MadVR, замороченный, имеющий массу не относящихся собственно к рендерингу прибамбасов. Он нам тоже не потребуется.
На вкладке "Видео" задаём Exchanged Video Renderer (custom presenter). Параметры выставляем, как показано на фото в первом пункте. Почему 8-bit Integer? Потому что, во-первых, практически все файлы на сегодняшний день имеют такую битность, а во-вторых, мой Панасоник только столько и берёт. Так зачем здесь делать больше, а потом где-то понижать? По этой же причине нет птицы у 10-bit. Если до этого был задан другой рендер, то, чтобы вкладка с настройками синхронизации стала активной, нужно нажать "OK" и снова войти в настройки.
Активируем вкладку "Синхронизация кадров". Перед началом действий немного теории.
Начальные сведения о том, что такое синхронизация и зачем она нужна, по-русски сносно изложены здесь:
[Для просмотра данной ссылки нужно зарегистрироваться]
VSync означает "вертикальная синхронизация". У термина "вертикальная синхронизация" два сходных значения. Первое значение – это те моменты времени, в которые нужно посылать изображение на монитор. Время между двумя вертикальными синхронизациями равно времени между обновлениями монитора. Например, для монитора 60 Гц время между вертикальными синхронизациями составляет 1/60 = 16,67 миллисекунд. Практически никогда тот момент времени, когда, исходя из fps, нужно воспроизводить кадр, не совпадёт с моментом вертикальной синхронизации. Если мы не предпримем никаких мер, то в этих случаях в верхней части экрана будет прорисован один кадр, а в нижней – другой кадр. Граница между этими кадрами проходит по горизонтали, и эта горизонталь может расположиться в любом месте экрана, от самого низа до самого верха. Такое безобразие называется разрывом кадра, или отсутствием синхронизации. Второе значение термина "вертикальная синхронизация" – это такая организация процесса воспроизведения, при которой в каждое обновление монитора всегда посылается один целый кадр. А не компот из двух идущих один за другим кадров. Если вертикальная синхронизация достигнута, то на всём экране, снизу до верху, всегда будет прорисован один кадр.
На всякий случай. Понятия "горизонтальная синхронизация" не существует. Просто невозможно, чтобы в левой части экрана был прорисован один кадр, а в правой – другой.
Просмотр видео на современном железе можно организовать двумя способами: видео разжимается и декодируется до RGB центральным процессором при помощи программы-декодера (например, ffdshow) и уже в разжатом RGB виде подаётся на видеокарту, либо по принципу DXVA, то есть видео разжимается и декодируется в самой видеокарте. Какой бы из этих двух способов мы ни выбрали, оптимальные настройки рендера будут одинаковыми. Рендер не занимается декодированием. У него другая задача: продвинуть кадры на графический процессор (видеокарту) таким образом, чтобы достичь синхронизации, и выполнить масштабирование. Я не буду в десятый раз доказывать, что декодирование центральным процессором даёт более точно соответствующее исходнику изображение. И синхронизация при декодировании ЦП получается слегка лучше, чем при задействовании DXVA. В этом ты сможешь сам убедиться, когда дойдём до тестов. Вообще DXVA изобрели, чтобы разгрузить ЦП. Но у современных компьютеров быстродействие ЦП намного превосходит требуемое для воспроизведения даже HD фильмов. Так зачем же ещё разгружать ЦП?
Возвращаемся к опциям. Сейчас я приведу перевод по существу опций, активных для Exchanged Video Renderer (custom presenter). Исходные английские тексты взяты с сайта плеера [Для просмотра данной ссылки нужно зарегистрироваться]

"VSync"
Может использоваться для включения VSync. Обычно отключать VSync не рекомендуется, поскольку отключение VSync удалит из обработки много исправлений потока. Отключение этой опции целесообразно только для отладки.
Птицу не ставим! Почему? Скоро поймём.

"Аккуратный VSync"
Может использоваться для включения точного VSync. Если точный VSync отключён, использование центрального процессора слегка уменьшится, особенно когда альтернативный VSync также отключён.
Ну насчёт того, что "использование ЦП слегка уменьшится", я бы поспорил. У меня как раз увеличивалось.
Птицу не ставим.

"Альтернативный VSync"
Включение альтернативного VSync обойдёт установленный по умолчанию VSync, встроенный в D3D. Он зачастую может избавить от проблем разрыва и является предпочтительным режимом, нежели просто VSync, если Ваши аппаратные средства/драйверы совместимы с ним.
Птицу ставим. Вот теперь стало понятно, почему мы удалили птицы у двух предыдущих опций. Хоть для альтернативного VSync и сказано, что он обойдёт, но это не так. Если бы мы оставили включёнными обычный VSync и аккуратный VSync, то они бы встревали в дело, и результат был бы хуже, чем при использовании чисто альтернативного VSync. Заметим, что на вкладке "Видео" птица нужна у опции "Полноэкранный Direct3D". Эта опция не конфликтует с альтернативным VSync, а наоборот, улучшает результат в полноэкранном режиме.

"Заполнить GPU перед VSync"
Оригинальное английское название – "Flush GPU before VSync". Flush имеет много значений, в том числе и прямо противоположных: затоплять, наполнять до краёв, смывать, очищать, способствовать росту, возбуждать, воспламенять, взлетать, обильно течь, воодушевить. Исходя из последующего объяснения, я бы перевёл этот глагол как "ускорять".
Ускорение графического процессора перед вертикальной синхронизацией уменьшит вероятность разрыва, поскольку это вынуждает графический процессор подготовить кадр к подаче как можно скорее. Таким образом, кадр будет готов к подаче на VSync.
Я бы назвал эту опцию так: "Ускорить графический процессор видеокарты перед вертикальной синхронизацией".
Птицу не ставим. Не ставим.

"Заполнить GPU после представления"
Ускорение графического процессора после вертикальной синхронизации уменьшит вероятность разрыва, поскольку это вынуждает драйвер реализовать подачу кадра как можно скорее.
Я бы назвал эту опцию так: "Ускорить графический процессор видеокарты после подачи кадра".
Птицу ставим.

"Ожидать заполнения" – в оригинале "Wait for flushes".
This will cause the renderer to spin, waiting for the GPU flushes. This can be useful if the driver for some reason will ignore single flushes and will also enable the GPU time statistic.
Это заставит рендеринг войти во "вращательный режим", ожидая ускорения графического процессора. Это может быть полезно, если драйвер по некоторым причинам проигнорирует единичные операции по ускорению, а также позволит использовать статистику времени графического процессора.
Мои наблюдения показали, что если мы поставим здесь птицу, то расстояние между зелёной и красной линиями на графике увеличится. Я бы назвал эту опцию так: "Выделить рендеру дополнительное время, за которое графический процессор видеокарты успеет ускориться".
Будем считать, что драйвер у тебя хороший и ничего не проигнорирует. Тем не менее птицу ставим.
Мне представляется, что влияние включения и выключения трёх последних опций на достижение оптимального результата зависит от железа, и в первую очередь от видеокарты. Так что поэкспериментируй.

"Сдвиг VSync" оставляем на 0.

"Отключить эффекты рабочего стола" – птицу ставим.

"Включить коррекцию времени кадра"
Включите это только тогда, когда имеет место "заикание" видео из-за неисправного декодера или сплиттера. Например, контент VC-1 в контейнере M2TS на blu-ray в настоящее время нуждается в этом.
Птицу не ставим.
OK.

Есть ещё три важных параметра, которые нужно настроить.
На момент написания этой статьи последний релиз плеера BE был 1.5.1. В этом релизе хорошо прописаны все сплиттеры (называемые здесь "фильтры источников"), кроме ts. Причём фильтр источника ts из BE не позволяет достичь хорошей синхронизации не только для контента VC-1, но и для любого другого контента. Поэтому в настройках плеера нужно отключить фильтр источника MPEG/PS/TS/PVA и задействовать соответствующий сплиттер из LAV. В LAV этот сплиттер доведён до совершенства, и никакого "заикания" и "запинания" просто не будет. А что же изменится, если мы отключим также и все остальные фильтры источников в BE и будем всё сплиттерить через LAV? По моим наблюдениям, не изменится ничего.
Второй параметр. Идём "Настройки" – "Встроенные фильтры" – "Видео декодеры" – "Настройка видеодекодера". В графе "Число потоков декодирования" выставляем точно количество физических ядер в твоём процессоре. А не число нитей, не авто, и не что-то другое. Если ты декодируешь ffdshow, то в его настройках тоже нужно задать число физических ядер процессора. Например, у меня "DualCore Intel Celeron G1840, 2800 MHz (28 x 100)", и я выставляю 2. А не число нитей = 8.
Третий параметр. Идём в панель управления видео картой и везде задаём "Использовать настройки видеоплеера". "Выходной динамический диапазон" задаём "Полный". Процессор для PhysX лучше задать ЦП.
С настройками всё. Выставили все эти настройки один раз и навсегда, и забыли.

[Жрец Нефтиды]

Переходим к самому интересному – полевым испытаниям.
Вначале берём любой HD фильм с разрешением 1920x1080, то есть такой фильм, разрешение которого равно разрешению монитора. Запускаем на BE. "Вид" – "Настройки рендеринга" – "Тест дрожания" (который правильнее было бы назвать тестом на разрыв). Раздвигаем на весь экран. Наблюдаем за двумя ползущими красными вертикальными полосами. Видим, что они ровные, без "ступеньки", и движутся плавно. Выгружаем BE.
Снова запускаем фильм. "Вид" – "Настройки рендеринга" – "Показать статистику". Вот на этом тесте мы застрянем надолго.
В правом нижнем углу видим ползущий график. Он, пожалуй, самый важный показатель синхронизации. По вертикальной оси отложено время. Одно деление соответствует одной миллисекунде.
Однозначно, что чем ровнее на этом графике красная и зелёная линия, тем лучше. Видим, что при предлагаемых выше настройках обе линии ровные и имеют лишь незначительные пульсации. Добиться абсолютно ровных линий, видимо, невозможно в принципе, потому что погрешность в реальных физических процессах всегда присутствует.
Пробуем HD видео с разной fps: 23,976, 24, 25, 29,97, 30… Видим, что линии остаются ровные.
Теперь испытываем видео с разрешением 720x576. Линии стали чуть менее ровными. Это законно: теперь рендеру нужно ещё и отмасштабировать изображение. Но всё равно пульсации незначительные, намного меньше тех гор и впадин, что показаны в английской статье.
Пробуем играть с опциями. Для начала можем попробовать Sync Video Renderer. Увидим, что результат намного хуже. К тому же если мы в нём выберем "Синхронизировать дисплей с видео", то он будет вставлять пустые строки и колонки. Мне вовсе не хочется, чтобы в моё видео чего-то там вставляли.
Возвращаемся к Exchanged Video Renderer (custom presenter). Некоторые опции сильно влияют на гладкость линий, другие же лишь слегка. Например, подъём числа буферов EVR от 5 до 20 лишь слегка улучшает гладкость, но всё же улучшает. В первую очередь попробуй поиграть комбинациями "Ускорить графический процессор видеокарты перед вертикальной синхронизацией" и "Ускорить графический процессор видеокарты после подачи кадра".
Также можно посмотреть визуально те участки фильмов, где, по замыслу, объект должен двигаться равномерно. При приведённых настройках так оно и будет. На старом же железе и ПО наблюдались рывки.
Кого интересует только практическая сторона дела, на этом может остановиться. Я же чувствую себя, как фараон из фильма "Фараон": "Мы их победили, но я абсолютно не понимаю, как".
Попробуем разобраться с линиями на графике. С зелёной линией всё понятно: она отображает тот момент времени, когда кадр будет прорисован на мониторе. То есть зелёная отображает, с позиции времени, тот конечный продукт, который мы увидим глазами. Слово "когда" здесь фундаментальное: синхронизация работает с параметром времени, а не с чем-то другим.
С красной линией сложнее. The red line represents the start of the vertical blank and, when everything flows smoothly, defines zero along the vertical axis. Физическую суть я не понял. В другом месте промелькнула фраза, что красная линия показывает представление кадров. Представление откуда? Куда?
Я перерыл уйму виртуальных хранилищ, где хоть что-то говорится о рендеринге и синхронизации. Все писания, которые я отыскал, ограничиваются начальными сведениями. Авторы быстро скатываются на синхронизацию для электронно-лучевых мониторов и на синхронизацию для игр. Глубинных прояснений физической сути дела я не нашёл. Ну что ж, эта тем будет первой (единственной?), где не будет сказано ни слова ни об играх, ни о древнеегипетских кинескопах.
Вот вопросы, которые мне пока не ясны.
1. Двадцать лет люди смотрят на экранах компьютеров фильмы. Состыковка частоты кадров фильма и частоты обновления монитора – одна из фундаментальных задач при просмотре. Где подробное описание, как всё происходит?
2. Что отображает красная линия на графике? Понятным и доступным языком.
3. Насколько верно, что расстояние по вертикали между красной и зелёной линиями показывает то время, которое пройдёт от представления (откуда, куда?) кадра до его визуализации на мониторе? Я почти уверен в этом, но хочу подтверждения.
4. С чем синхронизировано аудио? С зелёной линией? С красной? С чем-то другим?
5. Вернёмся к статье на русском, на которую я дал выше ссылку. Описанный там метод синхронизации, если разложить на пальцах, состоит в следующем. Момент времени вертикальной синхронизации почти всегда не совпадёт с тем моментом времени, когда кадр нужно воспроизводить по закону. Поэтому воспроизведение кадра отодвигается во времени вперёд до ближайшей синхронизации. Сдвиг может составить, для 60 Гц, от 0 до 16,67 мс. То есть каждый кадр будет воспроизводиться позже, чем положено по закону. Мы можем, конечно, сдвинуть видео по оси времени "назад" на 8,3 мс. Тогда половина кадров будет воспроизводиться раньше, чем положено, другая половина – позже, чем положено, и это раньше или позже будет лежать в диапазоне от 0 до 8,3 мс. Но это не сделает синхронизацию гладкой. Один кадр может воспроизвестись на 8 мс раньше, следующий – на 8 мс позже, и интервал между кадрами окажется на 16 мс больше (в другом случае меньше) положенного. Для fps=25 интервал между кадрами = 40 мс, и 16 сопоставимо с 40. В итоге дрыг. Вот так происходило дело во времена девяносто пятого виндузятника.
Сейчас такого нет. Как это достигается? В английской статье промелькнула идея об интерполяции. Сделаем простой эксперимент. Возьмём любое видео и, как есть, переконвертируем в avi XViD, изменив только частоту кадров на, скажем, 1,9. Смотрим. Видим, как и положено, движение рывками. Если бы присутствовала интерполяция, то она бы в момент воспроизведения сделала движение плавно-размазанным. На fps=25 эту тонкость можно и не уловить, а на 1,9 видно сразу. Нет, никакой интерполяции тут нет.
Смотрим на верхнюю строку статистики, где "Frame rate" и "clock". Видим, что эти два параметра при воспроизведении относительно плавно колеблются в большую или меньшую сторону от 100%. Это наводит на мысль, что частота кадров плавно изменяется в большую или меньшую сторону на протяжении отрезка из, скажем, 20 кадров. Изменяется таким образом, чтобы время, когда нужно воспроизводить кадр, максимально приближалось ко времени вертикальной синхронизации. Это – гипотеза, но ничего другого пока не приходит.
Итак, кому интересно – присоединяемся.

[Alfa2908]

Сообщение от Жрец Нефтиды

если частота кадров фильма = 25, а частота обновления монитора = 60, то напрямую достичь качественной синхронизации невозможно..

Жрец, это актуально для мониторов и старых телеков, новые телевизоры идут с частотой от 100 мегагерц, у меня, например, 800 мегагерц, для моего телека частота кадров по барабану, а лет через 5 для большинства людей это будет не актуально.
Это все имеет смысл только для любителей смотреть видео с монитора, на мой взгляд это контрольный просмотр, а настоящий по телевизору, вобщем это актуально для довольно узкого круга людей.

[Жрец Нефтиды]

У меня телевизор-монитор Панасоник 60 Гц, и написал я, что такая мысль проводится в тех статьях, а не в моей. И на этих 60 Гц удалось достичь синхронизации. Но вот некоторые моменты теории, как именно это оказалось достижимо, мне пока не понятны. А очень интересно докопаться до истины.

[aleks_nsk]

Жрец Нефтиды,
А кто тебе не даёт понизить частоту монитора до 50 Гц (за это отвечает видеокарта)?

[Жрец Нефтиды]

Я ждал этого вопроса. Он отражён в английских статьях, и с их мнением я согласен. Так вот, у моего Панаса действительно есть 50 Гц. Но, как сказано в тех статьях, всегда есть погрешность. Из-за неё новый кадр не всегда точно впишется в обновление монитора. К тому же ставить на 50 имеет смысл для фильмов с fps=25, а где-то с половина моего фильмозапаса -- это уже Full HD с 23,976. На практике же выставление на 50 только увеличило волны на красном и синем графике. Даже для фильмов с 25. Попробовал на разных исходниках. Так что 60 "установил и забыл" лучше.

[Жрец Нефтиды]

Исследование системного рендеринга.
Если мы задействуем системный рендеринг, то запустить движущиеся полосы в плеере BE невозможно. Для исследования я изготовил тестовые файлы, которые представляют собой движущиеся полосы, в точности такие же, какие мы можем запустить для VBR. Вот эти тесты:
[Для просмотра данной ссылки нужно зарегистрироваться]
Все эти файлы одинаковы, различаются лишь fps.
Пробуем.
Видим, что разрыва кадров нет. Ни в полноэкранном режиме, ни в оконном. По данному параметру системный рендеринг превосходит EVR, так как у EVR имеют место разрывы в оконном режиме.
Запустим эти файлы в стереоскопике. Разрывов абсолютно нет. Это радует: стереоскопик пока незаменим для просмотра анаглифа. А масштабировать 3D не нужно: все оригинальные 3D фильмы имеют разрешение 1920x1080, как и разрешение Full HD монитора.
Казённый плеер от Билла. Тоже нет разрывов.
Теперь визуально пронаблюдаем за плавностью движения полос. Возьмём самый трудный тест 28, ничему не кратный. Некоторые рывки есть. Теперь прогоним этот же самый 28 на EVR. Рывки тоже есть. Зрительно вроде бы такие же, как и у системного, а может, чуть меньше. (Исследования я проводил на Панасонике с частотой 60).
Ты можешь при помощи Виртуал Даба в прямоточном режиме создать из любого из этих файлов файл с нужной тебе частотой. Например, 58. И пронаблюдать, как он будет смотреться на твоём мониторе.

[Жрец Нефтиды]

В последнем обновлении плеера BE 1.5.3 исчез альтернативный VSync. Жаль. Зато собственно VSync стал работать несколько лучше. Вот у него и ставим птицу. Проверил на тестовых файлах. Вторая опция теперь называется "Встроенный VSync". У неё птицы не ставим.
Нечто странное происходит с релизами плеера BE. Вначале был переключатель 709-601. Потом он исчез. Теперь исчез альтернативный VSync. А также из настроек видео декодера исчезло отключение деблокинга h264. Нужно поэкспериментировать и посмотреть, есть деблокинг или нет. Я не понимаю, почему исчезают нужные опции, хотя, по идее, релизы должны развиваться.