Ну насчёт того, что ютубовские файлы на вид похожи на оригинал, я бы очень поспорил.
Насколько я понял, суть твоей проблемы в том, что в твоей монтажке ты не можешь добраться до всех параметров кодека h264. Поэтому качество проседает. Вот я, как вариант (может и не самый лучший), предлагаю: в монтажке ты жмёшь безпотерьным кодеком, ничего не теряешь, а уже готовый файл пережимаешь кодеком с потерями. Например, бородатым иксвидом
[Для просмотра данной ссылки нужно зарегистрироваться] Если пережмёшь, как я написал, потерь на глаз не заметишь. Есть у меня также тема и про пережатие в h264.