В файле c:\Users\Имя Учетки\AppData\Local\VEGAS Pro\№ версии Вегаса\fileio_x64.log нужно смотреть подгружает ли Вегас эти плагины, и если нет. Должны быть либо вот такие строки:
Loading cached renderer plugin 'Sony AVC File Format' from path 'C:\Program Files\VEGAS\VEGAS Pro 20.0\FileIO Plug-Ins\mp4plug3\mp4plug3.dll'
Loading cached reader plugin 'Sony MVC Format' from path 'C:\Program Files\VEGAS\VEGAS Pro 20.0\FileIO Plug-Ins\mvcplug\mvcplug.dll'
либо причина ошибки, хотя бы в таком варианте - Encountered error 0x80040002. Будет от чего оттолкнуться в дальнейших поисках решения проблемы.
И есть другой вариант -установить сторонний рендер -Voukoder - там есть h.264, и не только.