как мне вывести фильм в этой программе в AVC/H 264/ 720X576 /MKV
Элементарно, окно вывода, вкладка DivX plus HD. справа шаблон полноразмерный, битрейт какой нравится, и вперед, на выходе получите настоящий mkv 720х576 (matroska).