Сначала определитесь - DVD или AVCHD. Это важно.
Далее, нужно начинать с исходников, точнее с их параметров.
Что у Вас?

На примере образца фильма "The Sky is the Limit", который поставляется вместе с программой PS20, при экспорте в DVD никаких ухудшений качества не наблюдается при стандартом пресете (720x576/50i, 16:9, 8500kbit/s).