Настройки в кодере? Что именно нужно настроить? большинство настроек любого кодера направлены на уменьшение размера конечного файла, по возможности, не в ущерб качеству, но отнюдь не на улучшение картинки - любое сжатие -это потери информации. Вегасовские шаблоны редера настроены на стандартные задачи, оставляя юзеру значимые настройки -размеры кадра и битрейд. В этой ситуации я бы попробовал вывести из Вегаса в ProRes, в 16 это, кажется, уже обозвали Intermediate. Из остальных FX наложенных в Вегасе такого эффекта не даст ни один, хотя стоило бы взглянуть на настройки ColorFast. Если и тут -нет, нужно "сдать анализы" - настройки Проекта, настройки рендера, крайне желателен кусочек исходника.