дело в том, что сам ютуб качество снижает, причём очень сильно, пользуйтесь специализированными сайтами типа Vimeo. Попробуйте выводить в m2v или в avc. Это только моё предположение и оно может быть и не совсем верным... Удачи!