Откуда в h.264 появился альфа-канал? Хватит над собой измываться, советовали же Лагарит!... Ну если не нравится, в связи с личными пристрастиями,то кодируй в Mov например