Да, вопрос конечно интересный...
Первое что приходит в голову - вывести видеомаску в сторонней программе, в том же Афтер Ефектс по размеру рамки.
Или закрывать футаж дубликатом фона с маской открывающей только рамку.
Получается так:
Футаж со своей маской. Выше ещё раз фон с прорезью под рамку. И сверху уже рамка.
Ответить с цитированием