надо нарисовать в фотошопе черный кадр, вырезать в нем дырку нужной формы и сохранить в tif или png с альфаканалом. поскольку непонятно в каком формате исходное видео - сложно советовать в чем его можно обработать. но любая монтажка - премьер, эдиус справится с наложением картинки поверх видео. в результате дырка будет прозрачна и через неё будет видно видео. остальное будет залито черным.