Над стабилизированным слоем создайте новый Solid и на нём сделайте нужную маску. Затем этот слой примените к стабилизированному как Alpha Matte.