По вашему скрину очень сложно определить в чём причина, но осмелюсь предположить.
При выделении прямоугольной области вы используете инструмент "прямоугольник с скруглёнными краями.
Поменяйте его нажав (именно нажав а не кликнув) на иконку инструмента левой кнопкой и выбрав нужный инструмент.
Если я не угадал, то дайте полный скрин рабочей области и подробнее опишите что вы делаете для получения маски.
Спасибо.