Лилия, рад что вы разобрались с проблемой! Обводить рамки — рискованная задача, очень легко ошибиться. При таких чётких границах проще воспользоваться другим инструментом выделения, например "волшебной палочкой".
Поняла, почему рамка неровной получилась - когда делала градиентную рамку, не совсем ровно обвела тонкую светлую, а после маски и изменения режима наложения край скрадывался. Все исправила.
Рискованная - не то слово, сделала с десяток дублей, уже начала посматривать в сторону других средств выделения и вдруг все получилось :)
А ещё проще держать градиент и остальное изображение на разных слоях...
После одного печального опыта я именно так и делаю :)