Чтобы контуры были мягче, их либо растушевывать после выделения на пару пикселей (Shift+F6), либо размывать маску по Гауссу на те же пару пикселей.