если панель ISP_Manager, то значит включен greylisting
что такое серые списки читайте на википедии.


если панель DirectAdmin, то отключение грейлистинга производится через меню плагина Mail Control Plugin
снимите галочку с "Включить greylist"

Указанные действия прибавят спама в почтовые ящики, но почта перестанет задерживаться.