根据我国《继承法》第19条的规定，遗嘱应当对缺乏劳动能力并且没有生活来源的继承人保留必要的遗产份额，以使没有劳动能力且没有收入的继承人可以获得维持生存所必需的遗产。因此，遗嘱是不可以拒绝分配遗产给有智力缺陷的儿女的。