根据我国《劳动合同法》第三十一条的规定：“用人单位要严格地执行劳动定额标准，不得强迫或者变相强迫劳动者加班。用人单位安排加班的，应当按照国家有关规定向劳动者支付加班费。”根据我国《劳动法》第四十一条规定：“用人单位由于生产经营需要，经与工会和劳动者协商后可以延长工作时间，一般每日不得超过一小时；因特殊原因需要延长工作时间的，在保障劳动者身体健康的条件下延长工作时间每日不得超过三小时，但是每月不得超过三十六小时。”标准工作时间以外延长劳动者工作时间和休息日、法定休假日安排劳动者工作，都是占用了劳动者的休息时间，都应当严格加以限制，高于正常工作时间支付工资报酬即是国家采取的一种限制措施。因此，劳动者拒绝加班的，用人单位不应该扣工资。