我国《治安管理处罚法》第一百一十一条规定：“行政拘留的处罚决定被撤销，或者行政拘留处罚开始执行的，公安机关收取的保证金应当及时退还交纳人。”据此可知，行政拘留的处罚决定被撤销后，公安机关应当将收取的保证金及时退还交纳人。