行政机关及其执法人员当场收缴罚款的，必须向当事人出具国务院财政部门或者省、自治区、直辖

否

解析：

《中华人民共和国行政处罚法》

第六十六条行政处罚决定依法作出后，当事人应当在行政处罚决定书载明的期限内，予以履行。当事人确有经济困难，需要延期或者分期缴纳罚款的，经当事人申请和行政机关批准，可以暂缓或者分期缴纳。第六十七条作出罚款决定的行政机关应当与收缴罚款的机构分离。除依照本法第六十八条、第六十九条的规定当场收缴的罚款外，作出行政处罚决定的行政机关及其执法人员不得自行收缴罚款。当事人应当自收到行政处罚决定书之日起十五日内，到指定的银行或者通过电子支付系统缴纳罚款。银行应当收受罚款，并将罚款直接上缴国库。第六十八条依照本法第五十一条的规定当场作出行政处罚决定，有下列情形之一，执法人员可以当场收缴罚款：(一)依法给予一百元以下罚款的;(二)不当场收缴事后难以执行的。第六十九条在边远、水上、交通不便地区，行政机关及其执法人员依照本法第五十一条、第五十七条的规定作出罚款决定后，当事人到指定的银行或者通过电子支付系统缴纳罚款确有困难，经当事人提出，行政机关及其执法人员可以当场收缴罚款。第七十条行政机关及其执法人员当场收缴罚款的，必须向当事人出具国务院财政部门或者省、自治区、直辖市人民政府财政部门统一制发的专用票据;不出具财政部门统一制发的专用票据的，当事人有权拒绝缴纳罚款。第七十一条执法人员当场收缴的罚款，应当自收缴罚款之日起二日内，交至行政机关;在水上当场收缴的罚款，应当自抵岸之日起二日内交至行政机关;行政机关应当在二日内将罚款缴付指定的银行。第七十二条当事人逾期不履行行政处罚决定的，作出行政处罚决定的行政机关可以采取下列措施：(一)到期不缴纳罚款的，每日按罚款数额的百分之三加处罚款，加处罚款的数额不得超出罚款的数额;(二)根据法律规定，将查封、扣押的财物拍卖、依法处理或者将冻结的存款、汇款划拨抵缴罚款;(三)根据法律规定，采取其他行政强制执行方式;(四)依照《中华人民共和国行政强制法》的规定申请人民法院强制执行。行政机关批准延期、分期缴纳罚款的，申请人民法院强制执行的期限，自暂缓或者分期缴纳罚款期限结束之日起计算。第七十三条当事人对行政处罚决定不服，申请行政复议或者提起行政诉讼的，行政处罚不停止执行，法律另有规定的除外。当事人对限制人身自由的行政处罚决定不服，申请行政复议或者提起行政诉讼的，可以向作出决定的机关提出暂缓执行申请。符合法律规定情形的，应当暂缓执行。当事人申请行政复议或者提起行政诉讼的，加处罚款的数额在行政复议或者行政诉讼期间不予计算。第七十四条除依法应当予以销毁的物品外，依法没收的非法财物必须按照国家规定公开拍卖或者按照国家有关规定处理。罚款、没收的违法所得或者没收非法财物拍卖的款项，必须全部上缴国库，任何行政机关或者个人不得以任何形式截留、私分或者变相私分。罚款、没收的违法所得或者没收非法财物拍卖的款项，不得同作出行政处罚决定的行政机关及其工作人员的考核、考评直接或者变相挂钩。除依法应当退还、退赔的外，财政部门不得以任何形式向作出行政处罚决定的行政机关返还罚款、没收的违法所得或者没收非法财物拍卖的款项。第七十五条行政机关应当建立健全对行政处罚的监督制度。县级以上人民政府应当定期组织开展行政执法评议、考核，加强对行政处罚的监督检查，规范和保障行政处罚的实施。行政机关实施行政处罚应当接受社会监督。公民、法人或者其他组织对行政机关实施行政处罚的行为，有权申诉或者检举;行政机关应当认真审查，发现有错误的，应当主动改正。