红字发票用收回之前的发票吗

公司2020年9月收到贷款公司（小规模纳税人）开进的利息发票，票面利率1%。2021年2月份，发现税率开具错误，应按3%开具，经协商对方开具红字发票后，重新开具蓝字发票。

对方单位要求把原发票退回，但我们公司已入账并已装订入册，要不要把发票退回呢？

根据《国家税务总局令》第37号第四章第二十七条：开具发票后，如发生销货退回需开具红字发票的，必须收回原发票并注明“作废”字样或取得对方有效证明。开具发票后，如发生销售折让的，必须在收回原发票并注明“作废”字样后重新开具销售发票或取得对方有效证明后开具红字发票。

根据税总货便函【2017】127号附件《增值税发票开具指南》规定：纳税人开增值税普通发票后，如发生销售退回、开票有误，应税服务中止等情形但不符合发票作废发票作废条件或因销售部分退回及发生销售折让，需要开具红字发票的，应收回原发票或取得对方有效证明。

以上规定中“有效证明”是什么意思？ 我们公司是不是可以不退回原发票？