不能不退赃只交罚金。罚款是刑罚的附加刑之一。赃物返还是处理违法所得的一种方式，不属于刑罚类型。对于赃物返还，犯罪分子违法所得的一切财产应当追缴或者责令退还；被害人的合法财产应当及时返还；犯罪所用的违禁品和财产应当没收。由此可见，赃物返还与罚款不是选择关系，判决罚款的同时，仍可以要求追缴或者返还违法所得。
【本文关联的相关法律依据】
《中华人民共和国刑法》
第六十四条  犯罪分子违法所得的一切财物，应当予以追缴或者责令退赔;对被害人的合法财产，应当及时返还;违禁品和供犯罪所用的本人财物，应当予以没收。没收的财物和罚金，一律上缴国库，不得挪用和自行处理。