乾隆三十五年（1770年），调守广州知府。获海盗一百八人，按律皆当死，乃条别其轻重，戮其魁，馀多遣戍。乾隆三十六年，经调部引见，赵翼任贵州贵西兵备道道员，任上，他查处两铅厂谋私利造成亏空的大小官员。改任贵西道经历，他又除掉短缺工资运费的多种弊端。

　　乾隆三十七年，上司知道他在云南参予过缅甸之役的军务，略次建功之际，在广州平海盗处理的谳大狱旧案事发，赵翼受弹劾被交部议而降级。乾隆三十八年，奉旨被吏部引见时，他以老母年事高为由，告假回乡，不再复出为官，朝廷准允辞官。

　　乾隆四十五年（1780年）五月，他取道山东赴京，打算在宦海竞渡中再决雌雄。行至台儿庄，忽患风疾，双臂不能自主，他只好向命运屈服，掉头南归。从此开始了长达三十余年的归隐生涯。

　　乾隆五十二年（1787年），台湾发生林爽文事件，闽督李侍尧征台湾，道常州，邀请赵翼入幕商研。赵翼出谋划策，指出：靠省钱成功晚，反不如多花费用，给足军需，早些攻克成功，反而省钱。台湾林爽文起义因而被镇压平息。李侍尧奏明皇上，想要启用赵翼。赵翼坚决辞官，既归，复以著述自娱。主讲安定书院。往来常苏间，所至名流倾倒，传写诗篇，江左纸贵。与钱塘袁枚、铅山蒋士铨齐名，如唐之“元、白”，合称“江右三大家”。而君高才博物，既历清要，通达朝章国典，尤邃于史学，非袁、蒋所及也。存诗近五千首，以五言古诗最有特色，亦为“毘陵七子”之一。赵翼与袁枚、张问陶（船山）合称“乾嘉性灵派三大家”。

　　家居数十年，手不释卷。所撰《廿二史札记》三十六卷，钩稽同异，属辞比事；其于前代弊政，一篇之中三致意焉。又撰《陔馀丛考》四十三卷、《檐曝杂记》六卷，虽未逮《日知》《养心》，并足为多闻之助。其馀《皇朝武功纪盛》四卷，亦征史才。所为诗，无不如人意所欲出，不拘唐宋格律，自成一家。有集五十三卷。又《唐宋十家诗话》十二卷。

　　嘉庆十五年（1810年），重赴鹿鸣宴，赐三品冠服。

　　嘉庆十九年（1814年）卒，享年八十六。