赵翼的先祖是宋代宗室，到了他的祖父尚且为官儒林郎，后家道开始中落。他的父亲赵惟宽，字子容，以设塾授业为生。赵翼自六岁起，即随父亲就读于外。十二岁为制举文，一日能成七艺，人皆奇之。乾隆六年（1741年）他的父亲在一家姓杭的大户家教书时去世。赵翼孤苦伶仃，无以养弟妹。杭家怜悯他，遂留他继承父业，继续教书。当时他仅15岁。十九岁入府学，成为秀才。在此后的数年中，他一直应聘为富家课徒。

　　乾隆十四年（1749年），私塾职被解雇，饥寒驱迫他离家北上，投奔作幕于京城的亲戚。时年二十三岁。抵京后，赵翼以其文才受知于刑部尚书兼翰林院掌院学士刘统勋。刘文正公延至家，纂修《国朝宫史》三十六卷。该书后来在乾隆三十五年完稿出版。

　　翌年秋，他在顺天乡试中一举克捷，中乾隆庚午科北榜举人，又考中明通榜。由于主考官汪由敦的器重，自同年冬起，赵翼在结束《国朝宫史》的编写之后，又被聘入汪氏幕署。汪氏家中富于藏书，加以汪由敦本人深于文学，又极爱赵才。积以日月，赵翼的诗文修养不觉大进。在此期间，赵翼虽在会试中败北，但仍然以文理畅通而先后考取礼部教习、内阁中书。

　　乾隆二十一年（1756年），入直军机。此时正值清廷兴兵征计西北准噶尔，军事文书往返频繁，为赵翼崭露头角提供了良机。尹文端公、傅文忠公咸倚重之。其扈从行在，或伏地草奏，下笔千言，文不加点，一切应奉文字，几非君不办。

　　乾隆二十六年（1761年）成进士。殿试拟第一，高宗以清代陕西未有元，因取第三，卷互易，即王文端也。授翰林院编修。担任方略馆纂修官撰文，修《通鉴辑览》。京察一等后，记名以备用为道员知府。乾隆二十七年（1762年），在顺天府乡试任同考官。乾隆二十八年（1763年），赵翼出任会试同考官。乾隆三十年（1765年），出任顺天武举主考官。

　　乾隆三十一年（1766年）冬，出任广西镇安知府。到任后，他视察全境。当时因购马补济滇军，有关部门改用大筐代替旧小筐收敛粮食。百姓怨声载道。赵翼允许改回旧筐纳粮，改变了常平仓谷出轻入重的弊端。同时对横征暴敛的监仓奴和书吏严加惩处，制定了各种利民的改革措施。镇安百姓感激涕零。后奉特旨，赴滇筹划与缅甸的战事。乾隆三十四年（1769年），重返广西镇安府原任。