然而现实对辛弃疾是严酷的。他虽有出色的才干，他的豪迈倔强的性格和执着北伐的热情，却使他难以在畏缩而又圆滑、嫉贤妒能的官场上立足。他也意识到自己“刚拙自信，年来不为众人所容”（《论盗贼札子》），所以早已做好了归隐的准备，并在江西上饶的带湖畔修建了园榭，以便离职后定居。果然，淳熙八年（1181）冬，辛弃疾四十二岁时，因受到弹劾而被免职，归居上饶。此后二十年间，他除了有两年一度出任福建提点刑狱和安抚使外，大部分时间都在乡闲居。

　　辛弃疾一向很羡慕啸傲山林的隐逸高人，闲居乡野同他的人生观并非没有契合之处；而且，由于过去的地位，他的生活也尽可以过得颇为奢华。但是，作为一个热血男儿、一个风云人物，在正是大有作为的壮年被迫离开政治舞台，这又使他难以忍受，“休说鲈鱼堪脍，尽西风，季鹰归未？求田问舍，怕应羞见，刘郎才气”（《水龙吟·登建康赏心亭》），所以，他常常一面尽情赏玩着山水田园风光和其中的恬静之趣，一面心灵深处又不停地涌起波澜，时而为一生的理想所激动，时而因现实的无情而愤怒和灰心，时而又强自宽慰，作旷达之想，在这种感情起伏中度过了后半生。“了却君王天下事，赢得生前身后名。可怜白发生”（《破阵子》），“却将万字平戎策，换得东家种树书”（《鹧鸪天》），在这些词句中，埋藏了他深深的感慨。宁宗嘉泰三年（1203），主张北伐的韩侂胄起用主战派人士，已六十四岁的辛弃疾被任为绍兴知府兼浙东安抚使，年迈的词人精神为之一振。第二年，他晋见宋宁宗，激昂慷慨地说了一番金国“必乱必亡”（《建炎以来朝野杂记》乙集），并亲自到前线镇江任职。

　　但他又一次受到了沉重打击，在一些谏官的攻击下被迫离职，于开禧元年（1205）重回故宅闲居。虽然后两年都曾被召任职，无奈年老多病，身体衰弱，终于在开禧三年秋天溘然长逝。

　　虽然，自中原失陷以来，表现对于民族耻辱的悲愤，抒发报国热情，已经成为文学的中心主题，辛弃疾的词在其中仍然有一种卓尔不群的光彩。这不仅因为辛弃疾生长于被异族蹂躏的北方，恢复故土的愿望比一般士大夫更为强烈，而且因为他在主动承担民族使命的同时，也在积极地寻求个人生命的辉煌，在他的词中表现出不可抑制的英雄主义精神。