辛弃疾的屡遭贬斥的生涯是从淳熙八年(1181年)冬开始的，这一年，他已经四十二岁。刚被调任浙西路提点刑狱公事，还没有完全熟悉工作，就遭到了台臣的弹劾，弹劾理由是：“用钱如泥沙，杀人如草芥。”

在许多呈送上来的证据面前，辛弃疾没有辩解，被孝宗皇帝指责贪得无厌，挪用官钱，“凭陵上司，缔结同类，愤形中外之士，怨积江湖之民”后，将他罢官。

被贬后，辛弃疾归隐于江西信州(今上饶)带湖，过起了躬耕陇亩、垂钓水滨的生活，并给自己取号为稼轩。意思是想要丰衣足食，就要自己动手。

在这段时间里，辛弃疾始终不能忘记的一件事仍旧是恢复中原。

直到十一年后的绍熙三年(1192年)，五十三岁的辛弃疾才被起用为福建提点刑狱。可是，两年后，谏官黄艾又弹劾他“残酷贪饕，好赃狼藉”，而且朝廷下令不许他为自己辩解，卷行李走人。

不过，朝廷也不是那么霸道，不让他辩解，当然会轻判，让他去主管建宁府武夷山冲佑观。就是这样一个小官，在一年后，也被御史中丞何澹弹劾，弹劾原因仍旧是“残酷贪饕，奸赃狼藉”。

辛弃疾不做任何辩解，而是跑到江西铅山县期思市瓜山，住了八年。接下来就是嘉泰三年(1203年)夏天，六十四岁的他才被起用为知绍兴府兼浙江东路安抚使。

不过一年后，他再次被贬，开禧元年(1205年)六月，他任隆兴府(今江西南昌)，刚到任一个月，有人就诬陷他“好色贪财，淫刑聚敛”，被免职提举冲佑观。