1926年，段祺瑞被冯玉祥赶下台，隐居在天津的日租界，潜心修炼佛学，不再参与军阀混战。

九一八事变爆发以后，溥仪被日本人立为伪满洲皇帝，整个东北三省沦为日本的殖民地。

为了进一步侵略中国，他们开始把目光放在华北地区，土肥原贤二找到段祺瑞，想让他出来主持华北的事物。

段祺瑞言辞决绝了日本人的这个无理要求，继续自己的隐居生活。

蒋介石去北京视察工作，听说了段祺瑞被日本人邀请的事情，找来段祺瑞的侄子段宏纲。

据段宏纲的回忆： 蒋先生说自己是保定陆军学堂的学生，段公是我的老师，我因为公务太繁忙，不能前往天津看望先生。

这次会见后，蒋介石派吴忠信去天津拜访了段祺瑞，并送去两万元生活费。段祺瑞也因此改变了对国民政府的印象。

蒋介石写信多次邀请段祺瑞去南京，因为段祺瑞曾是北洋政府的国务总理，德高望重，日本人邀请不成，段祺瑞的人身安全已经得不到保障。

段祺瑞看到蒋介石盛情难却，第二天就乘火车抵达了南京。

蒋介石率领南京政府高官欢迎段祺瑞，而且给段祺瑞行了一个军礼，这个举动让段祺瑞大受感动。

到达南京以后的段祺瑞，做了两件让人意想不到的事情。

第一个就是拜谒了南京的中山陵。

第二个发表讲话力挺蒋介石和国民政府。

做完这两件事情以后，段祺瑞悄然离开了南京，在上海继续了隐居生活。

1936年，段祺瑞去世，蒋介石拨专款表达了慰问。以国葬的规格进行了安葬仪式。

段祺瑞的墓碑上只有寥寥合肥段公芝泉之墓这几个字。