土肥原贤二入津密会段祺瑞的事情很快公开，不仅上海各团体纷纷忠告段祺瑞、吴佩孚不要被日本人利用，蒋介石更是通过国民党皖籍要员吴忠信引见，在北京饭店会晤段祺瑞的侄子段宏纲，提出希望段祺瑞南下，但其时段祺瑞已经年近七旬，想在北方颐养天年，所以没有同意。蒋介石就派人送去巨款，以保障段祺瑞一家人的日常开销。1933年1月，外间盛传日本人要劫持段祺瑞并胁迫其组织华北政府，蒋介石急忙命交通银行董事长钱永铭携蒋介石的亲笔信到天津见段祺瑞，信中蒋介石再次恳请段祺瑞“南下颐养”，并随时“就商国事”，段祺瑞自感局势动荡，遂表示“如介石认为我南下于国事有益，可以随时就道”。
于是在1月21日，段祺瑞秘密离开天津，于翌日抵达南京浦口车站，抵达当日，蒋介石亲率所有少将级以上的军官到车站迎接，蒋介石更是一身戎装，见到段祺瑞即敬礼，因为早年间曾在段祺瑞主持的陆军军官学校就读，蒋介石对段祺瑞乃以师徒之礼相敬。24日，段祺瑞移居上海，住在法国租界霞飞路1487号军事参议院院长陈调元的公馆。1936年11月1日，段祺瑞胃病发作，于上海宏恩医院医治无效病逝，享年七十二岁。在弥留之际，段祺瑞留下亲笔遗嘱，向政府提出“八勿”：勿因我见而轻起政争；勿尚空谈而不顾实践；勿兴不急之务而浪用民财；勿信过激言行之说而自摇邦本；讲外交者，勿忘巩固国防；司教育者，勿忘保存国粹；治家者，勿弃国有之礼教；求学者，勿鹜时尚之纷华。3日，行政院决议给予国葬，于右任、张群、居正等要员亲往致哀，上海亦下半旗志哀。11日，灵柩运抵北平西山卧佛寺后殿。抗战爆发后埋葬于西郊白石桥附近，解放后移至北郊清河镇，后又于1963年秋移葬于北京西郊香山附近万安公墓，章士钊亲题墓碑。