1922年，徐世昌被吳佩孚、曹錕"逼宮"下野，結(jié)束了大總統(tǒng)的政治生涯，回到天津當起了寓公。與北洋政府其他下野官僚不同，徐世昌并沒有"伺機而動""東山再起"的野心，而是寄情于詩詞歌賦、書法繪畫，成為一個真正的"隱者".

　　與電視劇里奢侈富貴的貴族生活對比，徐世昌在天津做寓公之后，對家人日常生活要求嚴格，全家上下都過著儉樸單純的生活。徐家的日常家宴通常只有兩個菜，一葷一素，無論幾口人吃飯，一般情況下都不加菜。

　　每年八月十五中秋節(jié)，別人家吃月餅過節(jié)，徐家卻有"扣鍋"的傳統(tǒng)。這一天，全家上下不做飯，不吃主食，體驗"吃不上飯"的感覺。這是徐世昌給家人定的規(guī)矩，因為他年輕時曾經(jīng)一度落魄，所以格外珍惜此后得到的生活。即使在他過世十幾年之后，徐家后人依舊堅持著這條家規(guī)。

　　"總統(tǒng)夫人"也與人們想象的截然不同。徐世昌過世以后，還有兩位夫人與子孫們生活在一起。按照徐家當時的財力，擁有眾多房產(chǎn)，可以收租，也可以賣房子，鋪張浪費雖不至于，但一般的小康生活總還是可以應(yīng)付的。但在子孫的記憶里，晚年的"總統(tǒng)夫人"們生活非常儉樸，身上的長袍破了，打個補丁接著穿；穿得舊了，褪色了，花一毛錢買一包藍顏料，染了再穿。這些細節(jié)，如果是發(fā)生在某個普通工人的家庭，應(yīng)該不足為奇；但發(fā)生在徐世昌的夫人身上，就十分令人感慨了。

　　晚年的徐世昌患病，經(jīng)診察被認為是膀胱癌。當時正值抗戰(zhàn)初期，全中國人民都在積極抗日。寓居在英租界的徐世昌時刻關(guān)心著時局的變化，日本人嘗試邀請他擔(dān)任華北政府相關(guān)職務(wù)，被他嚴詞拒絕。1939年，北京有關(guān)方面曾邀請徐世昌到北京治病，本來他的病情可以通過治療得到緩解，但徐世昌擔(dān)心自己離開天津后會被日本人脅迫，權(quán)衡再三，他選擇了放棄治療。

　　1939年6月6日，徐世昌在泰安道的寓所里病逝。