杜衍是宋仁宗时期颇负盛名的贤相之一，资历深，口碑好。庆历七年（1047），杜衍上书请求挂印退休，得到了宋仁宗的批准。

　　杜衍为政清廉，平时从不营殖私产，以至于退休后连几间像样的房子都没有，只好寄居在南京应天府（今河南商丘）的回车院。宋代各地都建有回车院，有的作为官员卸任后等待接任者到来的临时住所，有的作为驿站之用，相当于官员招待所。杜衍在回车院一住就是十年，吃住简陋，寄人篱下，却从无抱怨。杜衍不好酒，即便有客造访，也只是“粟饭一盂，杂以饼饵，他品不过两种”。简简单单，丝毫没有玉食笙歌的做派。杜衍一向为人低调，退休后的他，更是朴实如田夫野老，有人劝他着居士服，他却说：“老而退休，哪能以高士自居呀！”他或出游，或读书，或吟诗，还开始练习草书，追求精神的丰满，不追求物质的奢华，过着清贫自乐的生活。

　　然而，低调做人的杜衍，在退休的日子里却发生了两件让人啼笑皆非的事情。

　　据宋人朱彧《萍洲可谈》记载，一次河南府（今河南洛阳）举行宴会，作为退居二线的老领导，杜衍应邀出席。酒席筵前，习惯于不事冠带的杜衍，戴着居家便帽，穿着深色便装，端坐一隅，默不作声。

　　事也凑巧，河南府尹有事出去一会儿，府里的差役又不认识这位曾经声名显赫的老宰相，这时，门口的差役报本路运勾到。当时的路相当于现在的省，河南府隶属京西北路，运勾是“转运使司勾当公事”职务的省称，为京西北路转运使司属官，相当于财政或税务厅领导，官不大，实权大。于是，大家纷纷起身，向这位财神爷打招呼、套近乎。

　　运勾是个年轻人，靠长辈的恩荫当上了转运使司官员，少年得志，职务不大脾气却不小，见一糟老头既不打躬也不作揖，像钉子一样钉在凳子上不动，不禁火冒三丈，厉声问道：“足下前任甚处？”杜衍头也不抬，轻声回答：“同中书门下平章事（宰相）。”真是不鸣则已，一鸣惊人，年轻的官员顿时面红耳赤、呆若木鸡。

　　还有一次，一位名列前茅的新科进士，被朝廷安排到边关出任副职，路经应天府，知府王举正得知他才华出众、年少登科，估计前途无量，便把府里那些“牙兵宝辔旌钺”全部安排出来，为这位新贵禁卫开路。应天府的街道上顿时热闹了起来，只见彩旗飘飘、鼓声阵阵，场面盛大，引得老百姓驻足围观，纷纷猜测这是哪位朝廷要员来视察呢。

　　正好杜衍出门归来，与新贵的队伍狭路相逢，无路可避，杜衍便拉下帽檐儿，竖起衣领，放慢马步，靠边让路。两个仆人也拉住马，停于路旁。然而，新贵却因杜衍一行没有下马而十分恼怒，没好气地问身边的随从，这是谁呀？随从回答，这是退休宰相杜太师啊……

　　杜衍居回车院十年，最后逝于此处，可谓低调开始，清苦至终。据《宋史·杜衍传》记载，杜衍去世前留下遗言，嘱咐儿子们在自己死后不得铺张浪费，仅以一枕一席、低小的坟墓殓葬。虽然位极人臣，杜衍将死之时还如此低调行事，无疑给那些一得志就忘形的人上了很好的一课。