萬萬沒有想到的是，就在杜甫興衝衝地乘船開始南去郴州的旅程時，他晚年生涯中最悲慘的日子已經悄悄揭開了序幕。
因為彼時正值汛期，耒水暴漲，杜甫一家在舟裡漂泊一天，停泊在耒陽的方田驛，進退兩難，徒呼奈何。
洪水切斷了驛站的物資供應，已經五十九歲的杜甫和他的一家老小，竟然一連五天沒有吃上一頓飯。
杜甫有一首《逃難》詩，就是此時所作，詩曰：“五十頭白翁，南北逃世難。疏布纏枯骨，奔走苦不暖。已衰病方入，四海一塗炭。乾坤**內，莫見容身畔。妻孥複隨我，回首共悲歎。故國莽丘墟，鄰裡各分散。歸路從此迷，涕儘湘江岸。”當時的情形，真是忙忙如喪家之犬，狼狽至極。
後來，耒陽的聶縣令聽說了著名詩人在他屬地的遭遇，趕快特事特辦，派人專程跋山涉水給杜甫送來了燒牛肉和白酒，並且幫他和家人轉移到了安全的地方。杜甫一家這才脫離了饑寒交迫、命懸一線的困境。
杜甫寫下題目極長的一首五言詩《聶耒陽以仆阻水書致酒肉療饑荒江詩得代懷興儘本韻至縣呈聶令陸路去方田驛四十裡舟行一日時屬江漲泊於方田》，表達感激之情。
詩中曰：“耒陽馳尺素，見訪荒江渺。義士烈女家，風流吾賢紹。”讚美聶令的家風。
“禮過宰肥羊，愁當置清醥”，聶令的酒送得很及時，正當愁時，兼送清酒。
“崔師乞已至，澧卒用矜少。問罪消息真，開顏憩亭沼。”兵亂已平，問罪既確，杜甫愁顏為之一開。杜甫在任何艱苦情況下都關心國家大事，後人所謂“平生無飽飯，抵死隻憂時”，於此詩尤可見。
洪水一直不退，前行受阻，杜甫隻
得折回衡州，重入湘江。從日出到日落，在湘江上反複來回，杜甫幾乎是枕著湘江的濤聲度過的。
被洪水圍困的恐懼和半旬粒米未進的饑餓，成了壓垮杜甫身體的最後兩根稻草，老詩人最終在耒陽病倒了。
病倒後的杜甫更加思念遠方的故鄉，葉落歸根的想法更加強烈。杜甫決計北歸，就中止了南去郴州的行程，帶病順流而下，回潭州。然後打算赴嶽州，再北上。
江水退去後，聶縣令派人來接杜甫，卻找不到人，以為杜甫一家已經死在了水中。他在耒陽城北給杜甫修了一座空墓，以作紀念。於是就有傳說，杜甫因為十多天沒吃東西，當耒陽縣令帶著牛肉白酒來迎接他時，猛吃猛喝因而暴斃。
這個傳說雖然不準確，但杜甫的生命確實走到了儘頭。
回潭州的航行中，杜甫寫下《回棹》，感慨“衡嶽江湖大，蒸池疫癘偏”，“順浪翻堪倚，回帆又省牽”，借助洪水順流而下，倒也快了些。
回到潭州後，杜甫病情加重，一直沒有好轉。但杜甫等不了了。
大曆五年（770年）冬，杜甫帶著一家八口，從潭州乘船往嶽陽。
過洞庭湖時，杜甫寫下《過洞庭湖》：“蛟室圍青草，龍堆擁白沙。護江盤古木，迎棹舞神鴉。破浪南風