胡乔木喜欢写诗，既写新诗，也写旧体诗。1988年，由人民文学出版社出版了他的诗集《人比月光更美丽》。病中，他想修订再版此书，增加了一首诗，增加了附录，又口授后记，让秘书记录、整理。
9月21日，胡乔木嘱，把诗集增订稿送钱钟书审定——他和钱钟书有着颇深的友谊，诗集初版时便请钱钟书题写书名。
才一两天，钱钟书就看完增订稿，退回胡乔木。9月24日，女儿木英把改定的后记、附录念给胡乔木听。胡乔木细细听罢，这才说：“就这样吧!”说罢，如同了结一桩心事。
病中，他每日早上听新闻广播，听家人念报纸。每日必读报，是他几十年养成的习惯。
这时的他，运用氧气面罩都感到气闷，改用呼吸机帮助呼吸。
9月27日，他从新华社上海电讯中得知，25日是文坛耆宿巴金八十八岁生日，文艺界纷纷向巴老致贺。他也要向巴金致贺，虽说这已是“迟到”的贺电。他要亲笔写贺词，无奈手已颤抖，无法握管。于是，他只能轻声口授电文：
“连日卧病，不克到沪，亲临致贺。写给巴金文学大杰八十八岁寿辰。胡乔木。”他的生命列车，已经悄然驶入终点站。当天深夜十二时，血压剧降，接近零。
亲人们急急赶到医院，他已不省人事。大夫们尽力抢救，进行人工呼吸。翌日晨七时十六分，他的心脏停止了跳动。
他曾写过《秋叶》，而他正是在叶落知秋的时节离开这个世界：
旋转，低回，依依地眷顾，
秋叶落下来，夹着些絮语；
在乡间人迹稀疏的去处，
随雨雪消融，化成了沃土。
在他去世后不久，新华社于10月3日发出四千字电讯《胡乔木同志生平》。由于不再举行追悼会，这电讯实际上相当于悼词。电讯末段，对胡乔木的一生进行了评价：
胡乔木同志的一生是革命的一生，是追求真理、献身于共产主义事业的光辉的一生。他一贯努力学习、研究和宣传马列主义、毛泽东思想。他博学深思，勤奋笔耕，经过长时期的刻苦磨练，终于成为才学超群的在党内外享有盛名的学者和辞章家。对于党的解放思想、实事求是的原则，他积极倡导，身体力行。他具有高度的党性，坚持原则，顾全大局，一切服从党的安排。他几十年如一日，把毕生的精力毫无保留地奉献给了党的思想宣传事业，奉献给了党的重要文献的起草和编纂工作。他尊重知识、尊重科学、尊重人才。他治学严谨，一丝不苟，对工作兢兢业业、勤勤恳恳，竭尽全力完成党所交给的每一项任务。他始终以共产党员标准严格要求自己，谦虚谨慎，戒骄戒躁，廉洁奉公，生活俭朴，组织纪律性强，鄙视以权谋私的不正之风。1983年8月16日他倡议身后将遗体交给医学界利用，以后又提出在他去世以后把角膜捐献出来。他的革命精神和优良品德是全党学习的榜样。