第二次國共內戰期間的孟良崮戰役中，其指揮的號稱全副美式裝備「王牌模範師」國民革命軍整編七十四師被中國人民解放軍華東野戰軍全殲，張靈甫陣亡。
沒錯!雖被華東野戰軍全殲，據對岸出版書籍上所見，在戰役後的整編七十四師在無彈藥下，大多都呈建制地在原地待命，最多的達上千人，張靈甫所率領部隊的紀律嚴整也讓華東野戰軍震憾。
1946年4月升任整編74師中將師長。
1947年3月底，蔣中正對山東和陝北解放區實施了重點進攻。國民政府以24個整編師，高達45萬優勢力，開始向中共山東解放區發起大規模進攻，整編第74師依命令由孟良崮渡汶河攻取坦埠。
1947年5月11日，孟良崮戰役開始。共軍9個縱隊共二十萬人將其困於孟良崮。五個縱隊10多萬兵力圍攻整編74師，外線則由宋時輪和何以祥等4個縱隊抵抗山東境內四十萬國民革命軍的反包圍。
但這樣功績彪炳的將領所率領的百戰雄師還是敗了，敗得令人錯愕與憤恨，五大王牌之首就這樣走入歷史，這就要探討國防部作戰次長劉斐與作戰廳長郭汝瑰及整編83師師長李天霞三人，如後來所知得劉斐與郭汝瑰是共軍潛伏的間諜。整編83師師長則因與張靈甫不睦，雖然早在5月11日之前就接到掩護整編74師的命令，卻只在戰前派了轄下19旅57團下的一個連攜帶電台接近整編74師冒充是執行掩護的19旅，並命令最靠近整編74師的57團團長羅文浪可以隨時撤退。
孟良崮這個山頭，面積僅1.5平方公里，海拔500公尺，最不缺的就只有岩石，而整編74師在重砲上不去，機槍打熱無水可降溫的不利狀態，整個美式裝備的優勢武力大打折扣，在血戰至5月16日被殲滅。
解放軍在陳毅與栗裕率領下，對於部下的命令是不惜一切代價消滅整編七十四師，反觀國軍內部有間諜潛伏，將領間派系立彼此不和，遇作戰時抱有保存實力的做法，且嫡系部隊與地方部隊戰力差距頗大，所有問題造就出高優勢武力屢戰屢敗，那整編74師只是其中一支部隊而已。
在戰後召開的軍事檢討會議上，黃百韜主動承擔責任，受到撤職留任的處分，之後在淮海戰役中戰敗陣亡。魯中剿匪總指揮湯恩伯被撤兵團司令之職，同年因豫東戰役有功任陸軍副司令、代司令。整編八十三師師長李天霞因開始掩護整編七十四師側翼不力，但因之後"救援努力"
被免一死，被送交軍事法庭審判。之後動用大量資金予以行賄，於一年後復出任七十三軍軍長
。
此斯此景令人悲嘆，整編74師被殲與張靈甫中將的陣亡，似乎不痛不癢的就代過了，往日這般做法至目前來相比較，除了沒戰爭外，將領們真的有提昇素質了嗎?一些不錯的長官在這樣環境中，劣幣驅良幣的退出部隊，少數幾位昇了上去又能有甚麼作為，故近年來看到作秀的彼彼皆是，訂立制度搞出一堆案來，永遠避免不了因"人"而改或妥協的作法，出了問題再去補洞，頭痛醫頭腳痛醫腳，再怎麼努力壓下面基層官兵，戰力永遠得不到提昇。
