张浚生于宋哲宗绍圣四年（1097年），为西汉留侯张良、唐朝开元时期名相张九龄之弟张九皋之后。四岁时成孤儿，行直视端，不说诳言，熟人知为大器。入太学，宋徽宗政和八年（1118年），张浚登进士第，调山南府士曹参军。

　　靖康初年，任太常簿。李纲在金国第一次伐宋晚期和姚平仲合作，与种师道等人之间有争功之嫌。姚平仲劫完颜宗望之营寨而大败，作为主要支持者的李纲被张浚以专权之名弹劾。汴京陷落后，张浚听说宋高宗在应天府（今河南商丘）即位，驰赴应天府，除枢密院编修官，改虞部郎，擢殿中侍御史。金兵南侵，宋高宗往东南逃跑，后军统制韩世忠部下逼逐谏臣坠水死，张浚奏夺韩世忠观察使，上下始知有国法。迁侍御史。

　　这时宋高宗在扬州，张浚进言说：“中原是天下的根本，希望修葺东京、关陕、襄邓以待巡幸。”拂逆宰相的意思，授任集英殿修撰、知兴远府。尚未出发，升任礼部侍郎，高宗召见对他说：“你知无不言，言无不尽，我将要有所作为，正如想一飞冲天而无羽翼，你留下来辅助我吧。”授任御营使司参赞军事。张浚预计金人必来攻，而南宋朝廷晏然自得，殊不防备，所以力劝宰相黄潜善、汪伯彦，但二人皆笑张浚过虑。

　　建炎三年（1129年）春，金人侵犯南方，皇帝到钱塘，留下朱胜非在吴门抗御，让张浚一同节制军马。后来朱胜非被召回，张浚单独留下来。当时溃兵数万，所至之处剽掠不已，张浚招集平定下来。宋高宗在临安（今浙江杭州）被将领苗傅、刘正彦所废。张浚组织吕颐浩、张俊、韩世忠、刘光世等破苗傅、刘正彦，使高宗复位，被任知枢密院事。

　　建炎四年（1130年），张浚提出经营川陕的建议，出任川陕宣抚处置使。既抵兴元，金兵已取鄜延，金将娄宿孛堇引大兵渡渭水，攻永兴，宋将都按兵不动，不肯相援。张浚到任，即访问风俗，罢斥奸赃，以搜揽豪杰为先务，诸将惕息听命。

　　此时谍报金人将攻东南，张浚命诸将整军向敌。不久金人大攻江、淮，张浚即治军入卫支援。到达房州，知金人北归，又回师关陕。这时金兀术犹在淮西，张浚惧其继续骚扰东南，想牵制之，遂决策合五路之师攻打永兴，以调动金兵。果然金急调兀术、完颜娄室、完颜宗辅等等入援，大战于富平。泾原帅刘锜身率将士冲击敌阵，杀获颇众。但环庆经略使赵哲畏敌先逃，宋军挫败，张浚退驻兴州，斩赵哲。命吴玠聚残兵扼险于凤翔之和尚原、大散关，以断敌来路，张浚上书待罪，宋高宗手诏慰勉，没有追究。

　　张浚在关陕三年，训练新兵，以刘子羽为上宾，任赵开为都转运使，擢吴玠为大将守凤翔。刘子羽开善理财，而吴玠每战必胜。西北遗民，归附日众。所以虽然关陕丢失，但全蜀安全，且以形势牵制东南，江、淮亦赖以安。

　　绍兴元年（1131年），金将乌鲁攻和尚原，吴玠乘险击之，金人大败走。完颜兀术亲自出马，吴玠及其弟吴璘又大破之。这就是吴玠的大散关和尚原之战。张浚论功升检校少保、定国军节度使。
绍兴四年（1134年），被召至临安，后谪居福州。绍兴五年，出任右宰相，都督岳飞镇压杨幺起义。

　　绍兴六年（1136年），部署诸路军马北伐金朝扶植的刘豫政权﹐进取中原。九月﹐刘豫出兵反扑﹐高宗下令两淮守军南撤。张浚为保长江天险﹐星夜驰至采石（今安徽马鞍山市西南），制止宋军撤退﹐击退刘豫军。

　　绍兴七年（1137年）三月，刘光世因骄惰怯敌被罢军职，宋高宗拟将刘光世所部划归岳飞，但遭到枢密使秦桧的反对，张浚也表示不同意。遂以刘光世部将王德任左护军都统制、郦琼任副都统制，以兵部尚书、都督府参谋军事吕祉节制。郦琼不服王德居其上，多次申述不被重视。八月，郦琼杀吕祉等，裹胁4万人叛变投向伪齐。九月，张浚因而引咎辞相。

　　绍兴九年（1139年）正月，宋高宗以宋金和议大赦，张浚复官﹐因多次上书反对高宗﹑秦桧与金议和﹐被排挤出朝。二月，出任福州知州，福建路安抚大使。

　　绍兴十一年（1141年）十一月，宋金订立绍兴和议；同月，授张浚检校太傅、崇信军节度使、万寿观使闲差，次年封和国公。

　　绍兴十六年（1146年）七月，张浚上奏备战抗金，秦桧大怒，张浚被罢去检校少傅、节度使、国公官爵，只保留文阶官特进，以提举宫观，绍兴二十年（1150年）又移往永州居住。

　　绍兴二十五年（1155年）十月，秦桧死。十二月，张浚被重新起用，恢复观文殿大学士职衔及和国公爵位，任判洪州（今江西南昌）。此前不久，张浚因母死守丧，于是奉柩归葬西川，到达江陵时，又上奏请高宗备战抗金，引起新任宰相、秦桧党羽万俟卨、汤思退的不满，宋高宗也以“今复论兵，极为生事”。

　　绍兴二十六年（1156年）十月，张浚再次被贬往永州居住。

　　绍兴三十一年（1161年）正月，金军南犯已迫在眉睫，宋高宗在不得不作抵抗准备的同时，也放宽了对张浚居住地点的限制。同年十月，在宋金战争已经开始的情况下，又起用张浚任判潭州，十一月又改为判建康府，当他十二月下旬到任时，“采石之战”已结束，金帝完颜亮已被部下杀死，两淮金军也开始退兵。但宋金战争仍在进行中，宋高宗却认为终归于和，所以并不重用张浚。直到绍兴三十二年（1162年）五月，才任命张浚专一措置两淮事务兼两淮及沿江军马，全面负责江淮防务。六月，高宗即退位，孝宗即位。

　　宋孝宗即位后，复为枢密使。隆兴元年（1163年），封为魏国公，都督江淮军马渡淮北伐，收复宿州（今安徽宿州市）等地，后因部下将领不和，兵败符离（今安徽宿州市）。主和派势力随即抬头，秦桧党羽汤思退，于七月间被任为右相兼枢密使，议和活动也在进行中。十二月，汤思退升任左相兼枢密使，张浚也升任右相兼枢密使，仍兼江淮东西路。

　　隆兴二年（1164年）三月，张浚还奉诏视师淮上，积极部署抗金措施。四月，被召回朝，随后江淮都督府也被罢，在太上皇宋高宗干预下，左相汤思退更加紧进行降金乞和活动，张浚感到抗金无望，即求致仕，遂被罢相，授少师、保信军节度使、出判福州（今属福建）。张浚辞新命，恳求致仕，改授醴泉观使闲差。同年八月，张浚病卒，葬宁乡，赠太保，后加赠太师。

　　乾道五年（1169年），获赐谥号忠献。