潘世恩，江苏吴县（今江苏苏州）人。吴县潘氏先世为中原人，唐代有潘逢时为歙州刺史，因“居官有惠政，秩满，父老攀留，遂家于歙”。“潘世恩六世祖潘仲兰自明代起由歙县北迁，落籍素享“风土清嘉、人文彬蔚”之誉的苏州。祖父潘冕曾官候选布政司理问，生三子：奕隽、奕藻、奕基。其父潘奕基为杭州府庠生，因屡举乡试不中，归回苏州，读书养心。传说潘世恩出生前夜，祖父潘冕梦见一只玉麒麟自空而降，落于潘家庭院，随即化为婴儿，仿似他一生腾达的先兆。潘世恩尚未及第，他与堂兄潘世璜的声名即盖过诸生。他的父亲潘奕基请人写幅对联“老苏文学能传子，小宋才名不让兄”以示鼓励。潘世恩参加童试时，吴县知县李昶亭见其“器宇端凝”，将他“拔置前席”，出对云：“范文正以天下自任”，潘世恩即刻对出：“韩昌黎为百世之师”。李县令又出横批“青云直上”，潘世恩又对“朱绂方来”。李昶亭听后连连说：“此童子将来必定富贵！”是年补诸生，就读于紫阳书院。

　　乾隆五十八年（公元1793年）潘世恩状元及第，授修撰。从此官运亨通，“少年得进崇阶，又系鼎甲，宜爱惜声名，切勿恣志，前程远大”（嘉庆帝为潘世恩奏折所作批语）。后历任侍讲学士、内阁学士、户部左侍郎等职，偕纪昀经理《四库全书》事宜，嘉庆十二年（公元1807年）充续办《四库全书》总裁、文颖馆总裁。次年任翰林院掌院学士。十七年（公元1812年）授工部尚书，十九年（公元1814年）九月，调任户部尚书，仍署理工部尚书，不久，又署理吏部尚书。嘉庆十九年六月，潘世恩的老母病亡，辞官回家服丧。母丧满后，他上疏嘉庆帝，说老父年迈，要求在家侍养老父。奏折呈进皇宫，嘉庆帝大为不满，在他的折子上朱批道：“忠孝二字，不可歧视。懂得忠孝孰先孰后，近乎大道了。”接着，颁诏责斥说：“潘世恩奏请在家侍养老父；他的儿子中了举人，也上折谢恩。他系一品大员，理应亲自来京奏请、谢恩，即使因他父亲年过七旬，想在家侍养，在来京召见时，据实陈奏，朕定会允准。今他在折子里仅说他父亲的精神不如以前，并非病重，一刻也不能离开。来京往返不过月余，却怕跋涉，轻率地上疏陈请，有悖于人臣之义。命降为侍郎，准他在家侍养。侍养亲事毕来京，以侍郎补用。”潘世恩从尚书位上降为侍郎。他在吴县老家一住便是十一年。

　　道光七年（公元1827年）四月，父丧满，潘世恩离家北上，回到了京城。道光皇帝秉承父皇十一年前的诏令，任命他署理工部左侍郎，不久，实授吏部左侍郎。从道光八年八月起，先后署理吏部尚书、礼部尚书。道光十年九月，擢为工部尚书。潘世恩又回到了尚书任上。

　　道光十三年（公元1833年）四月，潘世恩被擢为体仁阁大学士，管理户部事务。五月，调管理兵部事务。十四年正月，宣宗命他在军机大臣上行走。军机大臣上行走是最高权力机关军机处的大臣中之一种，位次军机大臣。宣宗还把圆明园一所府第赐给他。十五年二月，授东阁大学士，管理工部事务。七月，改为管理户部事务。十六年正月，出任上书房总师傅，成为皇子的老师。十七年正月，膺太子太保衔。十八年五月，晋为武英殿大学士，同年十二月，潘世恩70寿辰，宣宗御书一副对联赐他，上联是“粥亮宣就襄密勿”，下联为“靖共介福锡康疆”，横批“熙载延祺”。鸦片战争爆发后，支持林则徐前往广东禁烟，力主严内治，方能御外侮。二十四年奏请开发甘肃、新疆，召民垦种，节饷实边。道光二十三年（公元1843年）八月，道光帝特许他紫禁城乘轿。道光二十五年（公元1845年）十二月，道光帝召潘世恩至养心殿叙话，上殿阶时，年77岁的潘世恩跌倒了，伤了唇齿。道光帝诏命潘世恩以后入官，派太监两人扶持。道光二十六年三月，潘世恩被道光帝赏赐穿黄马褂。道光二十八年正月，潘世恩晋太子太傅衔。十二月，潘世恩80寿辰，道光帝御书“寿”字和一副对联赐他，上联是“望重三公资燮理”，下联是“祥开八勤衍期颐”，横批“三朝省硕”。自道光二十九年起，年八十有一的潘世恩腰痛，上疏请假20天。从四月至五月，一个月间，他三次请假。宣宗特地下诏，让他带职在家长期休养，何时病好何日视事。潘世恩感到体力不支，上疏辞官，宣宗下诏慰留。

　　咸丰帝即位后下诏求贤，以八十岁高龄保荐林则徐、姚莹等人。咸丰三年，帝亲书“琼林人瑞”匾额相赠。次年潘世恩在京逝世，享年八十六岁，谥号“文恭”入祀贤良祠。同时，对他的三个孙子祖同、祖荫、祖保分别赏给进士、翰林院侍读、举人，并恩准祖同、祖保同年分别参加殿试、会试。

　　潘世恩生有五子，长子潘曾沂，字功甫，嘉庆丙子举人，官内阁中书。次子潘曾莹，又名观保，字星斋，长于史学，兼擅诗文书画。三子潘曾绶，字绂庭，年未四十即致仕，即潘祖荫的父亲。潘祖荫为咸丰二年（1852年）壬子恩科探花。幼子潘曾玮，弃举子业，留心经世之学，肆力于诗古文辞。