宗同辈。其族系表为：宋太祖赵匡胤-秦王赵德芳-英国公赵惟宪-新兴侯赵从郁-华阴侯赵世将-庆国公赵令譮-秀安僖王赵子偁。据说，张氏嫁秀安僖王赵子偁不久，有天夜里做了一个梦，梦见有人牵着一只羊送给她。不久，张氏便怀有身孕。

  南宋高宗建炎元年（丁未，1127年）十月廿二日，张氏在秀州青杉闸的官舍生下一子赵伯琮。此子出生时，红光满室，如日正中。因当日之梦，于是为其取小名为‘羊’。

  南宋高宗建炎三年（己酉，1129年）秋，高宗唯一的儿子夭折后，没有生育的高宗，在毫无希望的情况下，只好求救于宗室，想在‘伯’字辈中找寻一个皇位继承人。太祖后代伯字辈之人，此时己达一千六百四十五人，高宗从七岁以下儿童中选出十人，从中又进行筛选后，定下一胖一瘦两个孩子。后来，高宗因见伯琮太过瘦弱，难担此任，于是赐他三百两银子，遣回原地。当伯琮捧着银子正准备出门时，举棋不定的高宗又令他转回，让两个孩子插手并立，自己则慎重的反复打量他们。就在这时，一只小猫突然从二人身边经过，伯琮纹丝不动，那胖小子飞起一脚向猫踢去，只见那猫大叫一声窜出殿外。高宗于是摇着头说：“一只可爱的小猫，偶过此地，为何踢它！如此轻狂怎能担当社稷重任。”遂推翻刚才的决定，反将伯琮留了下来。高宗牵着伯琮将他带入宫中，一路上指点宫中的建筑物与他看。没想到，伯琮竟像回到自己家中一样。这时，后宫的张婕妤、潘贤妃、吴才人正环坐园内聊天，见高宗到来忙起身相迎。因潘贤妃的儿子刚夭折不久，看到伯琮于是想起自己的儿子。见人思人的她，禁不住眼眶湿润，于是将头掉向了一边。南宋孝宗赵昚的母亲---张氏张婕妤因见伯琮长得聪明机灵，便笑着向他招手，伯琮见她亲切善良，笑容可掬，顿失生疏感，一下子扑到婕妤怀里，两人都高兴地笑了起来。高宗一看，顿时大喜道：“不谋而合，不谋而合呀！”于是，便将伯琮慎重的交由张婕妤抚养。为了培养伯琮，高宗应大臣赵鼎之谏，将行宫新建的书院做为资善堂，并派学富才赡的大臣为赞读。伯琮天资聪慧，博闻强记，异于常人，颇得高宗钟爱。

  南宋高宗绍兴十二年（壬戌，1142年），伯琮被加爵为普安郡王。同年，辛苦抚养他十年的张贤妃因病故去。（图为宋孝宗画像）