在扬州闹腾了一番，潘阆又回到了杭州。
潘阆在杭州卖药收入十分可怜，因为他属于被官府通缉之人，自然不敢光明正大地开铺子，只能四处流浪，走到哪卖到哪，很多人都觉得他是个骗子，拒绝买他的药。
潘阆无奈，想起大太监王继恩。早年在汴京开药铺的时候，潘阆与王禹偁、寇准、宋白、柳开等人皆为好友，互相送诗作词也是常有的事情，绝对是汴京医药行业的文化“扛把子”。正是这个原因，潘阆结识了大太监王继恩。
潘阆给了王继恩一些好处，让王继恩在宋太宗面前说几句好话。王继恩跟太宗说的中心思想就是，潘阆是个不可多得的人才，是无意间成为卢多逊幕僚的，并没有参与谋反之事。
宋太宗正“求贤若渴”，听了有如此才能之人，就召见了潘阆，一阵问答之后，宋太宗就撤销了潘阆的通缉，并赐潘阆进士及第的身份，还让他做国子四门助教。
此时的潘阆，从一个卖药的通缉犯成为了朝中大臣，可谓一步登天。但或许是潘阆平日里浪荡习惯了，他一高兴，写了首《扫市舞》：
“出砒霜，价钱可。赢得拨灰兼弄火，畅杀我！”
多狂，多乖张！是，质感强悍，有五代诗风的率真，但字字透着的，是不驯，像个孙悟空，大闹天宫后，还喊着“痛快！痛快！”这谁受得了？才再大也不行啊，简直无法无天。
这首词不知道怎么就传进宫里。果然，太宗又火儿了，雷霆震怒：“什么玩意儿呀这潘厮！”于是，十万火急追还“赐进士及第”诏书，下令对其终身不用！理由嘛，官方的说法是“巡察其狂妄”。
于是，潘阆又成了隐士。
但潘阆并没有吸取此前的教训。
之后宋太宗病重，潘阆又与王继恩、参知政事李昌龄、枢密赵镕、知制诰胡旦等谋立太祖之孙赵惟吉为帝。王继恩在太宗未正式立储之前，曾经不停游说“太子并不一定选赵元侃”。
面对于自己登上皇位有功的王继恩，太宗曾经还是有所动摇的，还好有耳清目明且颇受其信任的寇准对他说：“陛下诚为天下择君，谋及妇人宦官，不可也”。
于是，宋太宗也不犹豫了，就选了只有的宋真宗做太子。
太宗驾崩后，明德皇后与王继恩等人发动了政变，还是要立赵惟吉为帝。宰相吕端一力挫败政变，扶立赵恒继位，是为宋真宗。次年，改年号为“咸平”。
真宗即位后，对参与政变的人进行清算，除了李太后，其余人都被贬黜出了京师，官最小的胡旦直接除名流放了。
此时已经不在京城的潘阆内心其实是惶恐的，毕竟是他建议王继恩不要拥护真宗，这在真宗登基之后等同“谋反”。参与政变的王继恩、李继隆等人那是太宗朝有功之人，他可只是一个被宋太宗评价“狂妄”，小官都做不成的人。思虑再三，潘阆再次换装成僧人，逃往舒州潜山寺。舒州就是现在的安徽安庆，潜山就是天柱山。
咸平初年（998年），潘阆估摸着风头过了，又一心想吃开封的“王楼山洞梅花包子”，就是人称“东京第一美食”之称的灌汤包，便悄悄潜回京城。
结果，正吃第二笼灌汤包的潘阆，被王楼的店小二认出，悄悄报官，潘阆当即被抓获入狱。被抓时，潘阆嘴里含着包子，惊恐之下，汤汁顺着腮帮子流到了衣前襟。
宋真宗亲自审问潘阆。潘阆口吐莲花，把自己说成大宋忠臣，参与谋反是因为忧国忧民。或许也是起了惜才之心，宋真宗不仅从狱中将潘阆放出来，还赐他任滁州（今属安徽）参军。
赴任途中，潘阆得意赋诗《赴滁州散参军途中书事》：
“微躯不杀谢天恩，容养疏慵世未闻。
昔日已为闲助教，今朝又作散参军。
高吟瘦马冲残雪，远看孤鸿入断云。
到任也应无别事，愿将清俸买香焚。”
诗中表达了对宋真宗的感激，但更多的是对归隐山林的向往。
到了滁州，潘阆正如其诗中所说那样，开始遨游于山水之中。
经过生死之事，潘阆不再头脑发热，也不再觉得才大委屈，开始知道不能和老天论公平。
当了几年地方官后，潘阆辞官，绝功名尘念，继续流浪生涯，并取字逍遥，号逍遥子。
不藉风力不群聚，翅膀随意起飞或呱嗒落地，全凭一时高兴，是谓逍遥。总之，就是要逍遥！
就这样，逍遥子半是装疯，半是逍遥，舍尘埃而取烟霞，与天下山水做了知己。
潘阆倒也满意自己的生活，正所谓：事能知足心常惬，人到无求品自高。只是仍性如顽童，骑驴也没个正形，倒骑着，全国狂游，极少停驻。
潘阆早就喜欢上了杭州，辞官后较长久的居住地也是杭州，十首《酒泉子》词内容全是吟咏杭州，其中名句“弄潮儿向潮头立”，后世无数诗人援用，就是无法超越。
当时，这组词一经问世，便在整个北宋文坛上掀起了一阵波澜，许多文学大师都对其赞不绝口。
文学家、书法家石延年更是特意请来了画师为这组词作画《潘阆咏潮图》。
于是，就有了此前王禹偁题诗的故事。
就连唐宋八大家之一的苏轼都很喜欢这组词，将整组词刻在了自己家中的屏风之上，好方便自己欣赏。
和李白一样，逍遥子潘阆也被称为“谪仙人”。只不过，他们俩一个是诗人，一个是词人。
潘阆最后死于泗上（今江苏省淮阴一带），道士冯德之迁其遗骨葬于他钟爱的杭州。
其实，逍遥子并没有死，他不仅活在北宋，还出现在现代，当然，是在武侠小说里。
金庸的《天龙八部》中塑造了两位武功极强的绝世高人，一个就是大家所熟知的少林寺扫地僧，短暂的出场就能力克几大武林高手，是所有出场角色中武功最强的。还有一位高人在书中从未出场，仅仅能从他人言语间的几个片段知道此人存在过，他就是逍遥派的祖师逍遥子，也就是无崖子、李秋水、天山童姥的师父。
逍遥子在书中虽然从未出场，但从三个徒弟身上就能看出此人武功极高，而且也一定是琴棋书画、天文地理、医卜工艺无所不通的。
金庸的小说往往都架置在历史事件当中，很多人物都是历史上真实的人物。所以，你明白吧，逍遥子就是潘阆。
潘阆还是弄玉。潘阆埋骨杭州，词神弄玉也要走了。她要去哪里？