汉八年，上从东垣还，过赵，贯高等乃壁人柏人，要之置厕。上过欲宿，心动问曰：“县名为何？”曰：“柏人。”“柏人者，迫于人也！”不宿而去。
——《史记·张耳陈馀列传》
汉七年（前200年）正月，匈奴撤军以后，刘邦封兄长刘喜为代王，命其前往代地就封，负责镇守代地、防备匈奴。之后，刘邦命樊哙率军留守代地，防止匈奴毁约再度南下，待到刘喜就封后再率兵撤回，自己则亲率大军先行一步，绕道赵国南下撤军。
途经广武时，刘邦下令赦免了此前因为劝阻出兵而被囚禁的刘敬，郑重向其道歉说，“我因没有听取您的意见，以致在平城遭到围困。我已经将前面那十几批说匈奴可以攻打的人都斩首了”，并下诏赏赐刘敬食邑二千户，封为关内侯，号为建信侯。
刘邦早年与张耳交好，曾多次前往外黄拜访张耳，因此张耳之子张敖早年便与刘邦相识，对刘邦执子侄礼。汉五年（前202年）七月，就在刘邦称帝建国半年以后，赵王张耳病故，其子张敖继承赵王之位。
无论是出于如今的君臣关系，还是早年的叔侄关系，张敖都没有理由对刘邦避而不见。因此，在得知刘邦途经赵国南下时，赵王张敖便连忙带人前去迎驾，刘邦则在张敖的邀请下，前往邯郸稍歇。
刘邦抵达邯郸后，赵王张敖脱去外衣、戴上袖套，一如早年在外黄时一样，以子侄之礼亲自侍奉刘邦的饮食。
然而，刘邦由于刚刚遭逢大难，心情本就不好，沿途却又无处发泄，还得安抚下属，早就憋了一肚子火，如今见到自己的晚辈，又见其如此谦卑，反而找到了发泄怒火的渠道。即便是张敖服侍的再如何周到，大喇喇坐在那里的刘邦，却是横挑鼻子竖挑眼，呵斥辱骂不断。
张敖虽然不知道“白登之围”的具体细节，但也得到了汉军此次战事不利的消息，见刘邦心情不好，张敖不敢触其霉头，只能更加小心的在旁伺候。刘邦骂了一阵，见张敖始终谨守礼节、小心应对，时间久了也自觉无趣，这才起身拂袖而去。
刘邦虽然表现的十分傲慢无礼，但张敖作为臣子和后辈，也不好多说什么，本打算就此忍了，但一直在旁陪坐的赵国相国贯高和臣子赵午等人却忍不了。
贯高、赵午等人早年便是张耳的门客，一直都对张耳父子十分敬重，而赵王张敖也因他们常年辅佐父亲，即使继承了诸侯王之位，仍然对他们十分礼遇，这让贯高等人深受感动。
几个老头虽然已经六十多岁，但却仍然秉持着“主忧臣辱，主辱臣死”的政治觉悟，如今见到少主张敖受辱，他们如何忍得下这口气。只不过碍于刘邦皇帝的身份，为了不使张敖受到牵连，这才没有当场发作。
待到刘邦离开，早已忍受多时的贯高、赵午等人立即起身，围拢在了张敖身边，义愤填膺的说道，“大王何必如此懦弱！”
更有人直接上前说道，“天下之大，有德者居之，大王您侍奉陛下如此恭敬，但他哪有一点当皇帝的样子，不如让我们替您杀了他算了。”
张敖见几人越说越不像话，连忙阻止道，“这么大逆不道的话你们也敢说？况且先父曾经亡国，正是依赖陛下才得以复国，如今又恩泽子孙，这都是陛下的功劳。现在不过骂我几句，我难道就要弑君吗？你们不用再说了。”
贯高、赵午等人还待再劝，赵王张敖却摆了摆手，示意自己不想再听，贯高等人无奈，只得躬身退了出去。
张敖虽然没有采纳贯高等人的意见，但对于将主上尊严看的比自己性命还要重要的他们而言，又岂会就此善罢甘休。
数日后，贯高、赵午几人再度聚在一起，私下商议道，“这是我们冒失了。大王有仁厚长者风范，不愿背负恩德。正所谓‘主辱臣死’，如今皇帝侮辱我王，我们杀了皇帝就是，为何还要牵连到我王呢？如果事情成功了，功劳归我王所有；如果失败了，我们自己承担罪责就是了。”
几人计议已定，便各自暗中准备了起来。
不过，刘邦并未给贯高等人刺杀的机会，在邯郸简单停歇之后，刘邦便率军返回了洛阳。
汉八年十二月（前199年1月），就在刘邦刚刚抵达洛阳后不久，叛逃匈奴的韩王信在得知樊哙已经率军撤走后，再度联合匈奴部落南下进攻代国。
刚刚就封代地，根本没有什么才能的代王刘喜，得知匈奴大军南下，竟然没有做丝毫抵抗，便弃国逃回了洛阳。见到兄长如此无能，刘邦一怒之下将其贬为了合阳侯，改立自己的儿子刘如意为代王，因刘如意年幼，刘邦又拜陈豨为代国代丞相兼任巨鹿郡郡守，督统赵、代两国边境军队防备匈奴。
陈豨乃战国末年魏国宛朐县人，刘邦在奉命西征时，陈豨率领五百人，于宛朐县归附刘邦，此后跟随刘邦西入关中，多次立下战功。刘邦被项羽封为汉王时，陈豨与樊哙、周勃等元从功臣一起封侯，乃是刘邦麾下最早封侯的一批将领。
韩信灭魏之后，向刘邦请求援兵攻打代国，刘邦派张耳率三万军队增援韩信，陈豨则以游击将军的身份率领一军归入韩信麾下，此后跟随韩信伐代破赵，又东攻齐国，刘邦称帝建国后，陈豨又参与了平定燕王臧荼的战争，因功被封为阳夏侯。
作为刘邦麾下的泗砀元从嫡系将领，陈豨可谓忠心耿耿，战功卓着，而且统兵能力极为出色。正因如此，被匈奴和韩王信频繁南下劫掠搞得头疼不已的刘邦，才放心将代、赵两国的军队交给他。
陈豨在谒见刘邦领受印信之后，由于曾经在韩信麾下作战的缘故，在前往代地就任前，便又前去拜见了韩信，依礼向其辞行。韩信虽然看不起樊哙等人，但对于曾经的旧部还是比较看重的，两人相谈甚久，直到天色已晚，陈豨这才离开。
陈豨坐镇代地之后，匈奴虽然依旧时常南下侵扰，但有陈豨统率军队抵御，总算使得匈奴再也无法突破边防深入内地。见此情形，刘邦总算是松了口气，不必再为战事发愁。不过边境长期的摩擦，却让朝廷负担加重了不少，对于刚刚立国，经济尚未恢复的汉朝来说，这又是一件让刘邦头疼的事情。
汉八年（前199年）二月，刘邦听闻长安未央宫和东阙、北阙、前殿、武库、大仓等建筑已经营建完成，于是亲往关中查看，发现建筑全都十分壮丽，想到如今朝廷财政紧张，便有些生气的说道，“天下初定，百姓困苦，成败尚未可知，为何修建如此壮丽的宫殿！”
萧何回答道，“正是因为天下还未完全平定，才应该抓紧修建宫室，天子代表着全国的尊严与权力，宫室不壮丽就不能显示权威。何况，如今修建完毕，后世便不必再行扩建了。”
刘邦听了这番解释，这才满意的点了点头，于是下令将都城从栎阳迁至长安，并命丞相萧何以下文武官员全都将办公场所自洛阳迁往长安，淮阴侯韩信也被迁至长安。
当初决定迁都长安，部分官员本就不太支持，如今正式迁都，难免拖拖拉拉，以致前后耗时两月，仍有部分官员没有前往长安。为了督促迁都工作，刘邦于同年四月东巡洛阳。
这时，代地再次传来消息，又有匈奴部落南下劫掠。朝廷财政本就紧张，为了应付迁都便已是捉襟见肘，如今听到边塞战事又起，刘邦简直一个头两个大。
一日，刘敬前来拜见，刘邦趁机询问对策，刘敬回复道，“天下刚刚平定，士兵们早已被连绵战争搞的疲惫不堪，而冒顿单于坐拥控弦之士三十余万，很难用武力予以制服；冒顿弑父自立，却将父亲的许多姬妾留在身边，如今又兵强马壮，想要用仁义道德来说服他，也不太可能。因此，臣认为只有让他的子孙后代臣服汉朝，才能化解匈奴的威胁，只是担心陛下不能做到。”
刘邦问道，“只要事情真的可行，有什么不能做的？只是该怎么做而已。”
刘敬于是建议道，“陛下如果能将大公主嫁给冒顿作妻子，给他送上丰厚的礼物，冒顿知道这是陛下的女儿，一定会将大公主作为正妻，生下的儿子也必定是太子，并将君位交给他。为何如此？因为匈奴穷困，必然贪图我朝的丰厚财礼罢了。陛下只需用一些多余的钱财来赏赐匈奴，顺便派能言善辩之人以礼节来开导他便可以了。
如此一来，冒顿在位，便是我朝的女婿；如果他死了，陛下的外孙就是匈奴君主。哪有外孙敢同外祖父分庭抗礼的呢？如此即便不用军队也可让匈奴逐渐臣服了。如果陛下不舍得派公主去，而让皇族女子或者其他女子假冒公主，一旦被探知，恐怕就难以被立为正妻，反而没有这些好处了。”
刘邦沉吟良久，认为此计确实可行，便采纳了刘敬的意见，想将鲁元公主送去匈奴。然而，此时的吕雉虽然贵为皇后，但相较于后宫成群的美女，却早已不得宠爱，甚至一年到头连刘邦的面都难得一见，如今她唯一的寄托便是一双儿女，又岂肯让女儿远嫁。
当刘邦将决定告知吕雉，吕雉立即哭诉道，“我只有太子和一个女儿，怎么忍心把她抛掉远嫁匈奴去！”
面对吕后的哀求，刘邦也无可奈何，只得找了个宫女，以大公主的名义远嫁匈奴，并派刘敬出使匈奴订立议和联姻盟约。
虽然成功阻止刘邦将女儿远嫁，但经过此事的吕雉还是后怕不已，为了防止此后再有什么变故，何况女儿确实也到了谈婚论嫁的年纪，吕雉干脆于同年将女儿嫁给了赵王张敖为王后。
在刘敬的努力和汉朝的金钱攻势下，冒顿单于同意与汉朝议和，双方约定“长城以北，引弓之国，受命单于；长城以内，冠带之室，朕亦制之。使万民耕织射猎衣食，父子无离，臣主相安，俱无暴逆”，两国约为兄弟之国，汉匈关系因此得以缓解。
在出使匈奴促成议和的同时，刘敬还趁此机会，对于匈奴的部落分布和兵力部署进行了一番打探，从匈奴归来之后，刘敬向刘邦进言道，“匈奴在河套地区的白羊、楼烦两个部落，离长安最近不过七百里路，轻装骑兵一天一夜就可到达关中地区。关中地区刚刚经过战争还很凋敝，人丁稀少，而土地肥沃，可以大大加以充实。
秦末诸侯并起，若不是有齐国的田氏各族以及楚国的昭、屈、景三大宗族参加，义军很难兴盛起来。如今陛下虽然把都城建在关中，但却缺少人口。北边靠近匈奴敌寇，东边又有六国的旧贵族，若是这些宗族势力太强，一旦有什么变故，陛下难以高枕无忧。
臣以为，陛下可把齐国的田氏各族，楚国的昭、屈、景三大宗族，燕、赵、韩、魏等国的后裔，以及各地豪门名家都迁移到关中居住。如此，若是国内平安无事，可用以防备匈奴；若所封诸侯王有所异动，也能率领他们东进讨伐。此乃加强中央权力而削弱地方势力之方略。”
刘邦采纳了刘敬的意见，按照刘敬的建议，下令将齐国田氏和楚国昭氏、屈氏、景氏，六国贵族后裔，以及各地豪门名家等十余万人口迁入关中。
自从汉匈议和后，边境战事缓解，汉朝终于得以休养生息。
汉八年（前200年）冬，经过半年的休养生息后，为了彻底消灭仍然留在境内，到处打家劫舍的韩王信残部，刘邦亲自率军，深入恒山郡，于东垣县彻底剿灭叛军残部。
之后，刘邦自东垣撤军南下，再度路过赵国，由于上次挨了骂，赵王张敖这次表现的更为殷勤，不仅早早率人北上赵国边境迎接，而且还进献了一位赵地美女侍寝。刘邦这次出征大获全胜，心情自然大好，再加上收此大礼，自然不会再为难张敖。
数日之后，刘邦率兵来到邯郸郡的柏人县，赵相贯高等人见刘邦毫无防备，遂决定趁机刺杀刘邦于此，于是埋伏刺客于柏人县馆舍壁中，邀请刘邦在此留宿。
然而，由于几人表现的太过殷切，再加上神色不太自然，顿时让刘邦心中警钟大作，遂以“柏人者，迫于人也”，不太吉利为由，并未选择留宿，便急匆匆的继续率军南下了。
为了防止遭遇不测，刘邦不仅没有在赵地予以停歇，就连张敖进献的美女也扔在了赵地，而不敢留在身边。
不过，刘邦没有想到的是，仅仅几日的相处，竟然让赵美人怀了身孕。对于贯高等人刺杀行动毫不知情的张敖，为了以示清白，既不敢再将赵美人留在宫中，也不敢有所怠慢，只好另行修建别宫予以安置。