那时项羽正在率领楚军去北上援赵抗秦，陈平便投奔到项羽帐下，之后他参加了巨鹿之战，入关灭秦等重要军事行动。项羽率兵返回彭城时，陈平也跟随到了彭城。由于陈平才华过人，深得项羽赏识，到达彭城后，项羽给了他一个卿爵的分封。项羽北上攻齐时，让陈平留在彭城待命。
此次，陈平受命攻打殷王司马卬后，便率部马不停蹄的奔往殷地。
殷王司马卬本身就不服刘邦，见刘邦已带大队人马东去，自己也好暂且喘息一下。谁知陈平又率军攻来，既然如此，叛汉降楚就行了。等陈平带领人马到达城外时，司马卬依旧开城欢迎。司马卬知道，楚军也不会在此多留，项羽派陈平来，无非是怕他和刘邦结为联盟一起东进。
陈平见司马卬已归顺，自然不想在殷地过多的停留，他一面派人向项羽报告，一面率部队返回彭城。
项羽得到消息后大喜，加封陈平为都尉，并赏黄金四百两。
正在东进的汉王刘邦听到司马卬又叛汉归楚的消息，气愤不已，马上派兵再去攻打。这回攻打司马卬，再也不会给他什么面子了。刘邦命令：“攻下城后，把那个没有信誉的司马卬捉来见我。”
这次司马卬又败了，他再也享受不到继续留任的待遇了，而被汉军捆绑着押到刘邦面前。刘邦现在心情正好着呢，不想杀人，让把他带下去听候发落。
殷王司马卬的反复无常，不但惹恼了刘邦，也气坏了项羽。项羽听到他又投降汉军的消息后，大骂司马卬，恨不得立即杀了他。同时项羽也把怨气、怒气发泄在陈平等将领的身上，指责他们办事不力，没有稳住司马卬，反倒给刘邦扩大联盟和占领地盘留下了机会。
有坏消息传来了，项羽计划杀掉曾经前去平定殷国的将领和官吏，以平心中的恼怒。在项羽看来，我率军在北方与齐国交战，让你陈平办这么一件小事都办不好，平日我待你不薄，关键时候你却不卖力。
陈平清楚，项羽决定的事一般不会轻易改变，尽管自己感到委屈，但也无法辨解。等着项羽回来问罪，不如趁早离开楚营。他把平日项羽赏赐的金银财物全部整理好，放在自己府内，只身离开了彭城。
天地之大，何处方可容身？陈平选择了北渡黄河，投靠刘邦。
然而在渡船上，陈平的一身装扮引起了艄公的注意。黄河上的艄公们除了正常的摆渡外，有时也会干一些杀人越货的事，发上一笔横财。他们见陈平衣着讲究，谈吐高雅，举止不俗，便断定陈平不是富商便是有钱大户，这些人出门身上肯定带着不少金银。他向船上的几个同行使了个眼色，准备等船到河中间动手。机警的陈平察觉了他们的动机，连忙当众打开随身的小包袱取出几块干饼送给众人品尝，随之又脱下衣服扔在船上，浑身赤条条地走到艄公跟前，帮他摇撸。见过世面的艄公看到陈平如此举动，心里早已明白了。这个客人在用行动告诉他们，他是光棍一个，没有油水可捞。艄公只好打消了念头，把陈平顺利的送到了河对岸。船靠岸后，陈平不紧不慢地穿好衣服，又将那几块干饼放在小包袱里包好，向艄公做了一个揖，然后扬长而去。
刘邦率军在黄河以北作战时，不时有人结队前来投靠汉军，有一天，一个叫石奋的小孩也来投靠他。刘邦一打听，知道石奋是赵国人，赵国被秦灭掉后全家逃到其它地方谋生。看石奋十分乖巧，人也长的机灵，刘邦就把他留在身边，做贴身仆人，同时兼做接待工作。有人要见刘邦，必须先要过了石奋这一关。
陈平死里逃生地渡过黄河，来到修武（今河南省获嘉）投靠刘邦。他先找到在刘邦手下供职的好友魏无知说明来意，魏无知又找到石奋，请他呈报汉王，说有一个重要人物求见。
当时汉军正驻扎在修武，暂时无战事。刘邦听说有人来投靠，自然高兴，正是用兵之际，来的人越多越好。听石奋说来人中有一位有才之人，刘邦便招待他们吃饭。吃饭时，刘邦扫了一眼来投靠的七个人，也没觉得特别，就随便说了几句话起身走了。
陈平见刘邦要走便着急了，忙说：“汉王，我有急事要向你报告。”
刘邦停下来，回头看了一眼陈平，感觉这张面孔在什么地方见过。想起来了，在项羽安排的鸿门宴席上见过此人。刘邦便问：“什么急事？”
陈平示意在场的人多，不便说。刘邦领会了，就叫石奋把陈平带到自己的帐中叙谈。
两人这次会谈的结果，出乎大多数人的预料之外。陈平凭他机敏善辩的谈吐，开阔敏捷的思路，儒雅谦和的举止竟然征服了刘邦。识才爱才的刘邦不仅接纳了陈平，还封其为都尉，做了自己的参乘，负责主持协调诸将之间的关系。消息传开，一时间舆论哗然。一个项羽手下逃跑过来的逃兵，仅凭着自己的三言两语就得到了这么一个重要的职位，众将领心中很是不服。
将领们虽然不服，但敢去找刘邦诉说的人却没有。大家只有在私下里议论纷纷，发发牢骚解气，不长时间，关于陈平的劣迹就被勾描出来了。曾为汉军发展壮大立下战功的大将周勃、灌婴坐不住了，去找刘邦告状。
刘邦听了不以为然，对他们说：“陈平任职以来，工作安排的井井有条，完成得也十分出色，我看这个人可以胜任。”
周勃气不过地说:“我看这个陈平不像个仁义之人，他早年侍奉魏王，又去投靠项羽。在项羽那里卖力工作，刚遭到项羽猜忌，他又跑来投靠您了。主公，这样的人能委以重任吗？”
灌婴也在一旁数落陈平说：“陈平年轻时在家和嫂子有私通关系，到这任职后，经常收受下级将领的贿赂。他根据送礼的多少安排差事，多送的安排好差，不送的安排恶差。如此道德败坏，唯利是图的人，能让他担任这么重要的职务吗？”
生死弟兄的话还是起了作用，刘邦叫石奋找来魏无知质问。
魏无知回答：“主公任用陈平，是用他的才干，还是用他的德行？”
刘邦说：“这还用问，当然是才干了。”
魏无知又说：“当今天下混乱，诸侯蜂起。主公处在这样的形势下还要不断发展壮大，取得胜利，正需要一批能谋善断之士，陈平就是这么一个人。传言中所说的‘盗嫂受金’，与辅助主公成就大业又有什么关系呢？”
刘邦一听也有道理，但他还是不大放心，又叫人找来陈平质问。
陈平听了，不紧不慢地说：“当年我侍奉魏王、楚王，他们都听不进我提出的建议，反倒听信他人谗言，排挤我、隔离我。主公的仁厚众人皆知，您广纳贤才，破格用人的做法也得到世人的赞扬。正是冲着这一点，我才来投靠主公您的，至于说我收受下属的贿赂，也是真实的。我离开楚国时，将所有金银财物一律封好留下，只身前来。来时身无分文，生活窘迫，这时下属送些少许金银我就收下了，以资补生活之需。但请主公放心，我陈平不是贪婪之辈，如若主公感觉我陈平没有什么用处让我离开，我不会带走一分一厘，所受金银会原封不动地给主公留下。从内心讲，我希望留下来继续为主公做事，竭尽犬马之劳。”
陈平的坦率，一下子打消了刘邦胸中的疑团。他看着眼前这位英俊的青年，只是对他说：“放心吧，在我这里做事，亏待不了你。”
这次谈话中，陈平还将彭城楚军的部署情况详尽地描述了一遍。这些资料，陈平全装在脑子里，根本用不上翻阅资料。刘邦急于东进去攻楚，陈平的情报给他下一步行动计划的实施奠定了坚实的基础。
谈话之后，刘邦不但又给了陈平一份丰厚的赏金，还把他提升为护军中尉，督察所有的将领。
将领们眼看着陈平官阶越升越高，权利也越来越大，都把嘴闭紧了。我汉王喜欢，尔等且都住嘴，刘邦的做法分明向众将领传递出这样一个信息。
这段时间，黄河以北大片区域已经被汉军占领，刘邦认为攻取彭城的时机成熟了，开始部署行动计划。至于北方还存在的赵国、燕国都在协同齐国与项羽作战，对汉军的东进计划不会产生大的阻力。刘邦尽可以放心东进，不用担心后方出事。
彭城位于黄淮平原，地势平坦，交通发达，北上南下和西征东进都非常便利。经楚国几代人的管理和经营，彭城已变成了一座繁华的都市，人口日渐增多，商业活动发达，但它最大的缺陷是无险可守。