据《中国人民解放军战史》第三卷记载，全军整编之后，陈毅与邓小平一起在总前委驻地，粟裕仍代理三野的司令员兼政委之职，指挥第三野战军渡江作战。因此，某些出版物将这段时间粟裕的履历写成“副司令员”而不是“代司令员兼代政委”，显然是不够确切的，很容易使人误解粟裕主持三野全面工作的实际作用。
1949年3月30日，华东局和总前委决定，三野前委由粟裕继续主持，担任代理前委书记。从4月20日至5月3日，粟裕率领华东野战军指挥机关从孙家圩子，到江苏省泰州以南的白马庙，再到常州，筹划、部署及指挥了第三野战军东集团、中集团的渡江战役。以“东西对进，追歼逃敌”的神算，共歼灭蒋军13.9万余人，解放南京、杭州等大中城市，并造成围攻上海的有利态势。从《粟裕文选》第二卷中的文电看出，粟裕独立或与三野参谋长张震共同署名，代表华东野战军司令部签发的电报、命令达21件之多。
1949年3月中共七届二中全会以后，在一次关于华东任务和人事安排的座谈会上，中共中央确定粟裕担任华东局分管军事的常委。同一时期，其他中央局主管军事的是：西北局彭德怀（书记）；东北局高岗（书记）；华中局（中南局）林彪（书记）；西南局刘伯承（副书记）。陈毅事实上已经离开三野指挥部，转到接任上海市长等地方工作方面去了。因此，解放上海及东南沿海等军事任务，均由负责战役指挥的野战军副司令员、代司令员粟裕担负实际责任。
据《第三野战军京沪杭战役阵中日记》记载，5月25日一天之内，粟裕就对主攻部队九、十两兵团发出3次指示：
“9时，502(粟裕代号，下同)指示九兵团：包围市内残存之敌，以二十军、二十七军各1个师担任警卫，以主力向北宝及以东地区发展，高桥东南我炮兵向吴淞实行超越射击。”
“12时，502指示十兵团：以3个军集中力量对吴淞作重点攻击，切断吴淞口敌退路，集中炮火射击吴淞口舰艇。”
“22时，502、505(张震代号)指示九兵团：以主力迅速北渡苏州河，配合十兵团向江湾吴淞口攻击，并要十兵团猛进。”
这本阵中日记同样清楚地表明，粟裕在上海战役中也是三野军事上的实际最高指挥员。当代中国出版社出版的《粟裕传》中，有一张标明“图114”的粟裕戎装相片。图片下的说明文字是：“第三野战军代司令员兼代政委粟裕在上海战役中。”这与粟裕在上海战役中的实际作用是一致的。
四、第三野战军暨华东军区工作的实际主持者。继续担负野战军全面领导责任。
1949年6月上海解放以后，粟裕继续以三野前委书记的身份主持第三野战军的全面工作，并担任华东军政委员会副主席（华东军政委员会主席由华东局书记饶漱石兼任）。
根据中共中央、中央军委的指示，粟裕于6月7日主持召开第三野战军军事会议，全面部署进军福建和加强华东沿海地区守备的工作。会议决定，10兵团3个军进军福建，9兵团等7个军集结上海、南京地区，7兵团3个军集结浙江地区，32军2个师驻守青岛，24军2个师驻守徐州、1个师驻守连云港，25军2个师驻守海门、启东，1个师驻崇明。会后，粟裕即迅速组织指挥各部队，进行解放福建和长山列岛、舟山群岛等沿海岛屿作战。