7月13日，奉中央军委和华东局的命令，粟裕率领第三野战军与华东军区指挥机关由上海移驻南京，并于7月15日致电报告中央军委：“已到南京。”粟裕正式担任第三野战军前委书记（副书记唐亮），并以华东军区党委第二书记的身份主持华东军区暨第三野战军总部工作，同时还担任中共南京市委书记、南京军管会主任。
1949年，中央军委曾经设想华东海军北移青岛，并由中央军委直接指挥。粟裕从解放台湾作战的需要出发，于7月30日午时向中央军委建议，华东海军暂缓北开，以便参加对台作战部队的联合演习。中央军委于8月2日复电：“同意粟裕陷午(即30日午时)电意见，张爱萍海军系统暂时不迁青岛，并仍归华东系统即归粟裕指挥。”在这里，中央军委明确指出“归华东系统指挥”即是“归粟裕指挥”，是粟裕为第三野战军暨华东军区实际主持者的一个明证。8月6日，毛泽东致电第一野战军彭德怀并贺龙、习仲勋，指出：解决西北地区问题，“除用战斗方式解决外，尚须兼取政治方式”。同时，毛泽东还特意在这份电报旁边加上批注：“此报加发华中局（第四野战军），湖南省委，（第二野战军）刘（伯承）、邓（小平）、张（际春）、李（达），华东局及粟裕。”显然，这里的“粟裕”是指代他主持全面工作的第三野战军。
9月中旬，粟裕当选为三野首席代表，率领三野代表团出席了全国政治协商会议、中华人民共和国开国大典，并与总司令朱德、总参谋长徐向前、一野司令员彭德怀、二野政委邓小平、四野司令员林彪一起，当选为全国政协军队委员。这一大野战军首席代表的经历，在人民解放军诸将帅中，还有三位后来于1955年授衔的元帅（贺龙、刘伯承、罗荣桓）拥有过。
10月初，粟裕出席中央军委召开的有各大区各野战军司令员参加的军事会议，讨论消灭国民党残余军事力量、解放全部领土问题，主要讨论解放台湾问题。10月5日，作为三野首席代表的粟裕，又出席全国文联为人民解放军代表举行的茶话会，并发表了讲话。
1950年３月８日至4月8日，粟裕以华东军区暨第三野战军实际领导人的身份，到北京参加中共中央召开的各战略区负责人会议。毛泽东于3月18日致电彭德怀（第一野战军司令员、西北局书记）、邓小平（西南局书记、第二野战军政委）、饶漱石（华东局书记、华东军区政委）、方方（华南分局书记）、高岗（东北局书记、东北军区司令员）：“为讨论军事和土改等项问题，拟请各区同志来京开会一次，请你们五位接电后数日内即动身来京（林彪、粟裕二同志已到京）。”毛泽东在这份电报中特意指出的已经在京的林彪，当时是第四野战军司令员、中南局书记，而粟裕显然即是第三野战军及华东军区的实际主持者身份了。
华东战区准备50万人参加的攻台战役，毛泽东任命粟裕为总指挥，并令其兼任解放台湾工作委员会主任。1950年6月上旬，粟裕在中共七届三中全会上汇报了解放台湾的准备情况和作战方案。他考虑到此战不仅仅牵涉三野一个野战军，还有其他野战军四个军参加，已经成为全国的重大战略行动，并影响到太平洋和东南亚国际局势，再次谦逊地请中央安排刘伯承或林彪指挥时，毛泽东出于对粟裕军事才能的绝对信任，依然坚持原来的任命。可惜此战因6月25日朝鲜战争爆发而中止。1950年7月，中央军委决定组建东北边防军，粟裕也被毛泽东点将为东北边防军司令员兼政委，准备担负抗美援朝之战的指挥重任。
粟裕接到新职的命令后，旋即因病赴青岛治疗。临走前，他带病主持召开了三野会议，研究了朝鲜战争问题，并部署了攻台作战的准备以及华东军区的军事建设工作。张震在《张震回忆录》中回忆说：“粟裕在去青岛休息前，主持召开了三野会议，研究了朝鲜战争问题，对攻台准备以及全区部队的军事建设也作了部署。”此后，因粟裕赴苏联疗养，陈毅开始实际履行华东军区司令员职责。1950年11月16日，考虑到粟裕的身体状况，陈毅、饶漱石致电中共中央：“为加强华东军区的领导和集中进行工作，决定陈毅住南京主持军区工作。”毛泽东于11月17日复电指出：“这些决定，我们认为是正确的，请即照此执行。”据当时华东军区副参谋长王德的记录：毛泽东发来电报指示陈（毅）返宁（南京）主持军区工作。张震在《张震回忆录》中说：
“开始，我们对朝鲜战争的考虑并不太多，而是集中力量在准备打台湾。粟裕同志因操劳过度，身体很差。因此，就在那次华东局常委扩大会议上，研究并报请中央军委批准，让他病休两个月，后经毛主席批复，只同意他休息到8月中旬，并根据身体恢复情况，还要准备执行新任务。
“粟裕在去青岛休息前，主持召开了三野会议，研究了朝鲜战争问题，对攻台准备以及全区部队的军事建设也作了部署。
“他病休后，陈毅同志由上海回宁主持前委工作，又要他挂帅，两面牵扯。而粟裕病休了没多久，因朝鲜战事紧张，军委又通知我们，已任命他为东北边防军司令员兼政委，准备率兵出师抗美援朝。但粟裕同志身体实在不行，未能赴任，看来，一时也难以回华东工作。
“鉴此，经我提议，在上海组织成立了三野前指，在陈毅司令员直接领导下开展军事工作，地点就在现在的淮海路。”