不久之后，张树声果然说服了刘铭传与周盛波加入，这样一来，曾纪泽的这支新建淮军人数将达到一万余人。曾纪泽在常胜军的基础上再次改进了编制，将原有的三营扩建为三团九营，炮连扩充为直属炮营，并新编入了一个直属后勤营。
为了避免湘军兵归将有，主帅调动不利的弊病，曾纪泽将原有常胜军与新加入的团练勇丁进行了系统的混编，保证了在每一级的指挥岗位上，新旧将官所在比例达到比较平衡的水平。
新编淮军中，张树声任二团团长，向望海任副团长；刘铭传任三团团长张树珊任三团副团长，胡雪参任一团团长，周盛波任副团长。许厚才任直属炮营营长。
曾纪泽原计划除威利外，聘请更多的外国军官对淮军进行系统的西洋军事训练，但鉴于上海形势的紧张，以及北京局势的不确定性，曾纪泽认为有必要尽快的将上海这块得天独厚之地掌握在淮军的手中。于是，在经历了不到一个月的短暂训练，曾纪泽就决定率领淮军开赴上海。
上海官绅对于淮军的到来自然表现出了极大的热情，他们应曾纪泽的要求，向在沪外国轮船公局租用了多艘火轮，运送一万淮军分数批，闯过了长江下游太天天国占领区域，于十月中旬顺利到达了上海。
曾纪泽抵达上海的头一天，以江苏布政使吴煦为首的各界人士就摆下盛宴为他接风洗尘，他们对这位两江部督之子，淮军统帅表现出了相当的尊敬与热忱。曾纪泽在宴会上表示，他的淮军拥有与太平军作战的丰富经验，如果上海官商界能为他提供购买武器以及饷银的充足支持，他保证他的淮军将保卫击败太平军的入侵，保卫上海的安全。
上海成为通商口岸日久，租界内外外国公司云集，许多中国商贾也在此开办产业，当时的上海号称“东亚第一都市”，更是清政府关税收入的主要来源，用富可敌国来形容上海虽有夸张，却也形象的描述了上海的富裕。
钱对于上海官绅们来说并不重要，重要是淮军能够守得住上海，吴煦当即代表各界表示，只要淮军能保证上海安全，则他们可以提供每月二十万两人的饷银，另外提供购买洋枪洋炮的全部费用。
打仗就是烧钱，有了上海这个大金库作后盾，曾纪泽更增加了守住上海的信心。与此同时，他向吴煦私下提出了另一个要求，即以上海衙门的名义，立即解散洋枪队。
1860年，当时正值太平军攻克苏州之际，英美等国为了阻止太平军攻占上海，但又不方便撕破中立的面具，直接派兵与太平军为敌，便由清政府出面，委派美国人华尔召募外籍亡命徒及军人组成了雇佣军，即洋枪队。
洋枪队在建立的初起，由于人数有限，在保卫上海的战斗中发挥的作用也十分有限，其真正发挥重大作用的时候，则是在1862年扩军，并被清政府赐名为“常胜军”之后。后来的几年中，该武装不断的扩充，不但成为了一支令太平军望而生畏的队伍，更因为英美等国对其的控制，任其成为一支清政府眼中一支尾大不掉的威胁力量。
曾纪泽既然准备将上海，乃至江苏作为自己发展的根据地，那自然不能允许在淮军之外，还存在着另一支强大的武装力量，解散洋枪队便成了他首要的目标。
当时，华尔率领洋枪队在与太平军的一次交战中，遭到惨败，士兵折损大半，本人也负重伤，洋枪队的战斗力遭到严重的削弱。华尔当时正准备改变方针，招揽中国人加入洋枪队来增强实力，曾纪泽选择在这个时候对洋枪队下手，时机恰如其分。
华尔性格盛气凌人，平素从不将吴煦这个江苏布政使放在眼里，即使是前来要银子时也是一副大爷之状，吴煦之所以能对他忍耐这么久，无非是仰仗他手下的洋枪队来对付太平军的进攻。
现如今，淮军既来，上海的形势大为好转，洋枪队的存在自然也就没有必要，所以他当即听取了曾纪泽的建议，下令上海政府将不再为洋枪队提供任何经济与物资上的支持。
洋枪队人马损失大半，如今又失去了银饷来源，英美两国又不便直接为其拨款，故华尔不得不在几天之后宣布解散了洋枪队，本人则继续逗留在上海租界养伤。
就在曾纪泽组建淮军的同时，太平天国李秀成率领二十万人马，号七十万人的大军进入浙江，展开了对杭州、宁波等重要城市的进攻，因此上海的局势得到了短暂的稳定，这正好给了曾纪泽抓紧时间武装、训练淮军的时间。
在武器方面，曾纪泽准备结束与英国合同，转而向美国进口武器。正在进行的美国南北战争，促进了武器，特别是步枪的快速发展，战争的双方不断的研制和改进步枪性能，使得美国的步枪制造业迅速的赶超了欧洲，使其投入战争的多款步枪都领先于世界先进水平。
而曾纪泽把目光投向大洋彼岸的美国，更预示着他将来的外交重点，从英美两人国对待中国的态度上而言，英国的殖民野心更为强烈，这可以从两人次鸦片战争中，对香港的领土占有可以看出。而美国人则显然更注重于对华贸易，门户开放政策更明确的说明了这一点。
当时的大英帝国正处于“日不落帝国”的辉煌鼎峰，中国与之交往完全处于不利的地位，而美国正值内战以及工业发展期，两国的来往可以存在的更多的合作互利性折潜质。
至少在曾纪泽看来，历史上的美国并未夺取过中国寸土，这样一个国家，显然要比对领土充满野心的英、法、德、俄等国要“善良”的多。
曾纪泽向美国领事克拉克递交了拜帖，这位新任的美国驻上海领事对这支进入上海的清国军队充满了兴趣，他很快邀请曾纪泽参加在美国领事馆内举行的一场酒会。
曾纪泽欣然应邀，于当晚乘着便装，乘坐一辆马车前往虹口的美国租界。在时间较为充裕的情况下，曾纪泽选择了一条绕远的路，顺便欣赏一下外滩的景色。
这条上海最主要的街道，距黄浦江约40英尺，与江岸平行，在外滩和黄浦江之间，是两排绿树和一片美丽的草地，非常漂亮。江风裹着秋阳，溜过绿树吹抚着外滩，清新的气息令人肺腑通畅。
曾纪泽也曾在外滩游玩过多次，但这个时代的江水尚未被严重的工业废水所污染，城市的空气也没有被汽车废气浑浊，行进在外滩之上，感觉与那时完全不同。