吴佩孚所部撤防是从一九二零年五月二十日开始。
他事前曾电请张敬尧派员到衡州协商接防问题。张敬尧派湖南暂编第二师师长吴新田为“主持湘南防务司令官”，于二十一日到衡州，与吴佩孚及湘军代表签订条约，南北两军维持原有停战界线，湘直两军停战协定继续有效。
直到吴佩孚所部撤防的前夕，北京政.府才有电报批准直军撤防。这样也就使吴部的北归，有了合法性。
吴佩孚所部开拔时作环状队形的布置，主力居中，湘江两岸各设掩护队，前方设有侦察兵，后面设有殿卒。大军扬帆而下，全军齐唱吴所亲撰的《登蓬莱阁歌》。
途中吴秀才诗兴大发，写下《回防途次》，诗曰：
行行重行行，曰归复曰归。
江南草木长，众鸟亦飞飞。
忆昔赴戎机，长途雨雪霏。
整旅来湘浦，万里振天威。
孰意辇毂下，妖孽乱京畿。
虺蛇思吞象，投鞭欲断淝。
我今定归期，天下一戎衣。
舳舻连千里，旌旗蔽四围。
春满潇湘路，杨柳正依依。
和风送归鸟，绿草映晴晖。
少年惜春华，胜日斗芳菲。
来路作归程，风景仍依稀。
周公徂东山，忧搀亦畏讥。
军中名将老，江上昔人非。
建树须及时，动静宜见几。
何日摧狂虏，发扬见国威。
不问个人瘦，惟期天下肥。
丈夫贵兼济，功德乃巍巍。
江上送归舟，风急不停挥。
得遂击楫志，青史有光辉。
春日雁北向，万里动芳徽。
鸿渐磐石愿，衍衍不啼饥。
止戈以为武，烽烟思郊圻。
同仇复同仇，归愿莫相违。
吴佩孚所部于二十七日由水路经过长沙。
张敬尧怕吴部舍舟登陆“战长沙”，在湘江右翼配置了强大的兵力，但只作防御准备。
而吴部根本无意上岸，虽亦作紧急戒备，不过是怕张军袭击而已。
双方都很克制，均未挑衅生事，吴部随后扬帆而去。
吴佩孚所部于五月二十九日过岳州，三十一日在汉口集中。
吴部北行，一举一动都引来各方关注，其滞留汉口，久而不发，因之而谣言四起。
北京政.府以吴佩孚所部按兵武汉。引起各方猜忌为名，促其尽快离开。并电曹锟，请他下令督促吴部速行。
吴佩孚本打算在武汉稍事休整，但迫于情势不得不迅速开拔。派其参谋长赴汴与赵倜密商后，商定吴部暂驻信阳、许州、郑州等处。
随后于六月七日晚由武汉起程。八日抵郑。
所部第一旅驻许昌，第二旅驻驻马店，第三旅分驻顺德、磁州，骑兵团驻黄河桥，步兵八团驻新乡县。
沿途旌旗满目，帐幕相望，军容整齐而士气高涨。
吴佩孚所部北归，直接的结果是直皖两系短兵相接，段祺瑞早就已经认识到了问题的严重，他不能不有所应对。
早在一九二零年四月下旬，驻防陕西的奉军许兰洲部忽然移动到华阴、潼关、观音堂一带。这个行动使段祺瑞怀疑是奉军有企图移向河南，策应直军北进。
五月十七日，段祺瑞曾在团河召集秘密会议，作了一系列的军事布置。
一面召回徐树铮，并将全部西北边防军调回北京附近，一面决定自己出马担任川陕剿匪总司令，率领边防军一三两师向陕西出发，讨伐陕南民军和川滇靖国军。
为了提防靳云鹏在北京捣鬼，准备派其为副司令或参谋长，令其随军出发。这其实是在“声东击西”，真正目的并不是向陕西出兵，而是准备进军郑州。其计划是首先驱逐河南督军赵倜，然后派军防守京汉路南段，阻断直军的归路。如果直军打算强行通过，就地予以迎击。
段祺瑞认为在河南与直军作战，不但北京根据地不致受到战火的威胁，而且山东、安徽两省的皖系军队可以侧击直军。
但是，当段带兵出征陕西的消息传到关外，张作霖立刻借口边防军出动，北京防务空虚，要求准许奉军入关“拱卫京师”。如果北京真的由奉军拱卫，北京就变成张作霖的天下了，这便使得段祺瑞，被迫放弃这个想争取主动的作战计划。
六月十三日，一直出语惊人的吴佩孚在郑州发出一个爆炸性的电报，分致反皖的八省联盟各督军，内容是：反对安福系包办上海和会，建议召开国民大会解决一切问题。
这个电报之所以具有爆炸性，是因为这个建议不但遭致皖系的强烈反对，八省联盟内部也是一片反对之声。联盟的领军人物之一的张作霖为此而大发脾气，就连吴的上司曹锟也一个劲地摇头。
北方反段的军人虽然不满意吴的狂妄，但考虑到直皖战争爆炸在即，吴是一个肯打硬仗的虎将，其军队又能征善战，因此而对吴的过分言行，只好隐忍于心。
但是，吴这一通电得到南方各人民团体的热烈欢迎。
吴佩孚将其主力布置在河南，造成北方风云突变。奉军为了暗中策应直军，也零零星星地分为三营五营开进关来，六月十日驻独流镇的奉军四营，经过天津开往廊房。
曹锟也于六月十日派兵监视德州兵工厂，并以德州为直军右翼的前哨阵地。
六月十五日，吴佩孚偕同三个混成旅的旅长到了保定。同日，江苏、奉天等省代表也都到保定，来参加曹锟所召集的军事会议，这是一次秘密的，却是极重要的军事会议。
段祺瑞方面自然也积极布置，他密令驻守济南的边防军第二师师长马良作好动员准备，俟机北向进攻德州，或者西向侧击郑州。
为了准备打仗，皖系积极筹措战费，由安福系的交通总长曾毓隽，以京绥路为抵押，向日本借款五百万元作为战费。
在中国内争上，日本是倾向皖系的，日本方面本来是愿意帮这个忙的。只是这个时候，日本已不能像欧战期间那样，可以在亚洲尤其是中国为所欲为了。美英等已经联合起来，在中国问题上采取强硬的立场，监视着日本的一举一动。
由于美英两国出面干涉，皖系以京绥路向日本押借五百万元没能如愿。
这时候，皖系无论在外交上、财政上、或是作战的战略地位上，都处于十分不利的地位。
最大的致命伤是两个，一个是主张武统，发动南北战争。在全国人心盼望和平统一的时候，内战是不得人心的。一个是亲日，当时全国人心都痛恨日本侵略，尤其在欧战期间乘火打劫，企图独吞山东。国人对日如对过街老鼠，皖系的亲日自是大失人心。