赵宋立国，继承后周的政治遗产，以汴梁为首都。
但宋太祖赵匡胤打心底不希望定都于汴梁，因为开封乃是“四战之地”，并无天险可据，易攻难守，从军事上考虑，确实不是建都的首选。
为了守卫国都，必须在京师驻以重兵，成本非常高。开宝九年(976年)，时距宋朝开国不过十六年，赵匡胤到西京洛阳祭祖，留洛期间，便与近臣发生了一次是否要迁都的辩论。
原来赵匡胤出生于洛阳夹马营，有意迁都于洛，祭祀完毕，便在洛阳行宫住了下来，不欲回东京汴梁。随行的群臣不知如何是好。
铁骑左右厢都指挥使李怀忠进言：“东京有汴渠之漕，岁致江淮米数百万斛，都下兵数十万人咸仰给焉。陛下居此，将安取之?若虑迁都，臣实未见其便。”李怀忠的意思是，东京纵有千般不是，但毕竟得运河之便，每年可以从江淮运入漕粮数百万石，京师数十万驻军，全靠它吃饭。陛下如果搬居洛阳，得从哪里弄到这么多的粮食?因此，迁都之事，极不可行。
但赵匡胤不听，“上亦弗从”。看来很难改变皇上的主意了。
此时，太祖之弟、晋王赵光义从容说道：“迁都未便。”
赵匡胤说：“迁都洛阳也非长远之计，最好是迁至长安。”
赵光义“叩头切谏”，决心要打消太祖迁都的念头。
赵匡胤又说：“我之所以想西迁，并无他意，只是要据山河之胜，守卫国都，这样便可以裁撤冗兵，循周汉故事，以安天下。”
赵光义说：“国家之守，在德不在险。”
赵匡胤沉默半晌，没有说话。等赵光义离开后，赵匡胤对左右近侍说：“晋王所言，也有他的道理，我就听他一回吧。只是，”太祖深叹了一口气，悠悠道：“只怕不出百年，天下民力殚矣。”
太祖皇帝听从了其弟晋王的劝告，实际上也是迁就于时势。赵匡胤并不是一名固执的君王，他通达，既能尊重传统，也愿意承认现实，顺应时势。南宋时，朱熹与朋友回忆起太祖开国创制的往事，朋友问朱熹：“太祖受命，尽除五代弊法，用能易乱为治。”朱熹说：“不然。只是去其甚者，其他法令条目多仍其旧。大凡做事的人，多是先其大纲，其他节目可因则因，此方是英雄手段。”换成现在的说法，这正是保守主义的改进路径。
说回迁都的事。赵匡胤内心虽有“循周汉故事”、定都长安的情结，但他也不能不尊重现实，在他所处的10世纪，已经全然不同于周汉之世。
经长年战乱摧残，长安等北方都城早已不复旧日繁华，东晋时衣冠南渡，南方获得大开发，中国的经济、文化重心逐渐转移至江南，而军事、政治重心则依旧保留在北方，一南一北两个重心彼此分离。如果缺乏发达的交通网络将南北连接起来，南方的经济资源无法输送到北方，北方那些军政重镇势必难以维持，进而危及整个王朝的安全。
在铁路与火车被发明出来之前，水运线无疑是最为经济、快捷的运输网络。但中国的黄河、长江大体上都是东西走向，南北之间找不到贯通的水运线。隋炀帝开凿大运河，当然并不是为了下扬州看琼花美女，而是要打通南北的补给线。
大运河凿成，南北贯通，中华帝国才可能形成紧密的共同体，富庶的南方才能够成为源源不断地向北方输送物资的大后院。位于运河线上的汴梁，近水楼台先得月，其地位便日益重要了，五代的后梁、后晋、后汉与后周政权，均定都于汴梁。宋承五代之旧，也以开封府为首都，因为不能不顺应历史趋势。
