从秦朝至元朝近一千六百年间，长江下游与淮河流域基本不属于同一行政区域，长江南北也大多不在一个行政区之中。秦汉时期，从淮河以南到长江以南，整个东南地区的开发程度还大大落后于黄河流域经济发达地区，地广人稀，交通闭塞。而江南又落后于江淮之间，因此政区范围很大，如西汉的会稽郡即包括今江苏省江南部分、浙江省绝大部分和福建全省。但即使在这种情况下，长江以南、江淮之间和淮河以北一般也都隶属于不同的政区。如东汉时江南是丹阳、吴郡，江淮间是庐江、九江、广陵郡，淮北是沛、下邳国和东海郡，其中汉下邳、广陵、东海三郡国在淮水南北略有交错。

随着经济的发展和人口的增加，这一地区的经济、文化逐渐接近并超过了北方原来发达的地区，因此行政区划也出现了相应的变化。唐朝（618—907年）开始直到元朝（1279—1368年），这里的一级政区（道、路、省）比较稳定，也比较合理，而二级政区（州、府）则随着经济的开发而出现逐渐增设的趋势。唐朝时，今苏南、皖南的一小部分和浙江省属江南东道，皖南的大部分则属江南西道，江淮之间是淮南道，淮河以北属河南道。北宋时，原属江南东道的这些地区划归两浙路，而皖南大部分属江南东路，江淮之间及淮北相当于今苏、皖二省北部地区大部分属淮南东路和淮南西路。南宋的情况大致相同，但淮南东路仅辖江淮之间，淮河之北已是金朝的南京路、山东东路和山东西路了。元朝建立行省，每省辖境很大，建置变化也十分频繁，但比较稳定的区划是：江南归江浙行省，江北至淮河流域归河南行省。太湖流域在唐朝置有苏、常、湖三州，北宋时又析置了一个秀州，但这些州始终隶属于同一政区。

这种状况到元朝末年发生了根本的变化。至正十六年（1356年），朱元璋（明太祖）建江南行中书省，治应天府（今南京）。明洪武元年（1368年）建南京，周围地区划为直隶中书省。由于南京是首都，所以朱元璋要在周围建立一个相当大的直隶地区。长江三角洲是全国最富庶的地区之一，又紧靠南京，自然在划入范围，所以原来江浙行省太湖周围地区，也即以后的苏州、松江、常州、湖州、嘉兴各府统统划归南京直隶。而凤阳是朱元璋的故乡，祖宗坟墓所在，也要让它享受首都直隶区的优待，于是又划出了一个范围相当大的凤阳府，直隶于南京。所以在明朝初年，就出现了一个大致相当于今江苏、安徽二省和浙江北部地区，跨大江南北、淮河两岸的大行政区。

由于嘉兴、湖州二府直隶南京，新建的浙江行省在浙西只剩下杭州、严州二府，省会杭州处于省境的边缘。大概朱元璋也觉得不太合适，因此在洪武十四年（1381年）将湖州、嘉兴二府划归浙江。这样对浙江固然有利，但是从此太湖流域不再属于同一个政区了。

明成祖迁都北京后，南京一直作为明朝的陪都，南直隶继续存在，对于“太祖高皇帝”划定的区域谁也没有敢变动。清朝初年完全沿袭了明朝的区划，只是将南直隶的名称改为江南布政使司。但治理上的需要还是导致康熙六年（1667年）江南布政使司被分置为江苏、安徽两个布政使司（通称省）。不过，由于两省的分割是自南至北分为东西两半，所以两省的辖境都是从淮北直至江南；太湖流域分属江、浙两省的局面也没有改变。从明初至今，这种状况已经持续五百年了。

黄河是一些政区之间的天然界线，有的地名如河东、河西、河南、河北就是以它们相对于黄河的位置而得名的。西汉时设河南郡（故地在今河南省境内，郡治洛阳，在今洛阳市），顾名思义，辖境应在当时的黄河水道之南。事实也的确如此，河南郡与河内郡就是以黄河为界的。以后尽管政区变化频繁，但河南的名称一直存在着，而且到隋朝（589—618年）为止，河南郡只限于黄河以南。

唐朝以洛阳为东都，因此给予洛阳与首都长安相似的特殊地位。洛阳所在的洛州改称为河南府，辖境也因之而扩大。但河南府的东、南、西三面已分别接近相邻的郑州、汝州、陕州的治所了，南、西二面又为山地所限，所以就越过黄河向北扩展，将王屋山南的王屋、济源、河清、河阳、温等县划入河南府；还将河北太行山东南的怀州划归河南府所属的都畿道（道是府、州以上一级的政区）。北宋（960—1125年）沿袭了唐代的做法，河南府也有一小块黄河以北的地区，而王屋山南大部分地区另置孟州，也隶属于基本在黄河以南的京西北路（路是府州以上的一级政区）。但到金朝，孟州就不再属黄河以南的政区管了。元朝的河南府路，进一步恢复到以黄河为界，连河北的一小块地方也划出了，成了名副其实的“河南”。河南府路所属的河南行省，尽管辖境很大，但基本都在黄河之南。

朱元璋在南方建立政权后，分两路进兵北方。西路军以开封为据点渡河北伐，沿途占据的地区统统划归以开封为治所的河南分省。东路军所占的地区则划归山东分省。这样，原属元中书省的彰德路、卫辉路和怀庆路先后在洪武元年闰七月、八月、十月改为彰德府、卫辉府和怀庆府，并划归河南分省。但随着明军的节节胜利和对元朝首都大都的攻占，太行山以东直到燕山的大部分地区都已划归河南分省，小部分划归山东分省。

这样的临时措施当然不能持久，所以到洪武三年（1369年）三月置北平行省，将临时划归河南、山东分省的地区重新划出。但最先归河南的这三府却没有划出，而是正式隶属于河南省了。同时，河南省的开封府也划进了黄河北的几个县。清朝基本维持原状，只是在这三府与直隶（今河北）所属的府之间做了一些交换。这一结果就一直延续到新中国成立后，河南省的“河南”之名不副实，也已有五百多年了。

以上这些界线的变动开始都是出于封建统治者的私利或者一时权宜之计，但却能维持几百年不变。这一方面固然是由于封建政权因循守旧，习惯于维持原状；另一方面也说明这些变动在当时的条件下也有一定的合理性。当然，在社会制度和物质基础已根本不同的今天，衡量其合理性的标准是不可同日而语的。