绍兴二十二年香山初立县时，香山县是被朝廷划入“下县”的。其后经过近100年的经营，经济才迅速发展起来，其重要的标志之一，就是人口的增长。但是南宋末年的战乱，尤其是元朝统治者对坚决抗元的香山人民所采取的报复措施，包括滥杀无辜和把平民劫掠到北方当奴隶，造成了香山的人口急剧下降。到元初，税册上香山县的“丁”(满18岁的男子)的数目只有8459人，比陈天觉主持香山县务时的近10000户相差很远。直到20年后的元大德年间，局势相对平稳，人口才渐渐的恢复，据县志，当时的南人(本地人)为11348户，北人(蒙古人)为28户，另僧道68人。
    元末的大动乱，造成香山人口的又一度锐减。
    明朝建立后，人民得以休养生息，朱元璋在明洪武十四年下诏，造“黄册”统计天下人口，统计数字表明，当时香山的户数已回升到8888户，36758人。由于朝廷对农业的重视，(例子之一是，洪武二十四年，知县赵彦方在《劝植桑农令》中明文规定：“民有不种桑麻棉等，罚之”)，香山农业发展很快。在农业的带动下，尽管明政府一如以前的历代封建王朝那样执行抑商政策，但手工业和原始的商业依然有了长足的发
展。县志所提及的主要行业就有“灶人以办盐额(制盐)，织人以成布帛，牧人以蕃孳畜，园人以毓草木(包括蔗果莱等)，猎人以储皮腊(制革)，渔人以办鲜错(晒咸鱼、虾酱等)、八曰以售酒食(饮食业)，矿人以攻金石(采矿、冶金)”等。——按：上文的“八曰”两字费解，想是县志误植，现姑且照抄，总之从中知道当时饮食业也很发达就是了。
　　要进行交易，就必须设立墟市和商号。由于县城内的地段早已给官府和大户占用了，所以当时商号的主要集中地只能是文通便利、很具发展潜力的铁城以西，也就是原先的渔村石岐。
    坊间有一种说法：大约在明代后期，县城铁城以西的石岐，开始聚集了十八间较大的商铺，俗称“十八间”。“十八间”位于现在的孙文西路中段，正是孙文西路的雏型。当然，所谓“十八间”，其实只是个以示其多的虚数，指的是一批规模较大的商号，包括纸料铺、疋头铺(布店)、陶瓷铺、海味杂货铺、中药铺等。其中有店名可考的，至今就只剩下一间纸料铺名叫“金玉楼”。不过，当时的石岐倒是商贾云集，购销两旺的。“十八间”西侧，是一座规模宏大的天妃庙(旧址是后来的石岐商会，也就是目前即将兴建的商业博物馆所在地)。天妃庙前的空地，俗称“大庙下”，附近一带都是繁盛的摆卖区。——按：还有另一种说法．虽然从明代起，城西一带的商业区便逐渐形成，但“十八间”的叫法，却是直到清末民初才出现的。由于两种说法都难以找到直接的文字依据，这里姑且让它并存。
    至于商业具一定规模的其余地方，则有所前市(在县衙旁的拱辰街南)、南门市(在今民生路与民族路相交处)、堑头市(在学宫前)。——以上为常设的“市”，至于逢农历三六九日才开设的“墟”，最初位置在迎恩街，即今天的孙文西路东段。其后迁到了县治东附廓的沙岗，因此称为“东门墟”，俗称沙岗墟(按：这就是沙岗墟的起源!由于它在石岐居民心目中的印象大深了，所以尽管其后几度易直，至今仍称沙岗墟)。
    有了经济的发展，各项基建才成为可能。明代兴建的标志性的建筑甚多，包括县衙(洪武三年重建)、学宫(洪武三年重修、万历三十三年重建)、烟墩山文塔(万历三十六年建)、西山寺(具体年代不详)，以及沙涌马氏大宗柯(宋帝行宫)、小榄的双美桥等。嘉靖二十四年(1545年)，还在县城的仁山下创建了仁山书院，这就是香山的第一间书院。