先从南雄第一大姓刘姓来看，刘氏先祖迁入南雄的先后有60多族。迁入时间除极少数在宋末外，其余多在明代至清初。他们来自客家大本营赣南的信丰、龙南、兴国、南安、上犹、安远以及闽西的武平，约有一半则是先从赣南、闽西迁至始兴而后再迁入南雄。刘族散居于24个镇179个村，而多聚居于盆地中心的湖口、珠玑、黎口、全安、黄坑等镇，湖口镇刘氏占该镇总人口的16％，黎口镇、珠玑镇都占10％以上。

明代清初，特别是明嘉靖前后，始兴大批氏族迁徙南雄，除上述原因外，还有一个原因就是明嘉靖前后，龙南一带盗寇蜂起，流劫乡村，始兴与龙南毗连，而又比较富裕，首当其冲，许多氏族不堪骚扰而向南雄迁徙。据《直隶南雄州志》载：“弘治六年，强贼李三奴剽掠始兴。”，“正德七年，安远同寇流劫乡村。” ，“嘉靖廿四年冬，流贼逼郡城，肆行劫掠。”，“卅五年十一月平明，龙南贼直达小东门，焚掠民家，势甚猖獗。”，“卅七年，龙南贼犯始兴石坑等处，知府章接御之，败绩，为贼所伤者数百人。”“隆庆元年夏四月，龙南贼流劫乡村，知府周思文招抚归业”。在当时的情况下，南雄与始兴相对来说，南雄离龙南远些，而且是府治所在地，防御力量也强得多，因此，始兴不少氏族便很自然地来南雄寻找安居乐业之所。这是客家人祖祖辈辈在辗转迁徙中形成的本能。

五里山刘族始迁祖刘弘于清顺治间自闽西建宁县迁来，斜头下陈族于清乾隆年间自溪塘迁入。巨富叶廷荣于清乾隆末由乌迳迁人雄城经商。由此可见，早期于宋代迁来南雄城的氏族，虽历经七八百年，但在社会动乱时后裔多已外迁他处，在城人口不多。元代以后迁来城内的氏族来自四面八方，聚散无常，所以说南雄城无大姓巨族，而且多属客家民系。