香港開埠前為一個客家農村社會,有大量的天後廟。 南宋末年,來自廣東等地的陸上居民因元軍攻城而遷居香港,語言上變得閩、粵、內越南交雜。1842年英國佔領了香港島,當時人口只有2000左右。 1860年割讓九龍半島,居民也不多。香港已知最早的詳細人口記錄是1845年,全港有23817人,其中男19201人、女2862人,其餘1754人是兒童。但在1898年租借新界的時候,增加的新界居民則有10萬左右。
英國選擇香港是因為香港鄰近中國唯一通商口廣州 ,而且香港島為福建人通往東南亞經商的必經之地 ,出於和東南亞華僑經商而同時又可和廣州通商的考慮。
第一批來港的主要為苦力及建築工人,在太平天國戰亂時,香港人口急增,特別是來自五口通商的城市,香港在滿清滅亡前廣府人 、閩人佔了很大比例,以省份計則廣東居多。 之後香港奉行自由港政策,鼓勵一切有一定金錢或一定知識的人來港經商。
香港在最早的20年的移民政策較寬鬆,在1880后績漸收緊。 自民國起,來港的人都需要經過嚴格挑選,或是富商,或有富有親屬在港,或有專業技能,即使是難民,也只接收在港有富有親屬或本為大富人家的人。 即使是抗日戰爭來港的那一批人也要有一定財富,不是富有人家的香港人很難把大陸親屬接來香港居住。 而1950年後,申請程序幾乎中斷,即使較富有人家,亦很難申請親人到港定居,但仍有一定數量的由大陸抵港合法移民,不過比偷渡客數量少很多。
香港是永久割讓給英國人的地方,故香港人的待遇遠勝於上海租界的農民工。上海富有的大多是外國資本家,而上海人大多為各省農民工。相反,香港卻慢慢開始有了本土富豪。由於民國時中國極其貧窮,1949年前後,雖然全國精英大多去香港和台灣,但時至今日,福建以北的富豪在港台兩地只佔不足10%。
在清朝時,東南亞的福建華僑因為善於經商,閩語人口幾乎佔了華人90%財產(現今為85%),而清朝在中國本土居住的富有人士基本上絕大多數都是滿族 ,當時 的中國絕大多數是貧窮人口。 而東南亞華僑是廣府、閩海 、客家 各占三分一。廣府 、 客家主要為廣東人,故廣東人比福建人多了一倍,但財產卻不及閩海人,所以抵港華僑大多為福建人。 黎明便是東南亞的客家華僑,居北京,以華僑身份前往香港。 現任華人首富李嘉誠在1940年代則因富有親戚在香港,而且父親為教師,有一定學識和親屬保證生活,才可到港。 而顏福偉家族本是東南亞華僑商人,東南亞華僑商人大多數資本遠超大陸商人,最受英國人歡迎,可自動取得居港權。 沒有香港或東南亞親屬的人比較難移居香港,所以那時香港大多是廣東人和福建華僑。 但亦有特別例子,如英國在另一殖民地山東威海招山東警駐守英國人居住要地山頂 , 梁振英父親便是這樣抵港;另外,郭春秧的後人在北角大搞娛樂夜總會行業,需要當時娛樂色情行業聞名全球的上海人,於是有大量上海人移民香港; 最後還有英國接收的大量國民黨軍人,被安置在調景嶺 。 中國各地本來還有大量較富有人士,但因香港社會房屋原因而遭拒絕,不能獲准到港。 當時的偽滿洲國首都長春 ,北洋及國民政府首都北京、南京以及比上海吞吐量更大的大港天津中的工業、文化、政治人才,很多都不能獲得到香港的資格。 反而窮困的上海夜總會工作人員和國軍士兵可抵港,主要出於香港的穩定和發展需要,但不少得不到居港權的專業人士隨後通過廣州再偷渡到香港。 這些人包括後來在文化界有名的倪匡和本為滿族富翁惠英紅的父親。 香港早期還接收了不少能付學費的精英學生如孫中山 。 各地到港的大多為當地大富商,不過財產都無法與東南亞、香港的富商相比。 1950年以前由大陸來港的華人資本多來自廣州,當時 不少香港人亦擁有廣州資產。而上海的歐美日國家中只有英資企業移港,而移港企業大多為英國人持有而非上海人持有。
香港和上海同時開埠,在滿清滅亡之前,香港人均GDP和上海租界以及五口通商城市相若,但都遠低於列強、英國和美國。 由於香港是英國殖民地,上海分為華界和公共租界,故出現不一樣的移民情況。而真正和香港發展程度相若的是英國另一殖民地-新加坡 。 上海是西方各列強使用中國便宜勞工的地方,在民初時上海租界的人均GDP略低於香港,之後由於中國內戰,日本侵華,租界的勞動力越來越低。在1950年香港的人均GDP為大陸6倍,上海租界則和現在一樣是大陸的2倍, 而上海華界更無法與香港相題而論。 當時西方各列強實行資本主義,勞工成本越低越是受歡迎,於是上海勞工中之中又摻入大部份為其他窮困省份的農民工。 當時最強的是英國和美國,其他在上海公共租界的列強,其本國人均GDP亦只有英國一半以下。而香港、新加坡在英國眼中是已在割讓給自己的地方,更注重民生而不是任意引入農民工。香港的富豪不是以外國人為主,如早期經營鴉片生意致富的利希慎 。如果以在港的資產計算,香港早期最富有的絕大多數為英國人和福建人,但這些人的本部不是在英國就在東南亞或者福建,也有部份廣東籍的富有人仕本部在珠三角。 香港現今40大富豪只有一名是上海人。 當時上海只是中國其中的一座大城市,實際人均經濟份量和五口通商城市相若。上海租界亦有部份的國際企業,但多數擁有者為歐美人士,情況有如當時比上海更富有地區如東三省、偽滿洲國 ,富裕人士基本上都是日本人。
香港人口在1941年約有160至180萬之間,但到1945年8月卻剩下60萬。在三年零八個月,日本佔領期間少了100萬人,其中包括自願或強制回鄉,以及非正常死亡的人口。 日佔的三年零八個月為香港歷史上最艱難的歲月,由大陸偷渡到香港的偷渡潮,其實自軍閥混戰就開始,以日本侵華時期最嚴重,當時沒有香港居民證的人都要被譴返回大陸,加上自願回鄉的人,總數達數十萬,而當時日軍把不服命令的人殺掉,之後又強迫市民以軍票換取人肉,當時有很多強姦案,有大量非自然死亡人口。當時 日本強推軍票 ,令香港經濟損失慘重。戰後在馬鞍山發現兩個萬人墳,此地因此至今都未被發展為住宅。 而香港佔領軍司令亦因此在一九四六年被盟國列為甲級戰犯並同年在廣州被槍決。
在1890年後來港的大多為本土富有人家或東南亞各地華僑的親屬,加上後來的偷渡潮和東南亞排華,使香港人基本上是廣東籍和福建籍為主的社會。