據當地人介紹，黃家當時修房子時，村裡的人給他家幫工，但房子蓋好後，黃家卻支付不了工錢，人家便把黃光裕母親喂的那頭老母豬趕走賣了抵工錢。那時，黃光裕才14歲。
為了分擔家裡沉重的負擔，兄弟倆一到節假日便到附近的鄉鎮街巷去撿拾一些塑膠瓶子和舊書報，然後賣給廢品收購站，運氣好時一天可以賺個兩、三塊錢。雖然生活條件非常艱苦，但家裡的氣氛一直很好，從未陷入愁苦之中。
大哥黃俊欽是一個內向而聰明的人，從小對組裝電器著迷。有一年春節，他花了200元錢買了一個電視機螢幕和一堆相關的電子配件，在大年三十的晚上鼓搗了整整一宵，初一的早晨全家人一覺醒來，竟然驚喜地發現：他們可以用黃俊欽組裝的電視機收看電視節目了。因為有這門無師自通的手藝，兩兄弟在十幾歲時，便常常跑到鎮上去收買舊電器，修好後拿去賣錢。而這種對技術的痴迷和天分，一直伴隨著黃俊欽以後的商業生涯。
因為商業氣氛濃厚的原因，所以當地的大人一般都會支援自己的孩子去做點小生意，即使是撿廢品、修舊電器之類的讓很多人不屑一顧的事情。而這種最初和最簡單的商業實踐活動，卻為黃家兄弟帶來了巨大的喜悅和成就感，讓他們從此和做生意結下了不結之緣。
據中學時的老師介紹，黃光裕兄弟倆讀書的時候都很聰明。1985年，黃俊欽只差半年便可入讀大學，但因為不願因此加重家庭負擔，便帶著還未唸完初中的黃光裕，北上創一番事業。他們走時，還帶著一堆修好的舊電器，準備賣了做路費。
讀書太少成為黃光裕日後的一件大憾事，直到成為首富後，他仍對此耿耿於懷。他的一位前助理曾透露，黃光裕一直不願在公眾場合露面，其中有一個重要原因，就是因為他對自己缺乏正式教育而感到難為情。這也讓他對知識和教育充滿了崇敬之心。黃光裕最欣賞的人之一是自己的老鄉李光耀。李光耀原來是難民，但經過自己努力，坐著豪華遊輪頭等艙去美國上學，後來還當上了新加坡的總理。黃光裕曾經感慨：“有知識成功的可能性是百分之二，無知識成功的可能性是萬分之二。”
但有時候，黃光裕對此又表現出一種心裡不平衡後的激憤。他有句名言，“知本永遠給資本打工”。他曾對自己手下某位擁有高學歷的高管說：“你為什麼要成為博士呢？那是因為你內心恐懼，然後你才去讀博士。讀博士是為啥呢？是為了能去打工，歸根結底你是想去打工。”
成名後，在黃光裕的簡歷上，如此介紹他的學歷：1988年7月…1992年7月，中國人民大學一分院學習。但在網上查詢，已經沒有了這所學校。可能的情況是：人民大學和其他一些大學一樣，曾應珠海市政府的邀請，去珠海辦校區，後來因為*的一場變動，各大學的珠海校區幾乎“全軍覆沒”。也許是在少年求學方面留下了莫大遺憾，讓黃光裕在條件稍有好轉後，便尋求一種知識和心理上的補償。在創業初期的忙亂和艱辛中，這種努力突顯了黃光裕性格中勤奮向上的一面。
而在社會這所大學校中，黃光裕卻是一個“成績優異”的學生，學習到了許多謀生和發展的經驗、本事。
黃秀虹在談到她兩個哥哥時這樣說：“我這兩個哥哥都有相當的智慧，只不過智慧的表現形式不同而已。我大哥是我們家裡最敬業的，比二哥還敬業。有的人的確又會掙錢又會玩，但我們一家都屬於只會工作不會玩的。”
現在，黃光裕的住處之一，是位於自己開發建設的樓盤、北京西二環鵬潤家園豪苑頂層，為400平米的複式單位，市值約400萬元人民幣。而小時候一家六口蝸居的斗室，現已殘破不堪。
窮困中掙扎的黃家，選擇上帝作為皈依物件
除了血緣關係和地緣關係以外，對這個家族起著至關重要影響的，還有宗教信仰和一些樸素的鄉村習俗。
在黃光裕出生的銅孟鎮上，便有一座聞名粵東的佛教古剎……靈山寺。靈山寺建立於唐代貞元七年（791年），建立人叫大顛禪師，是禪宗南宗六祖惠能的三傳嫡孫。據記載，大顛禪師“門人傳法者，眾至千餘人”。當年韓愈因“排佛”被貶，到了潮州後便很快與高僧大顛結成好友，兩人過從甚密。而大顛禪師93歲在靈山寺無疾而終後，留下了一個千年未解的“舌鏡之秘”……在圓寂一百年以後，人們開啟了他當初坐化的大缸，發現唯餘一塊硬舌根和一面銅鏡。
另外，在銅孟鎮上還有一座樂善善堂。據當地地方誌記載，它建立於清咸豐年間，與普濟庵連