人經營的萬隆茶行裡做事，收入還比較可觀。蘇賈森在家鄉廣東時就娶了妻子，生有一子一女，可兒子卻在六歲時夭折了。到了日本橫濱後，蘇賈森又娶了一位日本女子名叫河合仙。他與河合仙也曾生過一個男孩，蘇賈森為了吸取了以前的教訓，覺得一個男孩子不太可靠，還想生一個，可此時河合仙卻無法生育了，他的願望難以實現。當河合仙嫁到蘇家時，她有一位開朗而美麗的妹妹河合若，也從幾十裡開外的農村老家來到橫濱和姐姐姐夫同住，在家中照顧姐姐並做些家務。河合若體態嫋娜，嫵媚溫柔，日久生情，蘇賈森喜歡上了這位妻妹。而河合若也對蘇賈森懷有好感，在河合若眼中，一個有錢和身份地位的男人能喜歡自己這樣一個農村女子，已經感到非常幸福，時間一長，就和這位姐夫同居了。河合仙是善良的，見妹妹要臨盆時常守在身旁照顧她，對蘇賈森和妹妹都毫無怨言。一八八四年的九月二十八日，蘇賈森和河合若的孩子終於出生了，這就是蘇曼殊。河合仙視蘇曼殊如己出，關懷備至，可是蘇賈森和河合若並沒有婚約，河合氏知道自己的小女兒做了這樣的事，羞愧難當，趕緊催河合若回家鄉神奈川逗子櫻山村。蘇賈森在河合若走後，決定將孩子交由河合仙撫養，自己又不負責任地到另外一個地方居住去了。沒有多久，鄉下的河合仙雙親到橫濱與女兒同住了，蘇家又沒有公開承認蘇曼殊，河合仙的父母就給初生的孩子起了個叫宗之助的日本名字，還決定讓孩子將來認河合仙為生母。河合若回逗子鄉下後不久，就嫁給了一位海軍軍人，後來隨丈夫回東京去了。畢竟是親生骨肉，河合若怎能將兒子蘇曼殊從記憶中抹去，在他三歲的時候，河合若向姐姐允許蘇曼殊到東京住一段時間。
一晃半年過去了，蘇賈森作出了一個決定，讓遠在中國的父母以及妻室認自己這位異國他鄉的兒子，並打算來年將他送回國。蘇賈森將這個事挑明後，家中的妻妾並沒有反對，尤其是大房黃氏，居然還讓蘇賈森儘早把孩子帶回廣東老家。河合仙聽到這個訊息後對蘇賈森非常感激，覺得蘇曼殊不再是無人照顧的棄兒了。臨別之時，河合仙幫蘇曼殊買了身嶄新的和服和一雙皮鞋，含著淚水幫蘇曼殊穿上，還到照相館拍了張離別照，以作紀念。
在廣東香山的老家，祖父祖母對蘇曼殊關懷備至，尤其是祖母，對這個聰明的小孫子更是疼愛，兩位老人將蘇曼殊送到了離家只有百米遠的私塾中讀書，並給他起了一個叫子谷的學名。每天清早，祖母就讓一名女僕送小曼殊上學，回來時不放心還讓私塾中的本家兄妹們帶回家來。雖然當時小曼殊的生活算衣食無憂，祖父母也非常照顧，比同齡的孩子成熟的他，心裡總是有些說不出的哀傷，他發現別的孩子都能見著母親，而自己卻沒有母親的疼愛。在私塾的那段時間，他時常想起萬里之外的母親河合仙和那位小姨。沒多久，蘇賈森在日本橫濱生意做破產，攜著一大堆妻妾和兒女返回了老家，蘇家也從此敗落了。小曼殊滿以為父親會帶母親河合仙一起回來，可他並沒有盼到。
父親一大班人的回來，讓白鶴港的蘇家變得非常地擁擠。而這裡的孩子都有自己的母親照顧，惟獨蘇曼殊缺少母愛，曼殊在父親回來前和家裡的孩子相處得都不錯，可自從父親帶回這個陳氏之後，經常在背後說小曼殊的壞話，鄙視他是混血兒，從此小孩子也疏遠了他。這位陳氏對蘇曼殊有著根深蒂固的仇視，本身在橫濱時，陳氏就對早於自己嫁給蘇賈森的河合仙充滿嫉恨，就是大陳氏逼迫蘇賈森將河合仙遷居別處的。而這次回廣東不讓河合仙跟過來也是她的主意，此時必然地又把滿腔的嫉妒和憤恨，發洩在蘇曼殊的身上。在家中，大陳氏依仗著蘇賈森對自己的嬌縱，大發淫威，經常欺負蘇曼殊，讓孩子們都要視他為異類才開心。疼愛自己的祖父母已年邁，父親對此又不管不問，小曼殊的心境始終處於壓抑之中，性格也更加孤僻起來，變得不愛說話。在蘇曼殊十二歲的時候，父親撇下自己帶著大陳氏和三個女兒一起去上海經商去了，這次讓蘇曼殊又傷心不已，他覺得父親為什麼總不願管自己，沒疼過自己呢？父親一走後，小曼殊的處境更加不行，那些欺負他的孩子變得更加肆無忌憚。而且加上當時甲午海戰的爆發，有著一半日本血統的蘇曼殊受到了更多人的排斥，很多人明著暗著欺負他，小曼殊終於承受不住這種壓力，病倒了。這時蘇家正鬧分家，她們居然把病重的小曼殊扔進了柴房，任他發高燒。曼殊已病得無力反抗，這時長兄蘇煦亭剛結婚，他又是河合仙所生，見弟弟被虐待成這樣，便讓新婚的妻子照顧小曼殊。在嫂子的悉心照料下，曼殊的身體恢復了起來，這個時候小曼殊