此時，傅雷已經從美專辭職三年，專職在家翻譯寫作。1933年，傅雷的母親病逝，傅雷回鄉料理母親的後事，回來後就辭去了上海美專教授一職。劉海粟真誠地挽留，傅雷沒有答應。傅雷說，不但現在不教，將來也不教，也答應劉海粟，不在別的學校任教。後來，對傅雷辭職一事，劉海粟曾說：“事過25年之後，我才知道他之所以不願教書，並不是和同學們意氣用事，而是另有原因。後來一位參加過圍攻傅雷的同學楊志榮告訴我，那天他和同學們一起衝進教室的時候，曾經打過傅雷幾拳。為了這件事，他多年惴惴不安，考慮再三，最後還是把真相告訴了我。”
劉海粟所說的傅雷捱打，是怎麼回事呢？
“九一八”事變後，上海的抗日熱潮漸漸高漲，學生是其中的中堅分子，一向活躍的上海美專學生會經常組織學生參加抗日宣傳活動。學生會向校辦主任傅雷要求，上午可以繼續上課，下午則應安排他們到街上去從事抗日宣傳活動。傅雷一方面同意學生們的合理要求，另一方面又說，抗日不應該荒廢學業，原先下午的美學和美術史課程，要在晚間補上。學生們同意了傅雷的安排。
1932年的一天下午兩點多，傅雷正在給一班學生講課，學生會主席成家和、骨幹趙丹、楊志榮等人，急匆匆地闖進教室，責問傅雷為何不停課，耽誤了學生集合。傅雷堅持要上完20分鐘課再下課，成家和、趙丹等有些不耐煩，和傅雷爭執了起來，混亂之中，楊志榮打了傅雷幾拳。txt電子書分享平臺
劉海粟與傅雷交惡始末（3）
後來，上海美專的學生知道自己錯了，又向傅雷道歉，並專程為傅雷開了一個歡迎會，希望傅雷能繼續給他們上課，傅雷參加了歡迎會，與學生們冰釋前嫌。
劉海粟認為是由於學生打了傅雷，而使傅雷不再來美專上課，判斷應該是不準的。如果傅雷真的是因為學生打了他，就不會時隔兩年後才辭職，這中間，傅雷曾去哈瓦斯通訊社工作了半年，後又回到上海美專。如果因為有學生打了他幾拳而不願再教書，他完全可以不再回到上海美專。
後來，在1957年7月18日寫出的《傅雷自述》找到了答案：
1933年9月，母親去世，即辭去美專教務。因（一）年少不學，自認為無資格教書，母親在日，以我在國外未得學位，再不工作，她更傷心；且彼時經濟獨立，母親只月貼數十元，不能不自己謀生；（二）劉海粟待我個人極好，但待別人刻薄，辦學純是商店作風，我非常看不慣，故母親一死即辭職。
從《傅雷自述》中可以看出，自進入上海美專任教以來，傅雷對劉海粟的辦學方式、待人刻薄等諸多事情都看不慣。那時的傅雷，在心裡其實已經與劉海粟距離甚遠了。到了1936年，傅雷的好友張弦去世，傅雷將張弦的英年早逝大半歸罪於劉海粟，更加劇了對劉海粟的反感。據《傅雷自述》說，張弦死後，傅雷和一些朋友在《時事新報》上編了一個特輯，用以悼念亡友，請劉海粟出一點錢協助，但是遭到劉海粟的推脫。後來傅雷和朋友拉著劉海粟參加討論為張弦舉辦遺作畫展的會議，劉海粟依舊是不做任何負實際責任的舉動，也是在這次會議上，傅雷拍案大罵，發誓永遠不再跟劉海粟這種自私的人來往。
傅雷與劉海粟，從最開始的藝術知音慢慢走到決裂，兩人的分道揚鑣，是二人性格與價值取向發展的必然結果。傅雷的個性疾惡如仇，耿直剛硬，天性中滿懷赤子之心，劉海粟則圓滑世故，見風使舵，慣於鑽營，在對待朋友中，更不能看到一點真誠，這與傅雷的個性是完全相反的。
眾所周知，傅雷對著名畫家黃賓虹推崇備至，晚年兩人成為莫逆之交。那麼傅雷對中國近代美術史上的幾個風雲人物有什麼評價呢？我們從他寫給遠在新加坡的畫家、他的好友劉抗的信中可以看出一些端倪，其中既包括徐悲鴻，也包括他早期引為好友的劉海粟。
在早期出版的《傅雷文集？書信卷》中致劉抗的信中，傅雷與劉抗探討了中國畫以及當代畫壇大家：
中國畫與西洋畫最大的技術分歧之一是我們的線條表現力的豐富，種類的繁多，非西洋畫所能比擬。枯藤老樹，吳昌碩、齊白石以至揚州八怪等等所用的強勁的線條，不過是無數線條中之一種，而且還不是怎麼高階的。倘若沒有從唐宋名跡中打過滾、用過苦功，而僅僅厭惡四王、吳惲而大刀闊斧來一陣“粗筆頭”很容易流為野狐禪。
在評論了吳昌碩、齊白石的風格後，信中還有這麼一段：
至於