一方面，他堅持說，五四運動“實是這整個文化運動中的，一項歷史性的政治干擾。它把一個文化運動轉變成一個政治運動”（《胡適口述自傳》）。
楊振聲：文化觀點看“五四”
1919年5月25日，在“五四”當日被捕、剛剛釋放幾天的北京大學國文系學生楊振聲，受北京學生聯合會委託，與其他三名代表一起，去向京師警察總廳辦交涉，要求歸還被扣留的《五七》日刊。
《五七》日刊是五四運動後，北京學生聯合會為了便於繼續奮鬥，出版的一份小報（取名“五七”，一是紀念5月7日被捕學生的釋放，二來“五七”是日本向中國提出“二十一條”的國恥日）。學生在街頭講演時，可以用來分送路人。但剛出四期，就被警察扣留了。
警察當局拒絕了學生代表的要求。“警察總監吳炳湘又長又臭，夾軟帶硬地訓了我們一頓，我們還是要他還我們的報。‘你們煽動軍警造反！’我們知道這是因為學生在街頭講演時，也有軍警站在人群中聽，而且在最近週刊上有一篇《告軍警書》。他們有些惴惴不安起來。我們還是要他還我們的報。‘怎麼？’他的臉紅漲得像灌腸，大叫：”給我扣下！‘我們就被押送到一間陰溼發黴的小屋子裡去了。“（楊振聲《回憶五四》）
一星期後楊振聲被釋放，同年11月便去了美國留學。但是作為五四運動前後的潮頭人物之一，“五四”在楊振聲身上留下的烙痕是如此之深，他日後對“五四”的反思也就特別值得關注。
對於五四運動愛國和反封建的方面，楊振聲一直是肯定的。《回憶五四》一開始就講了“小時候的兩件怪事”：嫁給牌位的新娘和橫行霸道的日本兵船。“在他出獄後寫的家信中，充滿了對帝國主義和北洋軍閥賣國賊的痛恨之情……當他在美國學成歸國回蓬萊看望我們的祖父、祖母時，當地的美國傳教士想見他，被他拒絕了，他對我們說，這些人到我們國家來傳教、辦學校、開醫院，真正目的是為了侵略我們。”（楊起《懷念我的父親》）
1918年，楊振聲參與創始了新潮社，任《新潮》編輯部書記。從“五四”前發表的《漁家》、《一個兵的家》到1920年的《貞女》，楊振聲作品的特點是“極要描寫民間疾苦”，如《貞女》寫的就是一個姑娘因嫁給一個木頭牌位而自殺的悲劇，正像魯迅指出的，“每作一篇，都是‘有所為’而發，是在用改革社會的器械”（《中國新文學大系·小說二集序言》）。
但在解放前後的著述中，楊振聲開始對“五四”的文化意義進行懷疑和反思。在發表於1949年5月4日的《我蹩在時代的後面》中，楊振聲將自己“五四”以來的表現概括為“我是悶在葫蘆裡了，這葫蘆是以個人主義為表裡的”，“我深感我的最大的敵人是我自己”，進而推衍到“五四時代的文藝”，認為“為人生而藝術的也好，為藝術而藝術的也好，都是以‘小我’的興趣為中心，以中產階級的生活為內容的”。
同日發表的《“五四”與新文學》一文中，楊振聲指出了五四運動與新文學的關係：“五四運動除了反帝反封建兩層重要意義外，它還有一個附帶的意義，那便是與新文學的關係。在根本上說，二者都是解放運動；在形式上說，五四運動是思想表現於行動的解放形式；新文學運動是思想表現於語言的解放形式。”他認為這個運動“主要是工具上的改變，就是以現代的語言來寫現代的生活”，但它的內容是“以資產階級為物件，以個人的興趣為出發點的”，因此“自五四以來，三十年中的文學，在暴露帝國主義和封建社會方面最顯出它的力量與成績。換句話說，它還屬於在破壞時代的產品，不是建設時代的產品”。
1950年，楊振聲發表《從文化觀點上回首“五四”》，全面地批判了“五四”在文化上的弊端，幾乎達到了完全否定“五四”時期文化的地步。他認為“五四”在文化上，是“一古腦地反對中國舊文化，而又盲目地崇拜西洋新文化。換句話說，便是無批判地反對中國文化，而又無批判地接受西洋文化”。“當時對自己的文化，凡風俗、禮教、哲學、藝術、文學等只要是中國的舊東西，就不加分別，一概反對。”“再講那時對西洋文化的態度罷，這是一物的陰陽兩面。天哪，那真有點奴性的崇拜！”楊振聲對“五四”後的文藝表示“慚愧”，原因是“盲目地崇拜偉大與刻板地摹仿偉大，都不是偉大，也不可能創造偉大”。他覺得新文學對民間的東西吸收得不夠，不是“土生土長的”，因此不為老百姓喜聞樂見，導致了其“微弱的命運”。這些批判當然是受到了《在