沈從文在歷史博物館轄下的午門樓上和兩廊轉了近10年。他的檢查書裡寫著：“那時冬天比較冷，午門樓上穿堂風吹動，經常是在零下10攝氏度以下，上面是不許烤火的，在上面轉來轉去為人民服務，是要有較大耐心和持久熱情的，我呢，覺得十分自然平常，組織上交給的任務等於打仗，我就儘可能堅持下去，一直打到底。”
沈從文在一篇寫於文革中的檢查中說：“從生活表面看來，我可以說‘完全完了，垮了’。什麼都說不上，因為如和舊日同行比較，不僅過去老友如丁玲，簡直如天上人，即茅盾、鄭振鐸、巴金、老舍，都正是聲名赫赫，十分活躍，出國飛來飛去，當成大賓，當時的我呢？天不亮即出門，在北新橋上買個烤白薯暖手，坐電車到天安門時，門還不開，即坐下來看天空星月，開了門再進去。晚上回家，有時大雨，即披個破麻袋。”
有一年，黃永玉在森林，將這裡的艱難生活寫信告訴沈從文，不久，黃收到了沈用毛筆寫的蠅頭行草的長信，信中對黃談了他的三點經驗：“一、充滿愛去對待人民和土地；二、摔倒了，趕快爬起來往前走，莫欣賞摔倒的地方耽誤事，莫停下來哀嘆；三、永遠地、永遠地擁抱自己的工作不放。”
【淡然】
巴金曾寫過一些批評性的評論文章，沈從文看後，勸巴金不要“那麼愛理會小處”，“莫把感情火氣過分糟蹋到這上面”。他對巴金說：“什麼米大的小事如某某某之類的嫌言小語也使你動火，把小東小西當成了敵人”，“我覺得你感情的浪費真極可惜。”巴金很是感謝他，稱他為“尊敬的畏友”。
文革開始後，60多歲的沈從文挨批挨鬥之餘的工作是掃廁所。沈有時呆呆地看著天安門人來人往，然後回過頭對一同被批鬥的史樹青說：“我去擦廁所上面的玻璃。”沈說，他每天在天安門歷史博物館掃女廁所，“這是造反派領導、革命小將對我的信任，雖然我政治上不可靠，但道德上可靠……”多年後，沈從文被人問及他在文革中的遭遇，只是說：“我沒有我的朋友受的衝擊大，我只是要打掃茅房，那是普通的事，在家裡不是也要打掃嗎？”
中央美院有位學者，是沈從文西南聯大的學生，與沈、黃表叔侄關係十分親密。文革開始後的一個下午，他緊張地、悄悄地走到黃家門口，輕輕地、十分體貼地告訴黃永玉：“你要有心理準備，我把你和你表叔都揭發了！”黃去告訴沈從文，沈笑著說：“會，會，這人會這樣的。在昆明跑警報的時候，他過鄉里淺水河都怕，要個比他矮的同學背過去……”
一次開批鬥會時，有人把一張標語用漿糊刷在沈從文的背上，批鬥結束了，他揭下那張“打倒反共文人沈從文”的標語，後來對黃永玉說：“那書法太不像話了，在我的背上貼這麼蹩腳的書法，真難為情！他原應該好好練一練的！”
有一次，沈從文從東城小羊宜賓衚衕走過，公共廁所裡有人一邊上廁所一邊吹笛子，是一首造反派的歌。沈對同行的黃永玉說：“你聽，絃歌之聲不絕於耳！”
沈從文被下放到湖北咸寧，他身體不好，但總是找些力所能及的活來幹，比如到湖邊拾幹葦或在路邊撿竹跟引火用，身體稍好些，他就搬個小凳子，去看菜園子，以防牲畜偷吃。他寫信給黃永玉說：“……牛比較老實，一轟就走；豬不行，狡詐之極，外形極笨，走得飛快，貌似走了，卻冷不防又從身後包抄過來……”他還對黃說：“……這兒荷花真好，你若來……”
沈從文說，下放的時候，他獨自住在一個大教室裡，“看著窗子上有幾個大蜘蛛慢慢地長大了”，“這面窗子還可以每天看見一隻大母牛，每天早晨還可以看見牛，那個大牛、小牛都莊嚴極了，那個地方的牛都大極了，是花牛，美極了，一步一步帶著小牛吃飯去。間或還能看見一些小女孩子梳著兩個小辮辮，抬磚頭揀樹葉子。”
文革中，沈從文和黃永玉二人在路上相遇，沈看到黃，裝著沒看到，擦身而過的瞬間，沈頭都不歪地說了4個字：“要從容啊！”
1979年之前的13年，沈從文一直住在一間七平方米的陰暗小屋裡，白天都得開燈。林湄問沈：“沈老，在小暗房的日子裡，你想的是什麼？”沈頭一仰，哈哈大笑，許久才用豁達而諒解的口吻說：“身旁有許多書就足夠了。這算什麼？有很多人連性命都沒有了。只是失掉了很多書很心痛，後來又在舊書店買回來了。”
文革後，沈家從門庭冷落又回到門庭若市，重新評價沈從文文學成就的文章屢見報端，一度盛傳他將被提名為諾貝爾文學獎候選人