關。現在你們又把另一個與我更接近的親屬放在政府人員的名單中。先生永遠不應利用這一現狀攻擊我的家庭和試圖破壞我的名聲。我被關押，我無法為自己辯護，我甚至無法用我的能力去證明在此問題上我完全的無辜，也不能追究這些公務人員利用家屬條件如此不公正地反對我的責任。國庫裡全部的幾百萬都無法誘惑我！怎麼能用類似的陰謀玷汙我的聲譽？’於是部長宣佈：‘好了，卡斯特羅，我知道此事的責任在小拉斐爾，他行事永遠像個不負責任的孩子，我以我的榮譽向你保證……’‘好了，部長，我接受你的解釋，我保留恢復自由後對這一問題進行全面澄清的權利。總之，我承認，對你來說，想部分彌補這一冤案是對的，你理解到對一個毫無自衛能力的人進行侮辱是不可原諒和寬恕的。’他又要求我彆著急和保持平靜，告辭後走了。”
卡斯特羅此次與內閣部長埃米達的一席談話，導致了巴蒂斯塔政府內閣的一場危機，尤其是激怒了米爾塔的哥哥拉斐爾·迪亞斯—巴拉特，於是發表公開信嚴厲指責他的上司內閣部長與“犯罪企圖組織者”的此次會談，同時譴責了埃米達部長侮辱了國家武裝力量和在七·二六奇襲中死去士兵的英名。由於上述因素，最終導致了拉斐爾和部長埃米達的辭職。正如1954年8月號《波希米亞》雜誌上載文說的：“一件奇特的事發生了，由於菲德爾·卡斯特羅而發生了巴蒂斯塔的內閣危機……”但是，巴蒂斯塔親自出面很快平息了此次危機。
另外，在這期間，由於軍事情報局截獲了納蒂寫給卡斯特羅的一封信，當拉斐爾得知訊息後，立即指使手下將卡斯特羅寫給米爾塔的信送給納蒂，同時又將截獲的納蒂的信送給米爾塔。這樣一來，使他們夫妻的關係到了無法挽回的地步，離婚已經無可避免。
在大赦免中出獄（1）
1954年9月間，在梅爾瓦和艾德的積極努力下，找到一家小印刷廠，將《歷史將宣告我無罪》這篇重要文章印了2�7萬份，並根據卡斯特羅的指示，大部分運往奧連特省散發，另一部分在10月間透過奇瓦斯的私人秘書孔奇塔·費爾南德斯運到美國紐約散發，隨即在國內外產生了很大影響。
這時，監獄方面允許勞爾來到哥哥卡斯特羅的牢房，並陪伴他。這樣，使他的監牢生活有了一些改善，增添了一點色彩。然而，當9月3日他在獄中得知“囚禁在皮諾斯島的菲德爾和勞爾的父親、莊園主安赫爾·卡斯特羅·阿希斯的家燒了……”的訊息後，心中立即佈滿了陰雲，心境又壞到了極點。這時，他在精神上面臨著家庭災難和婚姻破裂的雙重打擊，他感到一種巨大的痛苦。但是，他很快從這種痛苦中掙脫出來，因為在他身上有一種與眾不同的善於戰勝痛苦和困難的意志。這可以從他在1954年11月29日致瑪麗亞·利迪婭的信中看出來。他在信中這樣寫道：
“親愛的姐姐，你對離婚的見解使我高興，特別是你一絲不苟地完成著我的囑託。關於孩子，我保留我的觀點……我同那些人之間有一條鴻溝……我以要求離婚的同樣決心迎接各種恥辱；兒子毫無道理的離去使我難過，我將不惜任何代價，以同樣的決心把他贖回……總之，不容忽視的一點是，要把孩子從我身邊奪走，必須先把我殺死，即使殺死我……我一思考問題，便失去理智……星期六等你……”
12月8日，卡斯特羅在寫給利迪婭的信中仍然談到了兒子的問題，看來能否在離婚中得到兒子對他十分重要。他在信中說：“親愛的姐姐，佩拉約和何塞·曼努埃爾（均為律師）在這裡的那一天；我告訴他們只要先把孩子帶來，並在我指定的中學註冊，接受我的監護，我將做出讓步。否則，我們將提出訴訟。他們告訴我另外一方會提出異議，理由是我正受到法院的制裁……我回答他們說關於這一點，完全不用為我擔心，法院以令人起敬的藉口對我進行判決，把我投入監獄，我為此感到榮耀……我毫不妥協，如果歸還我那被劫持的兒子，我將以足夠的君子氣度避免一場令人不快的官司；我也決心把這場鬥爭進行到任何必要的地方。如果他們幻想著我會同意他們把這孩子養成一個寄生蟲……他們的心靈將對他們的行動，對他們以各種形式表現出的人道的和卑鄙的行動承擔全部責任！是他們造成了這一切……你兄弟的熱烈擁抱。菲德爾。”
卡斯特羅在獄中除了處理家庭的問題外，也十分關注追隨他的革命同志。1955年1月1日，當新年第一天來臨的時候，他在獄中得知曾參加襲擊蒙卡達兵營而流亡到墨西哥的尼科·洛佩斯因身陷困境、打算與卡利斯托·加西亞一道