傳出一首童謠：
太廟香爐跳，午門石獅叫。
好群黑頭蟲，一半變蛤蚧，
一半變人龍。
無疑，桂萼、張璁都是蛤蚧之類；而楊慎則是受人敬重的人龍了。但是，蛤蚧之流從此居廟堂之高，而人龍則只能處江湖之遠了。
八月份，就在楊慎被緹騎押解，離京前往謫戍地雲南永昌時，張璁驟升為二品大臣，入閣參贊機務。茲後不過三年，張璁便榮膺首輔之職，桂萼也沐猴而冠當上內閣輔臣。這兩人在大禮案中狼狽為奸，而其後分道揚鑣，為爭權奪利鬥得驢嘶馬喘。但有一點，兩人永遠一致，那就是對待大禮案被貶黜的官員，始終採取高壓的手段，決不給予平反。
嘉靖三年，楊慎未過中秋，便帶著妻小離開京城，踏上了前往雲南的謫戍之路。夫妻相伴到了湖北江陵。在這裡，楊慎的結髮妻子黃峨與他分別，帶著孩子溯江而上，經三峽回到四川。而楊慎將獨去湘黔，進入那傳說中的蠻瘴之地。
按《明史·刑法志》規定：流放分安置、遷徙、口外為民、充軍四種。最重是充軍。而充軍又以地域遠近分極邊、煙瘴邊、遠邊衛、沿海衛四等；以年限分為終身、永遠二等。楊慎屬於最嚴厲的“永遠充軍煙瘴”。戶在軍籍，平常所穿的儒衫必須脫下，換上罪卒的赭衣戎帽，其待遇同囚徒差不多。
楊慎在途中走了將近五個月，於嘉靖四年正月來到永昌。一到軍營報到，換上罪卒的衣服後，楊慎立刻感到失去了尊嚴，孤苦無助中，他寫