因此，他下決心整頓吏治，嚴懲貪官。
明朝建立不久，朱元璋召見大臣，宣佈說：“從現在起要嚴立法禁，凡是官吏貪汙害民的，決不寬恕。你們都要好好領會我這句話，如果廉潔奉公，就好似走在平坦的大道上，從容自在，如果貪贓犯法，將好似闖進荊棘叢中，寸步難行，即使勉強掙扎出來，也是體無完膚的。”接著，他制定了各種規章制度，嚴禁官吏的貪汙盜竊，並召見各府州縣的官吏，告誡他們說：“現在天下剛安定下來，老百姓的財力都很困難，好比剛飛的小鳥拔不得羽毛，新栽的小樹動不得根，應該讓他們休養生息，發展生產，你們千萬不要去擾害他們。”
但是，當時的官吏，並沒有把朱元璋的活放在心上。他們認為新登基的天子都要來這一套，那不過是說說而已，不必當真。他們學元朝官吏的樣，見錢就抓，見財就撈，貪贓枉法，無所不為，“掌錢穀者盜錢穀，掌刑名（即刑罰，泛指法律）者出入刑名（即不按法律辦事）”。浙西地區農民交納秋糧，原先規定交到京城南京的倉庫，農民就要額外花銷一筆很大的運費。後來朝廷為減輕農民的負擔，讓農民把糧食折成鈔幣，將鈔幣直接交給附近的官府，稱為“折糧”。但許多地方官卻向農民徵收各種車船運費和包裝糧食的蒲包、竹簍費。這些加徵的運費和包裝費，竟高達糧食折價的百分之五十。有個負責徵收稅糧的糧長邾阿仍，在徵收糧米一萬石之外，用巧立名目的辦法，多徵糧食二萬二千石，錢一萬一千一百貫。農民繳納不起，他強迫農民揭瓦拆屋，變賣衣裳、鍋灶、牲口和農具作抵押，弄得許多人傾家蕩產。一個地方的小吏竟貪汙這麼多錢糧，中央的大官貪汙的數額就更大了。丞相胡惟庸廣收賄賂，他家中的金帛、名馬和各種奇珍異寶，據說多得沒法數。朱元璋連聲哀嘆說：“各衙門的官吏上任前，我都開導過他們，叫他們不要胡作非為。但去了以後，有幾個聽我的話？”“象這種愚下之徒，我這般大年紀，說得口乾了，氣都接不上來了，也說他不醒！”
為朱家王朝的長治久安著想，朱元璋便用極其嚴厲的手段來打擊貪汙。只要發現官吏有貪汙違法的行為，他即動用殘酷的刑罰，嚴加處治。凡是貪贓枉法的，統統發配到北方偏僻荒涼的地方充軍。貪汙贓款銀六十兩以上的，都押到土地廟梟首示眾，剝皮實草。連官吏出差乘坐官家的牲口、車船，攜帶私人物品超過規定重量的，也嚴懲不貸。明政府規定乘坐官家的牲口，除隨身衣物外，攜帶私人物品超過十斤的，每五斤笞（用小荊條或小竹板敲打臀部、腿或背）十下，每十斤罪加一等，最重到杖（用大荊條、大竹板或棍棒拷打臀部、腿或背）六十下。乘坐官家車船，附載私物超過三十斤的，每十斤笞十下，每二十斤罪加一等，最重到杖七十下。
除了平時的零星打擊，朱元璋還集中清查了幾個大的貪汙案件，對貪官汙吏進行了幾次大規模的清洗。1385年，御史餘敏、丁舉廷告發北平（今北京）承宣布政使司（主管行政的省級機構），提刑按察使司（主管司法的省級機構）的官吏李彧、趙全德等人，夥同戶部侍郎（主管土地、戶籍、財政的副長官）郭桓、胡益、王道亨等人貪汙舞弊，吞盜官糧。朱元璋命令司法部門嚴加追查，牽連到禮部尚書趙瑁、刑部尚書（主管刑法的最高長官）王惠迪、兵部侍郎（主管軍事的副長官）王志、工部侍郎麥志德等朝廷的高階官員和各布政使司的官員，以及地方上的許多豪強地主。明政府發現他們除了盜竊國庫的金銀寶鈔，盜賣官倉的糧食外，還貪汙大量沒有入庫的稅糧和魚鹽等各項稅款。貪汙盜竊的總額折成糧食，共達二千四百多萬石。朱元璋下令將趙瑁、王惠迪等人棄市（在鬧市處死，將屍體暴露街頭）；郭桓等六部侍郎以下的官員也統統處死；各布政使司有牽連的官吏幾萬人都逮捕入獄，嚴加治罪；追贓牽連到各地的許多大地主，被抄家處死者不計其數。
在打擊貪汙的過程中，朱元璋不僅雷厲風行，毫不手軟，而且不避權貴和親屬，不論職位多高，同他本人的關係多麼密切，也決不曲宥。丞相胡惟庸除了貪汙，還犯有其他罪狀，被處死。開國元勳華雲龍，在北平私自佔據元朝丞相的住宅，被撤職罷官。駙馬都尉（皇帝的女婿）歐陽倫，憑著自己是朱元璋結髮妻子馬皇后親生女兒安慶公主的丈夫，不顧朝廷禁令私自販賣茶葉，幾次在陝西販運私茶；他的家奴周保還叫當地官吏，徵調民間的幾十輛車子為他家運輸私茶，稍不如意，就任意打罵地方官吏。由於歐陽倫有權有勢，誰也不敢過問。有個河橋巡檢司的小吏不堪凌辱，把這事告發了。朱元璋得到訊息，怒不可遏，下令