在奕？等人的策劃下，清廷任命倭仁在總理衙門行走，想逼使他也不能不涉及洋務。但倭仁表示堅辭，未獲批准，便稱病乞假。
當倭仁在洋務派的步步進逼下處境十分尷尬的時候，候補直隸州知州楊廷熙透過都察院遞上《請撤銷同文館以弭天變折》，以“天象示警”來為頑固派辯護。他指說今年春季以來久旱不雨，疫癘流行，是“天象示警”，“京師中街談巷議，皆以為同文館之設，強詞奪理、師敵忘仇、御夷失策所致”，認為總理衙門請求設立同文館是“不當於天理，不洽於人心，不合於眾論”，“潰夷夏之防，為亂階之倡”。為了“杜亂萌而端風教，弭天變而順人心”，必須“收回成命”，將同文館予以裁撤，或者禁止科甲正途人員報考天文算學館。他認為中國欲求自強，只需要“紀綱立，號令行，政教興”，“作忠義之氣於行間，儘教養之懷於民上”，則洋人雖眾，槍炮雖利，輪船雖多，亦斷不敢肆虐於中國。他強調西方國家乃中國之“敵國”與“世仇”，學習西方的自然科學知識就是“師事仇敵”，“無論偏長薄技不足為中國師，即多才多藝層出不窮，而華夷之辨不得不嚴，尊卑之分不得不定，名器之重不得不惜”。而科甲正途人員一旦使之師事仇敵，則“忠義之氣自此消矣，廉恥之道自此喪矣，機械變詐之行自此起矣。聖賢之大道不修，士林之節概不講”，後果非常可怕。他把西學視為洪水猛獸，寧可使中國落後捱打，也決不可向敵人學習。楊廷熙自恃有倭仁為後臺，又掌握儒學正統“話語權”，所以在奏摺中還肆無忌憚地攻擊總理衙門諸大臣，甚至直接涉及清廷最高統治者：“西教本不行於中國，而總理衙門請皇上導之使行”，該衙門大臣“專擅挾持，啟皇上以拒諫飾非之漸”。
頑固派不僅從抽象的理學角度反駁洋務派，而且把主張學習西方者扣上了“師事夷人”、“奉夷為師”、“師事仇敵”等類似於“裡通外國”、“漢奸”等政治性大帽子，在近代中國屢被侵略的背景下，這種言辭更易激起人們的義憤。
最後，奕？等人只能以自請“開去總理衙門差使”相挾。看到兩派勢同水火，爭論愈演愈烈，繼續下去將使朝政癱瘓，清廷便於1867年6月30日釋出“上諭”，一方面嚴批楊廷熙、倭仁等人，一方面又以“與國家休慼相關”為由，要倭仁“不應堅持己見”，與總理衙門王大臣等“和衷商酌，共濟時艱”，同時飭令奕？等應“不避嫌怨，力任其難，豈可顧恤浮言，稍涉推諉”。這場爭論遂告結束。
這次歷時半年激烈爭論的結果，雙方各有得失。頑固派反對設立天文算學館的企圖畢竟沒有得逞，就此而言，洋務派勝。但在頑固派的影響下，報考同文館的人數銳減，特別是正途出身人員依然寥寥無幾。頑固派的主張在社會上得到了更廣泛的支援，形成一股相當強大的輿論力量，“京師各省士大夫聚黨私議，約法阻攔，甚且以無稽謠言煽惑人心”。名士李慈銘在日記中就寫道，“正途”人員學西學是“以中華之儒臣而為醜夷之學子，稍有人心，宜不肯就，而又群焉趨之。蓋學術不明，禮義盡喪，士習卑汙，遂至於此。馴將夷夏不別，人道淪胥，家國之憂，非可言究”。一時還出現不少對聯：“詭計本多端，使小朝廷設同文之館；軍機無遠略，誘佳子弟拜異類為師。”“未同而言，斯文將喪。”“孔門弟子，鬼谷先生。”還有作俚語笑罵的，如“胡鬧，胡鬧！教人都從了天主教！”人言籍籍，群起非難，報考天文算學館的人數更少。總理衙門1867年7月初奏稱，“兩月以來，投考之人，正途與監生雜項人員相間……共計投考正雜各項人員九十八名”，臨時又有二十六名沒有參加考試。參加考試的七十二名中，不少是因為待遇極為優厚才來報考，所以學生質量很差。最後只得勉強錄取了三十名，第二年就淘汰了二十名，最後畢業的只有五名，天文算學館名存實亡，洋務派倡學自然科學知識的計劃實際嚴重受挫。所以就此而言，頑固派勝。
這次爭論的實質，是西學的價值問題，亦即自然科學知識是否具有“普適性”。任何一種知識都產生於具體的“地方”，所以每種知識的源起都具有“地方性”，如果因此認為任何知識都沒有普適性，那麼所謂交流、交往將沒有意義，不同文明之間根本無法溝通，人類也不可能發展進步。發端於西方的近代自然科學知識在引入中國之初被稱為“西學”，表明時人認為這只是一種地方性知識。頑固派堅決反對引入，即認為這種知識不具普適性、不應為“我”所有，而且是對“我”構成威脅的“他者”。洋務派雖不可能清晰認識到，自然也未明言這是一種具有普適性的