什維克黨和蘇維埃國家中央領導人看來，對於蘇維埃革命政權的反革命包圍不僅遠遠沒有被打破，而且，內戰後已經在世界範圍內形成了更加廣泛的反蘇陣營。所有與蘇維埃革命政權作對的反革命活動儘管沒有內戰時期那樣囂張、猖狂和明顯，但是其方式變得更加隱蔽、狡猾。同時，在這些敵對活動後面所反映出來的國際背景，也一點不比內戰時期表現得簡單。以斯大林為首的蘇共領導人明確認為，與這些依然圍繞著、針對著蘇維埃革命政權的存在而發生和發展的更加隱蔽的敵對活動進行卓有成效的鬥爭，是布林什維克黨和社會主義蘇維埃國家在大規模開展社會主義建設的同時，必須確保完成的另一項至關重要的歷史使命。自然，在這條特殊戰線上佔據優勢並進而取得勝利的最基本前提，就是建立一支從個人素質、組織體系到技術保障等諸方面能夠勝任這種特殊鬥爭的基本隊伍。如果說對這支隊伍的要求與內戰時期的全俄契卡有所區別的話，那就是要求它更加精幹、更加隱蔽、更加靈活。
也正是在這樣的背景下，全俄蘇維埃中央執行委員會撤銷了契卡組織之後，隨即成立了國家政治保衛局（rny）和民警機構。
蘇俄國家政治保衛局接收了契卡組織被撤銷後的大部分工作人員，但是卻沒能夠全盤繼承內戰時期全俄契卡所擁有的權力。國家政治保衛局與民警總局都歸屬於內務人民委員會的領導，其權力範圍與契卡相比受到很大的限制。來自內務人民委員會的法令規定了蘇維埃國家政治保衛局的幾項基本的職責：
1、監視、偵察和鎮壓隱蔽的反革命及匪幫有組織的犯罪活動；
2、保衛國家的交通、通訊線路和重要樞紐；
3、保衛蘇維埃國家的邊防和海關，與越境的犯罪行為和走私活動作鬥爭；
4、偵察、破獲境內針對蘇維埃國家的間諜活動等。
在人民委員會法令的規定之下，作為蘇維埃國家新的秘密警察組織，國家政治保衛局再沒有獨立處決罪犯的權力，但為了反對國內和國外隱蔽的敵對活動和潛在的顛覆破壞活動，它仍然繼承了全俄契卡廣泛存在於全俄社會各個重要部門之中的特點。
1922年，俄羅斯等各蘇維埃共和國聯合組成了蘇維埃社會主義共和國聯盟，即蘇聯。隨著全俄國家機構的變動，國家政治保衛局也因此而改為與內務人民委員會平級的國家政治保衛局（orny）。這樣一來，蘇俄政治秘密警察組織又一次擺脫了內務人民委員會的直接管轄，在未擴大其法律規定職權範圍的情況下，提高了在國家政府機構中的地位。在1932年透過的蘇聯憲法中，用專門的章節規定了國家政治保衛局的義務和行使的權力的基本原則。在這部蘇聯憲法第61條中所規定的國家政治保衛局的職責是：“與蘇維埃聯盟的其他執法機關共同協調工作，維護社會主義共和國聯盟的團結，同在政治、經濟領域中與蘇維埃聯盟為敵的反革命分子、匪幫以及間諜活動進行不懈的鬥爭。”
通往克格勃之路（2）
值得注意的是，這一次透過的蘇聯新憲法還明文規定，在蘇聯最高蘇維埃人民委員會中將為國家政治保衛局的主席保留一個固定的席位。這樣就以法律的威嚴確保了國家政治保衛局在執行布林什維克黨和蘇維埃國家領導人賦予的特殊使命時不再受到行政與司法程式運作的束縛。
自全俄契卡被撤銷之後，從1922年的國家政治保衛局到1923年後的國家政治保衛總局，其最高領導人仍然由捷爾任斯基擔任。這位紅色秘密警察的創始人一直不折不扣地執行著蘇維埃中央執行委員會和蘇聯共產黨（布）中央的一切指示，使國家政治保衛局和國家政治保衛總局成為保證黨中央各項政策得以貫徹至每一級基層組織的有效系統，直到1926年他因病逝世。
捷爾任斯基去世後，國家政治保衛總局的領導職務由維亞切斯拉夫·魯道夫維奇·明仁斯基繼任。20年代末期，隨著國際鬥爭形勢的複雜變幻和蘇聯國內政局的發展，國家政治保衛總局的權力範圍和其在國家政權機關中的地位又漸漸上升了。這時，在蘇聯的廣大農村開始了轟轟烈烈的合作化、集體化運動，來自民間的不滿情緒不斷集聚、擴大，以至對這場規模宏大的運動形成了空前的阻力。1929年12月27日，蘇聯最高蘇維埃頒佈了一項嚴厲的法令，要求國家政治保衛總局也投入到保衛在大多數鄉村進行著的合作化和集體化運動的工作中去。1930年4月7日的另一項法令，把蘇聯的邊防部隊和在各地設立的眾多勞改營也都歸屬國家政治保衛總局的管轄範圍