按照羈縻程度的不同，又將廣西各羈縻州縣分為四類：第一是最輕微的羈縻，朝廷既不駐軍也不管民政，僅僅名義上屬於大宋；第二是稍強一點的羈縻，朝廷象徵性在羈縻地區某個地點建堡設寨，派駐少量協調官員，以及跟隨這些官員的少量護軍；較強的羈縻是在羈縻州縣各個主要關卡進行駐軍，在必要時還可以徵調當地部族土兵征戰，但是朝廷既不具體管理也不收稅；第四是最強的羈縻，朝廷不僅駐軍，而且派駐文官進行直接管理並收賦稅，但是這種羈縻在宋朝屬於極少數——這樣強勢的羈縻只能追溯到盛唐時代，即使遙遠的安西都護府轄下的西域軍鎮都是要收稅的。但在宋朝廣西，最多的是羈縻是第一類。
衛希顏以阿寶身份生活的漢人小山村就是隸屬羈縻第一類的矩州（貴州省）——北宋曾設定夔州黔南所，後又獨設黔南路，之後又歸入廣西路，流放刑犯的“黔南所”之稱卻一直存在。州內漢人只佔少數，除了朝廷建的矩州城省內民和黔南所軍管駐地的軍民外，其他地域居住的漢民與夷民一樣屬於不上戶、不納稅的非編戶齊民。這裡的百姓無論夷漢都十分彪悍，夷人無論男女均背刀帶弩，漢人男子都背弓佩箭帶獵叉，還時不時出現有帶刀或帶劍的江湖客，夷人之間、夷漢之間，說不攏就會大打出手。衛希顏當年在出矩州的路上就遇到了四起械鬥，兩起夷人內訌，一起夷漢廝鬥，一起江湖客尋仇，無論是參加械鬥的還是路人，被打死了都算你倒黴。而接壤大理的邊境更加混亂，往往還有大理國的白蠻（白族）、擺夷（傣族）等部族牽扯在內。
但矩州西南夷的情況還算是好的了，相比之下，廣西與交趾接壤的桂南羈縻州縣更為複雜。矩州西南夷雖然內鬥，但有五姓蕃部統合，內訌也有個限度。而桂南溪峒有七八十峒，每峒都互不統屬，溪峒與溪峒之間為了爭地爭資源內鬥頻繁，又有溪峒與省民的矛盾，溪峒與交趾的矛盾，有時前兩種矛盾還有交趾人在後面挑事，糾葛甚深。
在廣西最南的是海島，宋人俗稱為海南，又稱瓊島，島上的夷人最初都居於山嶺，他們稱山嶺為“黎”，遂被朝廷稱為黎人。宋朝在海南上設定了三個行政州一個軍事州：北為瓊州，置瓊管安撫司統管整個海南，西為儋州——後來儋州降為昌化軍，南為崖州——後來降為朱崖軍，東為軍事州——萬安軍。到北宋後期，就已經變為一個行政州三個軍事州了。而島上的黎峒主要聚居在一州三軍“包圍”中的島嶼中部，依傍黎母山，朝廷稱之為黎峒羈縻地，但並未正式設定羈縻州或羈縻縣。這些黎峒有一部分已經歸屬州縣，朝廷稱為熟黎，那些居住山嶺沒有徵賦徭役的就稱為生黎。而在省外之地共有生黎四十餘峒，侵境劫掠省民的事件雖然不像桂南溪峒那麼惡劣，但也未嘗絕止。不過與桂南、桂北相比，海南還算是安定的。
而桂北是猺峒聚居地，從地理上看與荊湖南部溪峒所居地相連，兩地山嶺間有多條道路可通，所以每有荊湖南路南部的溪峒聚反時，往往勾連竄動廣西桂北猺峒——也是很不安分的一群。
綜觀廣西一路，地域廣、部族多，又是臨交趾、大理的邊地，可謂矛盾複雜，隱患重重，加之廣西又是宋朝最偏遠的治地，許多地方守令從未一至親民，反而大行征斂、魚肉百姓之事，往往埋下更深的積怨，引發更大的矛盾，朝廷卻因遠僻和交通不便而不得聞，更不提懲治了。而且，廣西的地方官在處置峒人侵掠的手段也多簡單，要麼出兵鎮壓，要麼調動另一峒的部族兵征討，要麼給錢糧招撫，但無論哪種手段，都未觸及矛盾的根源，只是平息一時。而且省地發生侵掠時，官府的兵馬往往到得不及時，被侵掠的省民白白死傷，積怨叢生，而主事的官員又多貪佞，無論用哪種手段平服峒部都要在省民身上刮油。據說，那些從廣西離任或遷任的地方官，往往都行篋豐盛，多有上十萬緡者，僻地為官竟能為富至此，可見廣西貪弊之甚。而廣西治地的宋民對官府的不滿、不信任也越來越深。
如此種種都與衛希顏想要一個安定的廣西——經略交趾、大理的戰略很不符合。
於是在建炎二年末，當廣西桂、邕、欽、廉數州的兵改完成之後，她便奏準朝廷，升廣西路治地桂州為桂林府（廣西桂林），仍將經略司置於此地。但桂州離接壤交趾的邊境太遠，以前旦有邊事經略安撫司往往反應不及。衛希顏便將廣西武安軍帥司置於邕州——與交趾相鄰，而且距離矩州西南夷和大理國也比桂林府要近得多。至建炎三年，兵改推進到海南駐軍，朝廷將昌化、朱崖、萬安三軍的駐軍整編為武安軍，歸屬瓊州武安軍帥司統轄。同時，朝廷又將三軍