陽是土生土長的北京人，祖居地湖南茶陵，他一生不過去了一次，待了短短十八天。李東陽說自己“楚人而燕產”，他真正有感情的故鄉還是北京，還是後海西涯之故居。
湖南籍的李東陽為何會生長於北京？這涉及到他的出身背景，頗有一段周折。據李東陽自述家世，他在茶陵的始祖名叫李餘。李餘的祖先是甘肅臨洮人，後來遷居江西，到了宋代，李餘到茶陵任州同知，李氏才在茶陵定居下來。到了明初，東陽的曾祖李文祥不知何因以戍籍遷居北京。有一種說法是李文祥在元末天下大亂中參加了義兵，後隨軍移駐北京。但這很可疑，因為所謂戍籍，是指有罪之人充軍至某地所登記的戶籍，一般被視為賤民。況且當時的北京不僅不是首善之區，還是國家的軍事前沿，人口稀少，物資匱乏，李文祥很可能是在動亂的局勢下被抓了“壯丁”身不由己地到了北京。不論如何，李東陽的家庭出身非常貧賤是無疑的，要不是北京後來成為首都，歷史上很可能就不會留下李東陽這個名字了。李東陽的祖父李允興參與了靖難之役，朱棣遷都北京之後，他調入禁衛軍“金吾左衛”，當了一個製造軍器的小軍官。大概由於有些工匠手藝，李允興後來在海子的西岸定居下來，開始做起了小買賣，這時已經是明英宗正統時期（1436…1449年）。這便是李東陽生長在西涯的緣由。
李東陽的父親李淳並未考取科第，但已經成為了讀書人，在北京以教授私塾為生，所以他對東陽的教育很重視。景泰年間（1450…1456年），不足十歲的李東陽成為京中著名的神童，還先後三次蒙受皇帝的召見。關於他小時候跟景帝的見面，傳記和野史裡留下了不少頗為有趣的故事。包括《明史》在內的各種傳記都說，他在三四歲的時候就能寫一二尺的大字，景帝覺得很好奇，就召見他來表演，還賜了他菓鈔若干。野史中則將這個故事演繹為景帝讓他寫“麟、鳳、龜、龍”等字，當他寫到“龍”字時，手腕沒有力氣了，最後的一勾便用自己的靴子沾了墨劃完，惹得皇帝龍顏大悅。又有一次，景帝召見他和比他大兩歲的神童程敏政，在過大殿門檻時，他個子太小邁不過去。於是太監取笑他，說：“神童腳短。”他應聲就說：“天子門高。”這個神童後來果然不負眾望，十六歲中舉，十七歲成進士，不僅成為開一代風氣的文壇領袖，蜚聲中外，還“立朝五十年”，歷事三朝皇帝，最終當上內閣大學士。朝堂風雲屢經變幻，他都能從容應對，在明中期是不折不扣的風雲人物。
然而，能夠保持政治上的歷久不衰並非易事，換來的可能是身後的譭譽參半。李東陽在世時，就被很多高潔的氣節之士譏為眷戀利祿，死後二百年間人們對他仍然褒貶不一。這都源自於正德年間他對宦官劉瑾委曲隱忍的那些舊事。
明武宗朱厚照是史上少有的荒唐皇帝，他建豹房、自封大將軍，完全不理儒家對皇帝的禮法約束，其中最為禍害的是寵信宦官劉瑾。李東陽與劉健、謝遷是孝宗皇帝的託孤重臣，可是新皇帝完全不顧念先帝遺願，並不重視他的輔臣。開始的時候，李東陽和劉健等人上疏武宗，請他遠離群小（宦官），戒絕深夜遊樂，勤於朝政。武宗皇帝還做做樣子，表示自己會處理。可是過了不到一年，他乾脆對李東陽等人說：“卿等所言，皆為朕憂國憂民之事，朕當從而行之。然群小錮弊日深，不能改也。”這意思就是，我承認錯誤，但決不改正！
面對武宗這種不合作態度，劉健、李東陽、謝遷除了連續上疏請誅劉瑾等宦官，還同時以辭職作為威脅。這給了劉瑾一個上位的機會，將託孤大臣一掃而光，僅僅留下了李東陽一人。事情的原委是這樣的。正德元年（1506年）十月，劉健、李東陽和謝遷等大學士在內閣和當時的司禮監太監陳寬、李榮、王嶽商量要裡外呼應逼武宗除去劉瑾等人。結果訊息洩露，劉瑾先發制人，奪了司禮監的權，使外臣失了內應。第二天早朝，群臣剛要伏闕請旨，宮中就放出了保全劉瑾的聖旨。劉健和李東陽等人知道事情已經不可為，於是再次上疏乞休。按照慣例，輔臣乞休，必須等三到四次請求之後才能應允。可是劉瑾等人唯恐劉健等人去得稍慢，夜長夢多，於是攛掇武宗立即准奏。可是為什麼獨留李東陽一人呢？其實，大學士們請誅劉瑾的奏疏是由李東陽執筆草就的，不過在內閣議事的時候他的辭令較為緩和，所以宦官們以為他並不是主事之人。況且輔臣盡去必會引起更大的風波，劉瑾也確實需要一個在朝臣和皇帝之間周旋的人，於是他選擇了李東陽。李東陽又是何等無奈。
事實證明，李東陽留在政治中心是起了極大積極作用的。劉瑾