蔣介石不僅指使人彈劾白崇禧，而且還要他在罷免李宗仁問題上表態(tài)，故意為難白崇禧。甚至他的家也被“國安局”查抄，屋里的所有物品被翻了個底朝天，連地板也被揭開檢查。
1954年，“國大”一屆二次會議在臺北召開。在這次大會上，有人彈劾白崇禧，羅列的罪狀有三條：第一是私吞中央銀行黃金7萬兩；第二是私吞漢口中央銀行庫存白銀370余萬兩；第三是在徐州會戰(zhàn)中，不遵守調(diào)令，擁兵自重。
身為“國大代表”的白崇禧馬上進行反擊，他給每位會議代表發(fā)了一份答復(fù)書，駁斥對他的彈劾。這份書面答復(fù)后來在香港《工商時報》上刊載后，引起不小的反響，輿論明顯偏向白崇禧。此案后來也就不了了之。這次彈劾，其實就是在蔣介石的授意之下進行的。
蔣介石不僅指使人彈劾白崇禧，而且還要他在罷免李宗仁問題上表態(tài)，故意為難白崇禧。
白崇禧與李宗仁從統(tǒng)一兩廣到北伐抗戰(zhàn)，數(shù)十年如一日，甘苦與共，有著深厚的友情。老朋友遠在美國，蔣介石已把他整得夠慘的了，現(xiàn)在又要他落井下石，白崇禧實在不愿意表這個態(tài)。但不表態(tài)又過不了關(guān)，最后只好在罷免李宗仁的聯(lián)署書上簽了名。
蔣介石為了報復(fù)白，凡是回擊李宗仁時，都要白為其出力，一有風(fēng)吹草動，就要白出來說話。1964年2月12日，李宗仁在紐約《先鋒論壇報》上發(fā)表公開信，要求美國效法法國政府，承認新中國，實現(xiàn)中美邦交正常化。李宗仁的這一舉動，遭到了島內(nèi)親蔣報紙的攻擊。白崇禧也奉命致電李宗仁，指責(zé)他“迭發(fā)謬論”，要他“幡然悔悟，以保晚節(jié)”。深知內(nèi)情的海外人士明白，白崇禧身在臺北，已沒有說話的自由，他給李的電報，言不由衷，實非得已。
白崇禧剛到臺北時，住在圓山，后來“臺灣省政府”騰出一些房子給從大陸來臺的公務(wù)人員居住，他便從圓山搬到松江路，后來買下了這所住宅。
就在白被除名的當(dāng)年，他的家也被“國安局”查抄，屋里的所有物品被翻了個底朝天，連地板也被揭開檢查。白崇禧非常氣憤，他當(dāng)即給負責(zé)情治部門的蔣經(jīng)國打電話，問這是怎么回事。蔣經(jīng)國答他不知道此事，要白直接去問“總統(tǒng)”。白崇禧又將電話打到“總統(tǒng)府”，老蔣則稱：“我知道此事，不僅對你如此，人人都應(yīng)該這樣來一次。”白崇禧氣得直翻眼，毫無辦法。
失去自由 受到監(jiān)視
在臺灣，白崇禧的行動受到監(jiān)視，逐漸被“架空”，除了“戰(zhàn)略顧問委員會”副主席這個空頭銜外，沒有任何職務(wù)。
白崇禧在臺灣，行動也失去了自由。他的寓所對面是派出所，派出所的警員有不少就是特工人員。白公館進進出出的客人，常常受到特務(wù)的跟蹤和監(jiān)視。白崇禧喜歡下棋，以前軍務(wù)繁忙，但只要一有空，他總要拉部下殺上幾盤。來臺灣后，也經(jīng)常請人來陪他下棋。可后來，因老受情治人員的盤問，再也無人敢來陪他下棋了。白崇禧同臺灣軍政界上層人士的聯(lián)系無形之中被隔開。
白崇禧喜歡打獵，有一次他一時興起，邀上幾個朋友開車到位于臺中的阿里山去打獵。他們一行到了山腳下，然后乘小火車上山。
這天天氣晴朗，好久沒出門的白崇禧心情很好。阿里山古木參天，鳥蟲啁鳴，坐在小火車?yán)锏陌壮珈咧鑳海勚^去在廣西打獵的一些往事。
鐵路是單行線，出發(fā)前已與山上打過招呼，可是火車開出車站沒多遠，忽然山上一列小火車疾駛而來。好在上山的火車剛剛出站，速度不是很快，白崇禧急忙跳下車，才幸免于難。
這次差一點發(fā)生的事故，是屬偶然，還是有人故意所為，不得而知。從此，白崇禧再也不敢外出了。