新中國成立后，經中央人民政府革命軍事委員會主席毛澤東批準，在原華北、華東軍事政治大學的基礎上創辦中國人民解放軍軍事學院。1951年1月15日，軍事學院在南京成立。劉伯承領導創建工作，并任院長兼政治委員。
南京軍事學院創辦之初，根據黨中央和中央軍委的有關指示，劉伯承和軍事學院黨委確定了“以教學為中心”、“理論與實際相結合”的教學方針。他曾說:“同一部孫子兵法，馬謖的用法就是教條主義，孔明就不是；龐涓、孫臏同師鬼谷子，可是一個是教條主義，一個不是教條主義。”1952年2月起，為貫徹理論與實際相結合的方針，有針對性地培養同美軍作戰的人才，他在軍事學院先后組織了3批赴朝參觀團，指示參觀團人員要認真學習、總結朝鮮戰場的新鮮經驗，從中提取教學經驗，以利更好地開展教學。
劉伯承曾經說:“一支部隊能不能帶好，關鍵是干部。領導干部要做好樣子。沒有帶不好的兵，只有帶不好的官。”他反復要求各級干部帶頭議軍、學軍、練武，學會養兵、帶兵、練兵、用兵。根據我軍的實際并借鑒外軍經驗，劉伯承和葉劍英一起，科學地構想并主持實施了全軍指揮院校的“三級體制”以及“兩股繩”的院校體制，為我軍院校正規化建設奠定了基礎:“三級體制”，就指揮院校來說，由初級軍官到將軍必須經過初、中、高三級指揮院校的培訓；“兩股繩”，就是軍官培訓分為完成與速成兩種，把普及與提高、基礎教育與知識更新結合起來。這樣，就有重點地而又多樣化地、多層次地解決了軍官服役期間的培育、深造與提高的問題。
劉伯承強調院校各級領導干部必須認真鉆研學術理論，要坐下來同教員、學員一起研究和解決疑難問題。劉伯承曾領導全體師生進行了數十次實際示范演習和大型現場作業，幾乎他都親自擔任總導演和具體指導。1951年6月，他親赴安徽鳳陽縣臨淮關鎮，現場組織指導步兵師江河進攻戰斗實兵演習。演習前夕，突然收到天氣預報說，演習這天將有大雨。訓練部門負責人請示:“演習是否暫時停止？”劉伯承聽后嚴肅地說:“下雨怕什么！下炮彈也要演習。訓練就是打仗。打仗還能選好天氣，豈有停止之理！”演習中，果然大雨如注。有人將一頂草帽戴在他的頭上，他當即拒絕道:“古代將領都能以‘夏不張傘，冬不著裘’來凝聚軍心，我們無產階級軍人反而還做不到嗎？自己不以身作則，鬼才會相信你講的那一套呢。”
劉伯承曾打比方說:搞劇團要有梅蘭芳那樣的名演員，開醫院要有手到病除的高明醫生，辦學校則要有一支精通業務的高水平的教員隊伍，即教員隊伍名師化。早在1951年5月，他就向軍事學院上下提出“尊師重道，教學相長”的口號，要求學員尊重教員，積極協助教員搞好教學；教員也要向學員學習，幫助學員總結作戰經驗。軍事學院初創時，教員隊伍人數不多。為了解決這個問題，劉伯承派人四處選拔合格的教學人才，對那些富有軍事科學知識的舊軍官也加以重用。經過一番苦心經營，軍事學院很快建立了包括蘇聯軍事專家在內的一支可觀的教員隊伍。
“安居”才能“樂業”。劉伯承在物質條件還比較困難的情況下，努力從待遇上給干部、教員以照顧，鼓勵大家搞好教學工作。例如，他將教員按照授課能力、水平的高低，分為高級教員、上級教員、中級教員等級別，并按照不同級別享受不同的待遇。同時，他還提高教員、學員、職工的生活福利，受到了教職員工的擁戴。