在新居落成之時，孫多慈特購楓樹苗百株作為點綴庭院之用，也為祝賀老師新畫室的建成。但事機不密，又為蔣碧薇得知，怒不可遏，做炊之薪。徐悲鴻異常氣惱，但懾于夫人之怒，忍氣吞聲，悲痛之余，乃將其室取名為“無楓堂”，并刻“無楓堂”印章以抒郁憤和不忘孫多慈。那一時期他的畫室也常以畫楓樹為景，每畫必鈐上“無楓堂”印章，以示懷念這一隱痛。此后，徐蔣關系每況愈下。
急雨狂風勢不禁，
放舟棄桌遷亭陰。
剝蓮認識心中苦，
獨自沉沉味苦心。
小詩錄以少陵道兄。
悲鴻。
這是徐悲鴻在隱痛中寫的一首詩，顯然不是為好友王少陵寫的。王少陵居紐約，一直將徐悲鴻的手跡詩懸掛在客室中，知情者一看便知這是寫給一位心愛的女性。
據王少陵說，徐、孫二人分離多年仍有書信不斷，當年王從大陸回美，臨行前向徐悲鴻告別，徐悲鴻正在畫室寫這首詩，得知王少陵即回美，徐悲鴻要畫幅畫送他紀念，因趕飛機來不及了，王少陵便要了這首墨跡尚沒干的詩。徐悲鴻說這是寫給孫多慈的。后來，孫多慈每次從臺灣去美國見王少陵，每次見到掛在墻上玻璃框中的這首詩，都心酸落淚，她知道這是徐悲鴻寫給她的。
孫多慈后來嫁給了許紹棣，婚后十分后悔，二人間從來沒有感情，年齡也懸殊二三十歲，經常口戰。許紹棣是堅決呈請國民黨中央通訊社通緝“墮落文人魯迅”的黨棍文人，在其妻生病期間，許又看上了郁達夫的妻子王映霞，答應王和達夫離婚后娶她。但王映霞和郁達夫離婚后，許紹棣又看上了更年輕貌美的孫多慈。孫多慈愛徐悲鴻，但徐悲鴻卻無法和蔣碧薇離婚。許紹棣的原妻已死，在許的追求下，孫多慈嫁給了他。后來隨許到了臺灣。但她一直看不起許，更加思念徐悲鴻，經常借故從臺灣去美國，住在女物理學家吳健雄家里，也多次去王少陵家，每次見到徐悲鴻的詩，都忍不住落淚，感嘆很久。
1952年，在臺灣師范大學任教的、40歲左右的孫多慈畫的《寒江孤帆圖》，題寫了一首她當年寫給徐悲鴻的五言詩：
極目孤帆遠，無言上小樓。
寒江沉落日，黃葉下深秋。
風勵防侵體，云峰盡入眸。
不知天地外，更有幾人愁？
孫多慈晚年患乳腺癌，1975年2月在物理學家吳健雄美國的家里逝世。
吳健雄是孫多慈南京中央大學的同學。孫多慈和徐悲鴻師生苦戀之際，吳健雄勸過孫多慈面對現實，當斷則斷，免得越弄越亂。
抗戰爆發后，孫多慈一家流徒到長沙，徐悲鴻趕去看她，還把她一家人接到桂林，又為她在廣西省政府謀得一職。他們師生那段日子常去漓江寫生，可惜愉快的時光并不太長，孫家全家不久離開桂林遷往浙江麗水，直到徐悲鴻跟蔣碧薇仳離，孫家還是反對女兒跟徐老師好。徐悲鴻到印度講學那四五年里，孫多慈終于嫁給了浙江教育廳廳長許紹棣，徐悲鴻不久也娶了廖靜文。
孫多慈遷居麗水還跟徐悲鴻通信，寫過兩首詩給他，五言律詩之外還有一首七絕：
一片殘陽柳萬絲，秋風江上掛帆時，
傷心家園無限恨，紅樹青山總不知！（摘自《毛澤東與當代名人》第三章部分內容）