然而，楊虎城此時對中共雖然多有照顧，但對中共的這些示好舉動卻并不感興趣。1935年底，毛澤東派汪鋒去見楊虎城，楊似乎有意不與中共中央發生任何關系，表現得非常冷淡。1936年4月中旬， 毛澤東又派王世英去西安找楊虎城，楊竟推諉不見。這些都使中共領導人對楊的可靠性產生了懷疑，毛澤東斷定：“楊虎城怕蔣特甚，一時當難與我們建立積極關系。”
據中共特使王世英后來回憶說：實際上，楊虎城封存有兩大疑慮：一是“害怕暴露，因為他部下有一個師長叫馮欽哉，同蔣介石有勾結”。還“害怕與我建立合作，其部隊群眾為我爭取，及害怕蔣發覺而遲緩。楊膽子很小”。二是“因紅四方面軍、紅二十五軍與十七路軍曾訂有互不侵犯協議，紅軍片面毀約，楊恐共產黨不能遵守信義”。楊虎城的態度與當時一批試圖與中共保持秘密聯系的地方軍閥相似，他們一方面到處給自己留下后路，愿意與中共保持接觸，另一方面又不愿同中共明確合作反蔣的關系。
因此王世英評價說，這種人“凡事謹慎機警，鬼心眼兒特別多，深恐上當，于己不利或削弱他的力量，把他的攤子搞光，地位弄丟”。
