沒想到卻因此引來一場軒然大波，按一般慣例，協(xié)定草案應先向外交部長匯報，并經(jīng)內閣全體會議討論罷方可簽字。王正廷可能是疏忽了，竟忘了這道程序。結果，外交總長顧維鈞首先起來反對，他提出草案中有三大疑點：按規(guī)定應廢除沙俄同中國以及其他列強簽署的有關中國的一切條約，卻不包括蘇俄同外蒙“獨立”新政府簽署的條約；蘇聯(lián)從外蒙撤軍具有條件性；俄國東正教會房地產的移交問題。顧維鈞的態(tài)度得到內閣同僚的一致附和。同時，列強也千方百計想加以阻撓，因此北京政府宣布王正廷越權，提出中蘇顧維鈞與加拉罕之間直接進行。
蘇方對此作出強烈反應。3月16日，加拉罕下最后通牒，限北京政府3日內承認草案。3天期滿后，他又轉達蘇聯(lián)政府的指示，說中蘇之間的正式談判已宣告結束，如要重開談判，中國必須立即恢復蘇聯(lián)的邦交。
此時，北京政府日子相當難過，國內各社會團體紛紛通電，要求政府承認蘇聯(lián)，簽訂協(xié)定，北京學聯(lián)更是以火燒趙家樓的舊事來警告顧維鈞，而顧維鈞家中確實有人送去過炸彈，結果誤炸了管家和廚師。另一方面，國民黨一大上正式確立的“聯(lián)俄”方針，使北京政府有蘇聯(lián)會同孫中國領導的南方革命政府建交的擔憂。同時國際上也出現(xiàn)了競相承認蘇聯(lián)的熱潮。這一切，使北京政府恍然覺察，與蘇聯(lián)恢復交行已事不宜遲。
表面上，中蘇談判象是已中斷的樣子，但私下的磋商卻一直持續(xù)，北京政府態(tài)度明朗化以后，這種節(jié)奏進一步加快。經(jīng)反復交涉，加拉罕同意中國方面提出的三項修正案。雙方還約定協(xié)議草案仍保持草簽時的原樣，修改通過聲明和交換照會進行，聲明和換文。
5月31日，顧維鈞與加拉罕代表中蘇雙方簽署了《中俄解決懸案大綱協(xié)定》，協(xié)定包括正文及7個聲明、1個照會，還有《暫行管理中東鐵路協(xié)定》。前者規(guī)定，兩國立即恢復正常的使領關系，并在1個月內舉行會議，商議解決懸案的詳細辦法，廢止帝俄與中國及第三國訂立的一切有損中國主權利益的條約，包括將來或現(xiàn)在的條約；蘇聯(lián)放棄庚子賠款的俄國部分和在中國境內的一切租界、租借地，取消在華領事裁判權；中東鐵路由中國贖回，在沒有贖回之前，鐵務業(yè)務由兩國共管；蘇聯(lián)承認外蒙為中華民國的一部分，一旦中蘇會議上商定有關問題，駐外蒙的蘇軍將全部撤退。后者規(guī)定：中東鐵路純系商業(yè)性持，營業(yè)事務實行兩國共管，其余所有關系中國國家及地方主權之各項事務，如司法、民政、軍事、警務、市政、稅務、地畝（除鐵路自用地外）等，均由中國政府管理，蘇聯(lián)政府將允諾中國將來可以贖回中東鐵路，及該路所屬之一切財產，并允諾將該路一切股票債票稱歸中國，兩國政府承認對中東鐵路之前途，只能中俄解決，不許第三者干涉。協(xié)議還規(guī)定：中東路設理事長，為最高決議機關，理事長為中方，副理事長為俄方，設路局局長一人由俄方擔任，副局長二人，俄華各一，均由理事會委派，由各國政府核準，正副局長職權由理事會規(guī)定；路局各處正副處長由理事公委派，如處長為華人，則副副處長為俄人，反之亦然；路局各級人員按中俄兩國各半任用。
張作霖在第一次直奉戰(zhàn)爭失敗后曾宣布“獨立”，公開宣稱：自1924年5月1日起，一切北京訂立關于東三省、蒙古、熱河、察哈爾之條約，未得本總司令允許者，概不承認，故此為了爭取東北當局對有關中東路協(xié)定的支持，蘇聯(lián)政府又于同年9月與東方地方當局簽訂了《奉俄協(xié)定》，除重復《中俄協(xié)定》之內容外蘇方還作了進一步的讓步，中東路無償全部交給中國的期限從舊俄時代規(guī)定的八十年縮短為六十年，并在此期間內允許中國贖回。
《中俄協(xié)定》同《奉俄協(xié)定》具有十分重大的意義，它是繼《中德協(xié)約》后中國與大國締結的又一平等條約，推動了中國人民反帝運動的發(fā)展，并確定同年的9月3日－9日為全國的反帝國主義運動周，并發(fā)動了收回教育權和非基督教運動，而中國在這兩個條約中也獲得很大的利益。