1912年，王必成出生于湖北省麻城縣的一個貧苦農民之家，少年投身革命，1928年參加當地赤衛隊和共產主義青年團，1929年參加紅軍，第二年入黨，始終戰斗在紅四方面軍各個時期，參加過鄂豫皖蘇區歷次反“圍剿”、川陜蘇區歷次反“圍攻”和舉世聞名的長征，三次過草地。由于他英勇善戰，很快由班長、連長、營長而團長、團政委，在長征結束時即由普通一兵成長為紅三十軍八十九師副師長。
1936年10月，紅四方面軍到達陜北，久經戰火考驗的王必成隨即進入抗日紅軍大學學習，為成為一代名將奠定了扎實的軍政素質。抗日戰爭時期，他歷任新四軍第一支隊二團參謀長、團長，新四軍蘇北指揮部第二縱隊司令員，新四軍第一師二旅旅長，第十六旅旅長，新四軍蘇浙軍區第一縱隊司令員。
1945年11月10日，按照中共中央的指示，華中野戰軍正式組成，粟裕任司令員，譚震林任政委，王必成任第六縱隊司令員。從1946年3月起，第六縱隊改為第六師，譚震林兼師長和政委，王必成任副師長。同年7月13日至8月27日，在聞名遐邇的蘇中七戰七捷中，王必成率第六師參加了七戰中的五戰，仗仗皆勝，殲敵1.6萬余人。
蘇中七戰七捷后，蘇中戰場勝利在望，但相鄰的淮南解放區形勢卻不容樂觀。王必成也遇到了他軍事生涯的最大勁敵——國民黨軍的張靈甫。在張靈甫的國民黨整編第七十四師等部的強攻下，解放軍被迫撤出淮南根據地。隨后，敵七十四師兵鋒直指淮陰。
淮陰是蘇皖解放區的首府，因此，粟裕一面飛調成鈞、皮定均趕往淮陰城下，阻擊張靈甫，一面親率我第一師、第六師從海安城下撤圍，奔赴淮陰。
眼看粟裕援軍就要趕到，張靈甫連派夜出一支小部隊發動偷襲，突破點就選在防線中央——從戰術角度看，最難突破的地段。偷襲得手后，張靈甫揮軍入城。一天后，粟裕率援軍趕到，但戰機已失，只好撤退。張靈甫乘勝揮師南進，3天后又占淮安。當時，很多參戰官兵都說:敵整編七十四師比抗戰中的日本軍隊還難打。王必成聽到后火冒三丈地說:得和這個張靈甫碰一碰！
王必成的愿望不久就變成了現實。張靈甫的下一個進攻目標便是漣水。1946年10月22日，敵七十四師集中全部炮兵，對漣水城的南門渡口發起震天動地的炮擊，部隊乘橡皮舟渡過廢黃河，很快在河岸立住了腳跟，并發起第二輪猛攻。25日下午，張靈甫突然投入了一個團的生力軍，不待重炮和飛機掩護便發起沖鋒，終于在城南防線中央撕開一個寬大缺口，直撲漣水城。
這個時候，王必成率第六師第十八旅冒著敵軍轟炸和炮火，及時增援城南陣地。東門外，第六師主力和敵拼起刺刀，硬是用刺刀在短短一小時內干脆利落地殲滅了敵七十四師一個營。
26日，雙方大戰再起。張靈甫傾注全力，發起猛烈的進攻，這是王必成與張靈甫的首次正式大戰。這一天，敵七十四師連續發動8次突襲，卻始終無法撼動我第六師的防線。入夜后，第六師發起反擊。夜霧迷漫的廢黃河邊，殺聲和刺刀碰磕聲混成一片。28日，華中野戰軍主力部隊全部趕到，粟裕下達了殲滅敵七十四師的命令。30日夜，陶勇的第一師和王必成的第六師如猛虎下山般撲向敵七十四師，張靈甫只得逃回淮陰城。
一戰漣水，敵七十四師付出了7000余人傷亡的代價。張靈甫將失敗歸咎于王必成。據說，他當著部下發誓:下次打漣水，要用1000發炮彈打碎王必成。一戰漣水，王必成也了解了敵七十四師的戰斗力，他說:兵敗而不山倒，兩虎未擒一狼，姓張的有一套。
漣水之戰一個月后，敵七十四師再犯漣水。此時，陳毅、粟裕正在北線準備宿北戰役，坐鎮南線的譚震林決定來個硬碰硬，將王必成第六師擺在漣水南面，對決敵七十四師。