方谷は天保四年、幕府の学会の巨頭である佐藤一斎の塾「佐藤一斎塾」に入門する。佐藤一斎塾には全国から蒼々たる面々が入門しているが、方谷入門の二ヶ月前に入門したのが松代藩の佐久間象山だった。

　松代藩では神童の名を欲しいままにしてきた象山だが、後から入門した方谷が瞬く間に斉藤一斎塾の塾長に上り詰めたことがおもしろくなかったらしく、塾生時代、連日のように方谷に論戦を挑んだという。

『炎の陽明学−山田方谷伝−』によると、「議論を仕掛けたのは象山であり、受けて立つのが方谷だった。しかし、方谷の反撃の凄味は象山の予想を遙かに超えていた。いつの間にか攻守が逆転しており、かつて退くことを知らなかった象山は何度ものけぞって、必至にふみこたえる野が精一杯となる」と、どうやら方谷の方が一歩上手を行っていたようだ。