文政８年（方谷２１歳）の暮れ、方谷は藩校有終館での学問を許可された。
早速有終館で学問を積もうとする方谷だったが大きな問題が立ちはだかった、「物足りない」のである。それは当然で、５歳の時から優秀な師匠丸川松隠により英才教育をされた方谷とって、有終館での学問は「高校生が小学校で勉強するような物」だった。
向上心に燃える方谷にとってこの状況はいかんともしがたいもので、その不満は日を追うごとに大きくふくらんでゆく。爆発したのは２年後の文政２年、方谷２３歳の時だった。
しかし、方谷にはすでに家庭がある妻もいれば子供もいる、藩から金が出るとはいえ家業をまかなえるほどではない、しかし、京都へ行くには金もいる、当時の旅では命の保証もない。家族は総出で反対した。思い悩んだ方谷は恩師丸川松隠に相談する、そして方谷が出した結論は「行こう！」という物だった。