山田家の家系は元々は武士で、方谷の曾祖父の時代には長百姓でしたが、曾祖父の時代の事件により落ちぶれて百姓となっていました。、のため両親は方谷に徹底的に厳しい教育をし、お家の再興を方谷に託していました。
母の梶は超のつく教育ママで４才の方谷に書を教えました。
ただ、梶は山田家再興のための教育ママという側面の他、「息子がただ元気で長生きすればよい」といっている側面ももっており、盆や正月に方谷が新見の丸川松隠のもとから帰ってくるときには、家の門の前に立ち、首を長くして待っていたといいます。
山田家の家訓は、山田家再興のため父の五郎吉が実践していた物で、父が体をこわし、死亡する直前に明文化して１５才の方谷に託されました。
非常に厳しいもので、内容をよく見ると自分には厳しく、他人には優しくと言う情愛に満ちたものであり、後の方谷にも大きな影響を与えたと思われます。
しかし、古今東西父親と息子は反発しあう物で、方谷も父の五郎吉に対しての気持ちは複雑でした（尊敬はしていたが）。
反対に母の梶に対しては方谷が６３才にして追悼の碑を建てたり、晩年母の出所の小阪部に移るなど愛し敬っていました。
一．献上米二合を毎日なすべきこと。
一．ご神仏お初穂はこれまでどおりなすべきこと。
一．衣類は木綿に限るべきこと。
一．三度の食事は、一度はかす、一度は雑炊、一度は麦飯。もっとも母上には三度とも米をすすめ、夫婦の米は倹約すること。
一．酒のたしなみは無用のこと。
一．客の饗応は一汁一菜かぎり。
一．労働は朝七つ(午前４時)より、夜は九つ(深夜１２時)まで。召使いの人は世間なみ。
一．履物は、わらぞうり、引下駄、わら緒にかぎること。
一．からゆ、さかやきは月に三度。びんつけは倹約に致すべし。高銀の櫛、算は無用。
一．もろもろの勝負ごとはかたく無用。
一．芝居その他の見物ごとはかたく無用。
一．遊芸はいっさい無用。
方谷の両親の早死には、この家訓による栄養失調と過労によるものと考えられるほどみじずからにとっては厳しい