父の名は「五郎吉」、母の名は「梶」、梶は今でいうところの「超」のつく教育ママでした。兄弟は妹に「美知」がいましたが方谷が８歳の時（文化９年・１８１２）に病死、、その後１０歳の時（文化１１年・１８１４）に弟「平人」が生まれました。
平人が生まれたころの方谷は新見の儒学者・丸川松陰のもとで学問を学んでおり、神童としての頭角をめきめきと現していました。
その４年後からつぎつぎと不幸が方谷に襲いかかります。
方谷が１４才のとき母・梶が突然の病死、父・五郎吉は家業の人手を補うため、母の出所・西谷家から後妻「近」を後妻として迎えました。しかしその一年後、今度は父が梶の後を追うように病死、方谷は１５才にして、ほとんど面識のない継母・近と幼い弟を養わなければならない状況下に陥り、師匠丸川のもとを去る決心をします。
家業を継いでしばらくした頃（方谷１７才）、新見藩士の女若原氏「進（１６才）」をめとり、２２歳の時長女「瑳奇」が生まれました。
この当時、方谷は家族をあまり顧みずに学問に邁進、京都・江戸への遊学を繰り返し夫婦仲は良いとは言い難いものでした。
そんな中、天保７年（１８３６）方谷３２歳の時、長女瑳奇が１１才にして病死、そして１０年後方谷４３歳の時進と離婚した。
嘉永２年（１８４９）進と離婚した翌年の１１月２７日、唯一の肉親だった弟・平人が３６才で病死、直後に松山藩の元締役兼吟味役を拝命するというタイミングでした。
その翌年、継母近が７０才で没。
安政元年、方谷４９歳、後年生き甲斐とした愛娘「小雪」が生まれた。母は再婚相手の荒木主計の姉（名前は残っていない）、しかし同年、荒木主計の姉と２度目の離婚、バツ２となります。
安政３年、方谷５２歳の時、三度目の妻「みどり（３９才）」を吉井氏より迎えました、方谷はこのみどりにより、初めて家庭の温かさを知ったといいます。
（みどりは明治２５年没享年７５才）
慶応３年１２月、大政奉還直後、方谷は急いで小雪を矢吹家の発三郎に嫁がせました。
翌年１月１８日、備中松山城無血開城。
明治に入り、方谷は小阪部の地で子弟教育に努め、充実した日々を過ごしていました。
そんな矢先の明治５年、小雪が１９才で病死、肺病でした。
驚異的な改革を成功させた鉄人「山田方谷」も家庭にはあまり恵まれませんでした。
しかし、臨終の地小阪部で方谷は愛すべき弟子達全員に看取られ７３年の人生を終えました。