山田家は元々は中井村の庄屋的存在でしたが、曾祖父の起こした事件により財産没収のうえ追放という厳しい処分を下され、御上の許しが出て山田家が故郷にかえってこれたのは方谷の祖父の時代でした。そして山田家が故郷ではじめたのが製油業でした。
当時の夜の光「行灯」の燃料として油の需要は旺盛で、方谷は並み居る同業者や老練な客を相手に孤軍奮闘しました。
灯油の原料となるのは菜種で、この頃便利な機械などある訳もなく、方谷は夜は油の製造、昼は営業と寝る間を惜しみ働きました。
この泥にまみれ、損か得かの商いの経験は、当時の方谷としては辛酸を舐める思いでしたが、その後の改革にとって唯一無二の経験として生かされます。
実際、改革時の藩財政調査などはこの頃編み出した独自の簿記法が大いに役立ったといいます。