備中松山藩士。文化2（1805）年、阿賀郡西方村（高梁市中井町西方）の農商の家に生まれ、5歳で新見藩儒丸川松隠に学ぶ。
文政8（1825）年21歳のとき、篤学の名声が広まり、松山藩主板倉勝職に聞え認められ二人扶持を支給される。天保5（1834）年、3年間の遊学を願い、江戸に上り佐藤一斎の門に入る。塾頭となる。佐久間象山との論争は有名である。天保7（1836）年32歳で一斎塾を退き帰藩し、翌年33歳で有終館学頭となり、天保9（1838）年、家塾「牛麓舎」を開き、学頭となる。
45歳のとき、藩主板倉勝職逝去。養子の板倉勝静が5万石を継ぐと、方谷は江戸に呼ばれ元締役兼吟味役に抜擢され、鋭意藩政改革を断行した。上下節倹、借財整理、殖産興業、軍制改革などを行い10万両の借金を返済し、のちに10万両を蓄えた。改革の成功は他藩にまで聞こえ、長州藩（山口県）の久坂玄瑞や越後（新潟県）長岡藩の河井継之助をはじめ諸藩から視察に来る者が跡を絶たず、方谷に理財を問う者が多かったという。文久2（1862）年、江戸幕府の老中となった藩主板倉勝静の顧問として江戸に出府する。
元治元年（1864）年、松山藩の長州征討出陣に当たっては、藩主から留守の兵権を委任された。
慶応4（1868）年1月、松山藩は朝敵となり、岡山藩の占領下に入った。明治2（1869）年9月、旧松山藩は高梁藩として再興されたが、この間に方谷が果たした指導的役割とその尽力は多大であった。この年、西方村長瀬（高梁市中井町西方）に長瀬塾を増築して教育に専念したが、翌年、小阪部村（新見市大佐町小阪部）に居を移し、小阪部塾を開いた。明治6（1873）年、旧岡山藩士岡本巍らの要請により閑谷精舎（再興された閑谷学校）の学督となった。