文政13（1830）年、浅口郡阿賀崎新田村（倉敷市玉島阿賀崎）に生まれる。隣村・長尾村の小野務に和歌を学んだ後、備中松山藩校教授・鎌田玄渓に入門。藩士に推挙され、昌平黌に入って古賀茶渓（儒官・漢学者・洋学者）・大橋訥庵（儒学者）のもとで学ぶ。この頃、松山藩主・板倉勝静は、山田方谷を用いて藩政改革を断行し、藩財政の立て直しをはかっており、山田方谷に推されて松山藩に仕え、江戸学問所の督学となる。
慶応4（1868）年に鳥羽伏見の戦いが起こる。松山藩は賊名を負うたが、変装して上京し、太政官弁事・秋月種樹に上書し、奔走の結果、藩の嫌疑を解いて復封、板倉家の存続に尽力した。維新後は江戸に出て、牛込で塾を開いて子弟教育に努めている。のち、宮内省につとめ、諸陵頭・東宮御用掛に塁進、その後、東京大学教授・貴族院勅選議員・宮中顧問官などを歴任している。
晩年、『古事類苑』を監修。学問は、朱子学を主としているが、明清諸家にも広く通じ、陽明学にも心を寄せた。殊に文章に長じ、重野成齋（漢学者・国史学者）と並んで明治の両大家と称せられた。