天保元（1830）年、窪屋郡中島村（倉敷市中島）に生まれる。14歳で山田方谷に学び、早くから文才が認められている。23歳のときに津藩（三重県津市）の儒学者・斎藤拙堂に詩文や文学を、漢学者・石川竹崖から経学（けいがく）を学ぶ。28歳で江戸に出て、翌年昌平黌入り、30歳のときに山田方谷の薦めで備中松山藩に仕えて藩学有終館の会頭になり、その後、学頭に進む。藩主が幕府老中となり、その顧問を務めた。
慶応4（1868）年の戊辰戦争の際、朝廷のとがめを受けて松山藩が岡山藩などに征討されたとき、方谷らとともに尽力して藩の存続を認めさせている。
明治5（1872）年、朝廷の召しに応じて上京し43歳で法官となるが、常陸（茨城県）の新治裁判所長などを経て、明治10（1877）年に現職大審院判事が廃官となり退官。明治初期のこの頃から西洋の学問が急激に流行したが、三島は人の心を鍛える上で東洋の道徳学問の重要性を強く認識しており、明治10（1877）年に漢学塾・二松學舍（二松學舍大学）を創設し、以後、講学と民法成立に尽力。山田方谷の学問を自らの学問の根源に持ち、二松學舍設立のように育英事業を通じて漢学東洋学の発展に寄与した。大正8（1919）年没。