社会福祉事業の先覚者。元治元（1864）年、高梁市新町で髪結床を営んでいる吉田家に生まれたが、南町で米屋を営む吉田家の養子となる。行商中に飲んだ谷川の水が原因で肺ジストマを患い、治療のため、中間町の医師でキリスト教信者の赤木蘇平宅に身を寄せた。このとき、留岡は赤木医師の人格に影響を受け、その感化でキリスト教信者となり、明治15（1882）年、高梁キリスト教会で洗礼を受けた。
　同志社大学に入学、新島襄の教えを受ける。同大学卒業後、明治21（1888）年、兵庫県福知山の丹波第1教会の牧師となり、伝導3年。明治24（1891）年、28歳のとき、金森通倫の誘いで北海道空知集治監で教誨師になり、4年間勤めた。この間に収監者の経歴を調査。素行悪化の原因は少年時代にあることに気付き、不良少年の感化矯正の必要を痛感した。
　そのため、明治27（1894）年、アメリカ合衆国へ渡り刑務所制度を研究し、帰国後の明治29（1899）年、東京巣鴨に家庭学校を設立。その後、厳しい大自然が不良少年の感化に役立つという考えのもと、北海道紋別郡遠軽町に感化農場（現北海道家庭学校）を創設。不良少年感化に生涯を捧げた。