寛延元（1748）年、笠岡村の陣屋稲荷（笠岡小学校裏山にある）の神職の子として生まれた。通称常陸之介。京都で卜部氏に神道を、和歌を澄月に学ぶ。家職を継いだが、のちに長男の清之に神職をゆずり、自ら「楢園」と号した。
　寛政10（1798）年、笠岡に郷学「敬業館」が創設された。清先は笠岡代官の早川八郎左衛門に要請されて初代教授となり、館内に移り住んで、子弟の教育に努めた。清先が教授の頃には、備前・備後・安芸・長門・豊後などから遠路はるばるやってきて学ぶ者もいたという。その人となりは、平坦温雅で、鴨方の西山拙斎、神辺の菅茶山ら近隣の文人とも親しく交わった。『校正日本書紀』や『楢園倭哥集』など多数の著書があり、笠岡の文化向上に大きな役割を果たした。文政10（1827）年、80歳で没した。
　現在、敬業館の跡地は笠岡市の史跡となっており、塾舎（生徒の宿舎）の建物が推定復元されている。その裏手には、早川代官「思徳之碑」と並んで、小寺清先の徳を讃えた「楢園先生之碑」が残っている。墓は、敬業館裏手の小寺家墓地にある。