「茶屋町の鬼」は、岡山市の吉備津神社の温羅うら伝説にさかのぼるといわれています。温羅は鬼と伝えられていますが、早島町の鶴崎神社では吉備津彦命の随神かみながらとしてまつられて、艮御崎うしとらおんざきとして信仰の対象になっています。元々茶屋町の稲荷神社と住吉神社は、艮御崎（温羅）と関わりはなかったようですが、茶屋町の干拓に早島・帯江から多くの人が入植したため、早島町の鶴崎神社の祭りの風習が持ち込まれたものと伝えられています。稲荷神社と住吉神社の秋祭りでは、子どもたちが鬼をはやし立て、それを鬼が追い掛け回すそのかけ合いや鬼が神輿とともに町内を歩き回る姿が茶屋町の風物詩となっていました。
しかしながら、戦争後の混乱や交通規制などの影響で昭和30年代から40年代にかけて、一時期、鬼が姿を消しました。そこで、町民有志により、昭和50年（1970年）に「茶屋町の鬼保存会」が結成されました。そこで、鬼の由来を調べ、鬼面作りの奨励、古い鬼面の保存、鬼の歴史と普及の研究、他市町村にある鬼行事の研究を中心に活動を始め、その後、地域の催しへの参加や、茶屋町の鬼を中心としたイベントの企画･運営を行うようになりました。