西江家は、鎌倉時代は北面の武士（朝廷の護衛）をし、応仁の乱後京都から高梁市成羽町坂本に居住し、山城を守る武士となりました。戦国時代より毛利家の配下となり、関ヶ原の合戦後、帰農し幕領地における郡中惣代庄屋となります。居宅は代官御用所を兼ねたため、郷蔵・白州跡・式台・駅場舎・手習い場など役宅部分が現存しています。創建は宝永・正徳年間1704年頃といわれ、現在も当時と変わらない堅牢なつくりです。西江家６代目が島根県から一流の石州大工と石州瓦職人たちを結集し、20年かけて創りあげた建造物です。３段構えの石垣はまさしく城郭の構えです。西江家15代目が木道楽であったため、裏座敷は明治に建て替えられました。部材にこだわり、桜・欅・松・檜・黒柿・紅葉など高級木材を使い、ベンガラスス塗りを施しています。江戸時代における産業、人、文化など庶民の営みとともに幕府代官御用所としての歴史を今日に伝える大変貴重な歴史的建造物です。
　また、正保4（1647）年西江家３代目がベンガラ製造に着手し、寛延3（1750）年には量産化に成功し、産業化させました。ベンガラは大名間の贈答品である伊万里や九谷などの上絵付け用顔料、漆器・塗料など汎用性のある赤色顔料として使用されました。パリの万博にも出展し、200年間、愛され続けた一流ブランドです。昭和46年に安価なベンガラにおされ、ベンガラ製造は途絶えました。