備中都宇郡早島周辺は、岡山城を本拠にした宇喜多秀家の領地でしたが、秀家は慶長5(1600)年の関ヶ原の戦いで西軍に属して滅亡しました。代わってこの領地を戸川逵安みちやすらが領有しました。 逵安は宇喜多家の重臣でしたが、内紛により同家を退去して東軍に属し武功を立て、庭瀬藩主となり都宇郡・賀陽郡の一部を領有しました。寛永5(1628)年、父・逵安の遺領を継いだ正安は、早島地域3400石を弟の安尤やすもとに分知し、早島知行所が成立しました。安尤は元禄6(1693)年に陣屋を置くことを決定し、宝永6(1709)年、3代安貞のときに完成しました。 この陣屋は明治維新後に取り壊されましたが、早島小学校のすぐ西隣りに堀の一部とそれにかかる石橋が残存しています。