備讃瀬戸の海を臨む下津井は、古来、瀬戸内の軍事、海運の要衝でした。この地の政治的重要性から、地元の人達が城山と呼ぶ標高89ｍの丘陵には、16世紀に既に宇喜多氏の城砦が築かれていたとされています。
　慶長8(1603)年岡山藩家老池田長政いけだながまさが下津井城主となり近世城郭の形態を整備しました。本丸を中心として両側に二の丸・三の丸を備え、さらにその先に西出丸・東出丸を配するという構造になっています。
　寛永16(1639)年、一国一城の幕令により廃城となってからは、かつての姿を伝えるのは荒廃した石垣だけになっていました。そのためこの地を訪れる人も少なかったのですが、近年、史跡内の散策路が整備されたことにより、地域の歴史に触れながら美しい瀬戸内の風景も楽しめる新しい学習の場となっています。