この城は、鎌倉時代末蒙古襲来の際、宇都宮貞綱うつのみやさだつなによって築城されたと伝えられて、南北朝の合戦の場にも使用されました。戦国時代には、備中伊勢氏が那須氏に代わって荏原郷えばらのごうを治め、この高越城を居城にしていました。
　伊勢新九郎盛時いせしんくろうもりとき(後の北条早雲)は、この備中伊勢氏出身といわれ、青年時代にこの城で過ごしたと伝えられています。
　野上町の丘陵から南方向へ伸びる丘陵で、標高約170m、山陽道、小田川が眼下に広がり、笠岡、矢掛、井原市街地が見渡せます。本丸を含めて3段の郭で構成され、堀切も残っており、現在も当時の状況をよくとどめています。