ゆずりは城の築城者・築城時期については、資料がないため判然としていませんが、新見氏が築城者と伝えられています。
永禄年間(1558~1570)頃、三村氏に攻められて新見氏は敗走し、三村元範が城主となり城の拡張・整備を進めるとともに、支城の整備も行いました。本城跡は、標高420~490mで平地との比高約200~240mの南北に延びる尾根線上に築かれた連郭式山城で、本丸・二の丸・三の丸からなります。本丸は、このうち最北の標高470~490mの尾根頂部一帯に築かれており、4つの郭で構成されています。
備中北部では、備中松山城に次ぐ規模を誇っていた城として貴重な史跡です。