遺跡は、石を積み上げて築かれた低い基壇上にある７基の塚状の石積みと、その南東に離れて単独に存在する１基の塚状の石積みから構成されています。これらの石積みの中央には石室が設けられていて、そのうち４基に甕かめが残っています。この甕のうち３つは亀山焼で、この甕よりこの遺跡の時期は、平安時代末から鎌倉時代初頭と考えられます。
　この遺跡の性格は、甕以外に出土品がなく、墳墓、経塚などが考えられますが今のところ断定はできません。この遺跡の近くには、頂見寺ちょうけんじといわれる山岳寺院があり、牛神遺跡はこの頂見寺の西端にあたり、本堂の位置していた場所からは奥院にあたる場所に位置しており、霊地とみなされていた可能性が高いと考えられます。