御獄山は、大島中と西大島との境界に位置する標高約320mの名山です。市内で2番目に高い山で、瀬戸内海国立公園の一角でもあります。
山頂には祈雨神社がありますが、その境内が量剛寺跡です。古いお寺の跡で、礎石や布目瓦が見つかっています。平安時代、円人上人(慈覚大師)が唐から帰国の途上、この山頂に一寺を建立し「御滝山量剛寺」と称したが、その後廃絶した伽藍跡と伝えられています。
なお、祈雨神社は御滝神社の摂末社にあたります。御滝神社は山頂から少し下った山林中にあり、寛文6(1666)年の創建と言われており、神秘的な雰囲気があります。