由加神社本殿は、江戸時代、麓に門前町が栄えた由加山の一角に巨石を背にして立つ小建築です。神仏分離令までは由加大権現を祀った社殿でしたが、明治5(1872)年に由加神社となりました。
本殿は桁行三間、間一間の三間社で、正面に三間の向拝が取り付き、背面を除く三間に擬宝珠高欄付きの縁があります。屋根は大正の改修時に銅板葺に改められていますが、入母屋造の屋根二棟をひとつの屋根にまとめた比翼入母屋造といわれる形式で妻入として比翼の破風の美しさを正面にみせています。
身舎は円柱を使い、正面には桟敷を入れ、両側面は板壁で金箔を貼り、内部は内陣と外陣に分けられ、航海安全の神が祀られています。また、壁や柱などの細部に施された装飾彫刻や極彩色からは、創建当時の輝きとともに江戸前期の様式を伺うことができます。