光明皇后の命で行基が大伽藍を建立したと伝えられる医王山農楽寺の後身、元禄年間(1688-1703)に大火災に遭い、以後仮堂のまま現在に至っています。 堂は現在よりもう少し西側にありましたが、道路新設の際に移動し、石塔、石仏も整備されました。