孝徳天皇の御代白雉年中（651〜654）に道仙人によって開基され、一時は32坊舎を並べるに至ったが嘉吉元年（1441）赤松満祐の滅亡の時や天正7年（1579）羽柴秀吉による三木の乱に遭遇し大半を失ったと記されています。 現在の本堂は正保2年（1645）に建設されたものです。　（町勢要覧より引用）
高薗寺の鬼追い式 毎年2月９日、10日に鬼追い式が観音堂 で古式豊かに行われます。

お寺の東側の林の中には、多くの石仏が点在しています。 こみちをゆつくりと歩くと、左右に現れる石仏のいろいろな 表情を見ることができます。