弘法大師が四国を巡拝していた折、愛媛県松山市郊外の大きな屋敷に托鉢におとずれた。屋敷の主人である衛門三郎は強欲な男で、托鉢に訪れた修行僧（大師）にも施しをせず追い払うが、毎日訪れる僧に腹を立て、最後には大師の持っていた鉄鉢を叩き割ってしまう。その鉢は８つに割れて飛び散り、その後大師が訪れることわなかつた。しかし、翌日から三郎の子供８人が次々と病にかかり亡くなっていく。三郎は托鉢に訪れていた修行僧が大師であったことに気付き、これまでの自分の行いを悔み、大師を求めて旅に出た。これが遍路の始まりとも伝えられている。その後、三郎は二十数回も順に四国を巡るが、大師には会えずにいた。そこで逆に四国を巡りはじめたが、大師には会えないままに心身ともに疲れ果て、十二番札所焼山寺で倒れてしまう。意識が遠くなる中、三郎の前に大師が現れ罪を許してもらい、最後の望みとして、「今度生まれ変わるときは、領主になりたい」と願った。その時、大師は「衛門三郎再来」と書いた小石を授け、三郎はそれを握ったまま逝く。逆打ちで巡ったことにより、大師に会えたことから、逆打ちは順打ちよりご利益、功徳が大きいとされている。
　　後に、伊予の領主に男の子が産まれるが、その子は３歳なっても手をしっかり握ったまま開かない。困り果て安養寺（今の五十一番札所石手寺）に連れていき祈念をすると、手が開き「衛門三郎再来」と書かれた小石が落ちた。彼こそが、衛門三郎の生まれ変わりだったのだ。

文治４年（１１８８）の火災の時に焼失を免れるため、自ら玉厨子山に飛び去り、毎夜光りを放っていたというのだ。その後伽藍を再建し、新しい薬師如来を安置したところ、飛び去っていた薬師如来が再び飛び戻ってきて、新しい像の後ろに座られたという。それから後ろ向き薬師と呼ばれているそうだ。現在、厄除けの寺として全国に名を馳せ参拝する人が後を絶たないが、ここでは独特の参拝方法がある。厄坂は３つあり、女厄坂は３３段、男厄坂は４２段、還暦厄坂は６１段。石段の下には薬師本願経を小石に一時ずつ書かれたものが埋められていて、一段ごとに賽銭を置きながら上がっていくのが習わしとなっているのだ。小銭をたくさん持って参拝しよう。

仁王門を入ると、鐘楼堂と大師堂があり、大師が杖で掘った霊水が湧いている井戸の横から男坂を上がると、本堂がある。その左手の不動堂から女坂を下れば観音堂。大師が母君の厄除けを祈願していたことがこの寺の開創の由来であることから、男坂と女坂はそれぞれの厄年の数の石段になっており、一段一段に一円玉のお賽銭を置いていく人も多い。　　
　　本堂の中に入り頭上を見上げると、天井には沢山の草花を描いた天井画を見ることができる。長い年月を経た今でも鮮やかな色彩を放っている。また、本堂には３台のいざり車が奉納されており、大正。昭和の時代、足の不自由な人が巡礼の旅を始め、この寺で霊験を授かり足が治った記念に奉納されたものとか。、

標高約６００ｍの山頂にある難所だが、今では全長２７７５ｍ、高低差５０８ｍを約１０分で渡る太龍寺ロープウェイを利用して参拝するのが主流。眼下にわじきラインや剣山山系、紀伊水道などを眺めながらの空中散歩だ。第５０代桓武天皇の勅願によって開かれて寺で、弘法大師が自ら刻まれた虚空蔵菩薩が御本尊として本堂に安置されている。また、ここは大師が１９歳の時に修行を行い、室戸岬と並んで青年時代の思想形成に大きな影響を与えた場所だ。周囲に老杉が茂る場内には、多宝塔、求聞持堂、護摩堂、六角経蔵などがある。特に、本堂の横から御廟（みみょう）の橋、大師堂の拝殿、その裏に御廟（ごびょう）があり、高野山奥の院と同じ配列になっている。