しかし、それらの伝説の中の多くが語っているところによると、彼は大和国南葛城郡の茅原村（現在の御所市茅原）で、舒明天皇の六年（634年）に、賀茂氏の流れを汲む家に生まれたと云う。十七才で元興寺に学び、やがて、葛城山で山林修行に入り、さらに、熊野や大峰の山々で修行を重ねる。
ある時、北の方角に霊光を見、その光を追って摂津国の箕面山の大滝に至り、滝の上の竜穴（御壺）の中へ入って、そこで龍樹菩薩から大いなる法を授けられて悟りを開く。龍樹菩薩は二世紀頃の南印度の人であるから、もとより、それは事実ではなく、滝は龍であるとの観念によるものであろう。
その後、吉野の金峰山に行き、ここで、蔵王権現を感得する。彼は、憤怒の形相すさまじいその仏の姿を、悪魔を降伏させ衆生を済度する仏として、桜の木に刻んで堂に祀る。やがて、彼は全国の霊山と云われる山々をくまなく遍歴し、その足跡は、北は羽黒、月山、湯殿の出羽三山より、南は彦山、阿蘇、霧島、高千穂に及び、それと共に彼の法力、行力は比類もなく高められて、超人的な域に至った。彼には、前鬼（善童鬼）、後鬼（妙童鬼）と呼ばれる夫婦の従者がいたと伝えられ、また、吉野山と葛城山との間に石橋を架けようとしたと云う伝説もある。ところが、文武天皇三年（699年）の五月、彼の弟子の一人であった韓国連広足が、その能力を妬んで彼を讒言したため、妖術をもって人心を惑わす者として捕らえられて伊豆の大島に流罪になる。実は、この伊豆嶋流罪の記事だけが、彼について史書が記した唯一のものである。そして再び伝説によると、二年後の文武天皇五年（701年）一月、罪を許されて帰京するが、それから四ヶ月後の五月（三月に大宝と改元して大宝元年五月）箕面において寂滅したと云う。
仏教は平野部に寺院を構えることによって始まったが、しばらくすると、俗塵を離れて静寂な山中に入って研学・修行しようという僧侶たちが現れてくる。そうした山岳修行者たちによって、次第に修験道が形成されてゆく。修験道は山岳信仰を基底に置き、それに真言密教と道教が習合したもので、平安時代の聖宝によって体系化された。この過程において、役行者は修験道の開祖者であるとされた。最も古い山岳修行者であったことによる。修験道の行者たちが山伏である。彼らは山岳に登って難行苦行を重ねて呪力を体得し、それに基づいて加持祈祷をする。山伏たちは全国の山々を修行の場とする。そうした山伏たちの修行の山々に建てられた山岳寺院は、しばしば役行者を寺の開基とするが、実際に役行者によって開かれたとは限らない。しかし、箕面の箕面寺（現在の瀧安寺）は間違いなく、彼が関わっているらしい。
天上が嶽（別名「往生峰」）の頂上は、役行者の墓と伝えられ、元禄12年（1669）役行者の一千年忌にあたり、京都白河の石工に作らせた、大日如来の真言「アビラウンケン」を梵字で造刻した石碑が、ここに据えられ、更に後に、役行者の銅像も置かれている。