東大寺初代別当・良弁僧正は下根来白石の長者の息子で、幼い頃より神童と呼ばれていた。彼は奈良の義渕“ぎえん”僧正に預けられ、後に東大寺を開山し、天平宝字7年（763年）僧正に補せられたといわれている。
この良弁僧正の生い立ちには次のような伝説がある。
昔、下根来白石に一組の夫婦と男の子がいた。ある日、夫婦がいつものように子供をふご（竹籠）に入れて畦に置き畑仕事をしていると、突然大きな鷲（鷹という説もある）が子供をふごごとさらっていってしまった。 夫婦は悲しんだが、子供の生存を信じて諸国を旅し、何年も子供の行方を尋ね歩いた。十数年後、「奈良の東大寺の良弁というえらい坊様は、なんでも子供の頃鷲にさらわれて奈良につれてこられた人らしい。その鷲は高い杉の木の上に子供とふごをかけたまま、飛び去ったそうだ。」といううわさをきいた。夫婦は、東大寺へ向かい、良弁僧正に会い、僧正が子供の時身に付けていた柳の葉で作ったお守りを見て、夫婦は彼こそ我が子と確信したという。 それ以来この杉の木は「良弁杉」と呼ばれるようになったという。