平安時代末期、高倉天皇の御代、毎晩夜更けになると御所に現れるぬえのため、天皇は病に倒れてしまわれた。ぬえは猿の頭、虎の体、狸の足、狐の尾、鵺“ぬえ”（とらつぐみ）の鳴き声をもつ怪物である。そこで源頼政にぬえ退治の命がくだった。頼政がぬえ退治の方策を思案していたところ、夢の中に観音様が現れ、「わしは稲富浦の観音である。ぬえを退治したくばわしに願をかけろ。」と告げられた。 頼政は稲富浦に観音堂があることを確かめると、はるばる京都からやってきて観音堂に断食7日の願をかけた。7日目の夜、再び夢の中に観音様が現れ、「山鳥を捕らえ、その羽で矢羽を作れ。その矢ならば必ずぬえを射止めることができよう。」と告げられた。頼政は観音様に御礼を申し、翌朝稲富浦の山中で山鳥を捕らえて羽をとり、宮川村の大谷の竹薮から矢竹をとり、矢を作った。そして京都の御所に帰り、その矢で見事にぬえを射止めた。 頼政は朝廷から恩賞として稲富浦を賜ると、観音様に厚く御礼を申し上げ、稲富浦を矢代と改名した。