むかし、江井島一帯を「嶋」とよんでいました。海岸線にそって開けた村は、酒や瓦の製造で暮らしをたてていました。
　これらの商品を積み出す港は、秋から冬にかけて強風や波にこわされることがたびたびで、村人たちはたいへん困っていました。　この「嶋」にこられた行基というお坊さんは、村人の困っているようすをごらんになり、よい港をつくろうと決心なさいました。　村人に協力を呼びかけ、自分が先に立って衣のすそをからげ、モッコをかついで防波堤づくりに汗を流しました。このあたりは潮の流れのはやいところです。
　防波堤はなんども流されました。しかし、行基は一心に仏さまに祈りながら工事を続け、港は天平16年（７４４）についにできあがりました。
　

新しいりっぱな港を見て、村人たちはたいそう喜びました。
　行基は港を守る仏さまとして地蔵菩薩を彫り、海上の安全を村人たちとともに一晩中祈りました。　祈とうも終わりに近づいた頃なにげなく港に目をやった村人のひとりが、ゆうゆうと輪をえがいて泳ぐ大きなヒシ形のものを見つけました。　平べったい魚のようにも見えます。長い尾もついているようです。村人たちがよく見ると、それはタタミ2枚ほどもある大きな赤い「エイ」だったのです。
　村人たちは騒いで、追い払おうとしましたが、エイはいっこうに逃げようとしません。
　「みなさん、お待ちなさい、港ができたお祝いに仏さまがおつかわしになったのでしょう」行基はこういってエイに酒を飲ませてやりました。　エイは満足そうに沖へ帰っていきました。このことがあってから、だれいうともなく「エイが向かってくる嶋・・・鰈向嶋」と呼ぶようになったということです。