奈良時代に、行基上人の開基といわれています。
秘仏の地蔵菩薩は地蔵盆の（8月24日）に開帳されています。

延命寺の寺伝によると天平１２年（74０）に行基菩薩開基と伝えられています。
　この寺院は長坂寺の塔頭寺院として建立されましたが、南北朝の争乱の頃か、建武の頃（1334年頃）に兵火により焼け、当時の住僧通義が現在の地に再建したといわれています。
　ところが、天正７年（1579）9月、三木合戦のとき兵火でまた焼失しました。現在の地は昔、長坂寺の絵馬堂のあったところと言い伝えられています。

　山陽電車江井島駅の西北にむかし柳井村とよばれていたところがあります。　現在は魚住町金ヶ崎になっていますが、ここも、行基上人の伝承が色濃く残っています。　浄土宗の寺院で上人ゆかりの香盤池があり、赤根川沿いの水田の中に上人が掘ったと云われていました清水がこんこんと湧き出していた井戸があったが、昭和45年赤根川の改修工事によりなくなりました。香盤池の一部は、今も残っていますが県道明姫幹線道路工事に伴い一部が削り取られ周囲の景観も変貌しました。
　本尊の地蔵菩薩は数々の戦乱をくぐり抜け大切にまもられてきました。秘仏になっていますが毎年８月24日の地蔵盆の日に御開帳されています。