當寺の歴史は溝延城とも深い縁があるお寺です。
溝延備前守茂信が、延文年間(1356~1360年）に初めて溝延に城を築いて一宇を建立し、医王山南上院と称して天台宗に属しました。

その後溝延城城代の安孫子紀伊が天台宗を禅宗に改宗しました。天正年間(1573~1591年）に溝延城城代の安孫子氏の子の春明が南上院（今の南泉寺）の了山和尚について得度して、法号を溝延長老と称しましたが、ほどなくして溝延城は最上勢の進攻にあい城郭、寺堂も炎上し、溝延長老は慈恩寺に於いて自刃しました。天正8年(1580年） 8月8日のことであリました。

南上院はその後永く荒廃しましたが、元和5年(1619年）吉山大順大和尚が再興し、溝延山南泉寺と号しました。現住職は開山から数えて22代目となリます。