※１修行を終えて教化のために巡り歩くこと。
※２禅宗においては「悟後の修行」を意味し一般にはこれを指すことが多い。
小傳宗誾和尚の後、小庵には照岩枝雲、桂岩大翁等が住した。その後、寛永（1624〜1645）年中（江戸時代、三代将軍家光時）に多宝院九世傳室前授和尚が小傳宗誾和尚の因縁を偲び、多賀谷左近太夫家植を開基として曹洞宗瑞祥山林翁寺を建て、自らが開山となったと伝わる。そのため、開基と開山の生年には100年以上の隔たりがある。以後、多宝院の隠居寺・別院として利用されてきた。
なお、多宝院は「潜龍山」、林翁寺は「瑞祥山」と、開基多賀谷左近太夫家植の戒名「龍山祥潜大居士」にちなんだ山号を持つ。隠居寺の根拠は寺号が「林翁寺＝翁が静かにたたずむ寺」であり、当時は周囲が竹林（常緑＝不死の象徴）であった事、本尊が「延命地蔵菩薩」であることである。
1615年（元和元年）下妻城主多賀谷宣家（佐竹義重四男、養子）は秋田に転封を命じられた佐竹氏に従い檜山能代へと移り、太田城主多賀谷三経（先代下妻城主多賀谷重経長男）は結城（松平）秀康（家康の次男）の家老として越前へと移り、多賀谷家の庇護は無くなったが、下妻藩主井上氏の旗本家臣等が当寺の檀家となり今に続いている。
1893年（明治26年）、落雷による火災で本堂・庫裏を全焼。
1894年（明治27年）、第16代祖室禅良大和尚により、近所の古民家等の部材を再利用して本堂を再建。
1990年（平成2年）、建材の再利用によって建築された旧本堂が100年近い間に老朽化著しくなった事から、第19代即応寛順大和尚（増田寛順）が本堂を新築し、本寺多宝院から中興の称号を与えられる。
2013年9月17日、第19代中興即応寛順大和尚寂。
2014年1月27日、大機和順和尚に曹洞宗から住職任命書が発布され第20代住職となる。
室町時代末期の十一面観音像※３の他、江戸時代中期の焼け焦げた仏像等が数点と絵図等が伝わっている。
※３ 十一面観音は密教の尊格であるため、大串字寺山にあった多宝院の前身寺院から移したものかもしれない。
