南台寺在福严寺下方两里许，于瑞应峰下，素有“天下法源”之称。它建于梁天监年间，原是海印和尚修行的处所，在寺院后左边的南山岩壁上，有一如台的大石。据说当年海印和尚常在这块石上坐禅念经，所以寺名“南台”。现在台边还清晰可见“南台寺”三个径大二尺的大字，左边有“梁天监年建”，右边有“沙门海印”两行直刻小字，该寺是省级重点文物保护单位。
南台寺名声很大，海内域外的佛教徒对它非常崇拜。这不仅它是六 朝的古刹， 历史悠久，更重要的是该寺院在唐末五代时便出了一个著名高僧——石头希迁禅师，他是南宗两大系中的一系——青原系的重要人物。
石头希迁，人称石头和尚。据宋《高僧传》、《五灯会记》载：希迁禅师(公元七00年——七九0年)俗姓陈，端州高要(今广东高要县)人，听说六祖慧能南来韶州(今广东韶关)曹溪，便前往参学。唐玄宗开元十六年(公元七二八年)于罗浮山受戒。后又拜青原行思为师，传其法。唐玄宗天宝初年，希迁到南岳衡山受戒结庵于南台寺东大石上，时有称为“石头和尚”。与江西道一禅师名闻天下。相传著有《参同契》、《草庵歌》，至今日本曹洞宗的僧人用作必修日课。唐贞元六年(公元七九0年)圆寂，卒谥“无际大师”、塔曰“无相”。弟子有道司、憔俨等二十一人。他们宣教弘法，创立了曹洞宗、云门宗、法眼宗三派，其中曹洞宗更为昌盛，形成南宗禅，成为中国佛教史上规模最大、影响最深远的主流，法嗣遍布天下。南宋时，临济、曹洞二宗传到日本。日本佛教界曹洞宗一直视南台寺为祖庭。故有“天下法院”之称。石头希迁圆寂以后，肉身龛葬。葬于南台寺下方，为南岳仅存的一座唐代古墓。
南台寺自唐代创建后，曾经废圮,直到宋代乾道元年(公元一一六五年) 才得重新修缮。明朝初年,寺院荒废。明弘治年间,元碍和尚重建。清初,寺院又废圮。有些僧徒乘机分移寺产,在山下岳庙旁各建小寺,自称南台嫡系正派。 光绪年间衡阳人淡云和尚与其徒 ,见新老南台真伪并出,“争利于禅林,有辱佛门”，便下决心重振南台正宗。光绪十六年(公元一八九0年)，他找到了南台寺旧址。募捐一万八千余贯，光绪二十八年(公元一九0二年)开始动工，历时四年，到乙已年(公元一九0五年)将寺建成。寺宇规模宏大，超过历代所建的规模。南台寺有四部分， 山门挂“古南台寺”匾额。二进为弥陀殿。里面有欢喜佛像，坦腹露胸，满脸笑容，谁看了都会欢喜他。正门前有“南台禅寺”门额，三进为佛殿，有塑像饰龛，四进为法堂、祖堂、云水堂。两厢各有斋堂、禅堂、客房等。寺中大小舍房一百余间。
光绪癸卯年间(公元一九0三年)，日本曹洞宗法脉高僧梅晓和尚(六休上人)，自称是石头和尚第四十二代法孙。专程来南台寺。这时南台寺的重建工程正在进行，梅晓见屋基楚楚、砖墙厚实，规模宏大，十分高兴。当即向淡云和尚提出：寺宇落成，愿赠“藏经”一部。淡云和尚表示乐意接受。他回国后第四年(公元一九○七年)，就率瓴日本佛徒数十人，亲自护送到南台寺，并举行了隆重的赠经仪式。这是当时一件盛事。它成了中日友好往来源远流长的历史见证。自梅晓赠经以后，至今日本佛教徒不时派出代表团来南台寺礼祖。南台寺为中日友好交往树立了友谊的丰碑。
南台寺四周绿荫蔽日，古木森茂，寺前有一片落叶杉林，名叫水杉林。树高达二十余米，直插云天，羽状针叶，树影婆娑。
南台寺有一条小路通南岳古镇。中经一个大石坡，石坡间有石磴数百余级。在岩石上，好象天梯架于岩壁上，故名天生磴。梯下悬崖峭壁，有挂着铁链的石栏杆，山坡旁边有一石，名叫金牛石，相传上面印有金牛足迹。明正德十年(公元一五一五年)秋天，夏良用在金牛壁刻上了一首诗云：“手招黄鹤来，脚踏金牛背。尘世无人知，白云久相待。”沿山坡下行四里即到黄庭观，从此走上坦道，便可迤逦直达南岳古镇。如今南台寺已修葺一新。一九八一年泰国华侨黄彰任先生捐赠铜佛一座，供在寺中殿堂上，为古刹增色不少。
