陈宣帝太建七年(575年)，智者大师初来天台山，度石梁，夜宿定光禅师的草庵(石桥庵)。“石桥庵”，即东晋昙猷和尚隐居的地方，是方广寺的前身。“石桥庵”的存毁年代已无从考证。据《天台山全志》记载：下方广寺正式建寺始于宋徽宗建中靖国元年(1101年)，后毁于火。南宋光宗绍熙四年(1193年)复建。分上方广寺、中方广寺和下方广寺三寺，是天台宗著名寺院。寺院因年久失修，庙宇房屋毁坏殆尽。党的十一届三中全会以来，在国清寺方丈唯觉法师主持下，得到海内外佛教徒的资助，进行全面整修，使古刹重放光彩。1989年10月14日，下方广寺举行了隆重的佛像开光仪式。
下方广寺在天台县城北，距城约20余公里，座落在天台山石梁飞瀑区内。据传是五百罗汉应真显化的地方，故下方广寺以五百罗汉道场而著称。1983年被国务院确定为汉族地区佛教全国重点寺院。
