雷祖祠位于雷州城西南五里之英榜山，依山傍水，风景秀丽，称“雷岗耸异”，为雷阳八景之一。始建于唐贞观十六年（公元642年），是纪念唐代雷州首任刺史陈文玉（雷祖）的相堂。为国家重点文物的保护单位。
民间传说陈文玉是一位半神半人式的充满神奇色彩的英雄人物——陈太建年间，古台州城西南五里白院村有一村民，名日陈鉷，以捕猎为生，家中养有一只九耳异犬，每次出猎皆卜犬耳，所捕猎物与犬耳所动相应。一日九耳齐动，陈氏日：“今必大获矣！”便邀其邻居十余人，同往州北之乌仑山。山中荆丛密绕，犬自早晨吠至太阳落山，无一兽出。猎人奇之，伐木而视，见猎犬从地里挖出一大卵，陈氏不知为何物，便抱回家中。次早，乌云密布，雷电交加。陈氏大恐，便置卵于庭中，忽然卵为霹雳所开，跳出一男孩，两掌有文，左日“雷”，右日“州”。陈氏将男孩禀明州官，官收卵壳寄库，男孩交陈氏养育，取名陈文玉。文玉聪颖过人，勤学不辍。长大后，功力绝伦，武艺盖世，文武兼备，屡受荐举，文玉却以双亲年老为辞，拒不当官，曾自谓日：“‘侍君不能侍亲’，愿问寝视善，以乐父母余年。”陈氏夫妇享年百十有三，相继殁于唐贞观二年。文玉为之守墓三载。
唐贞观年间，南合州境内居有黎、瑶、壮、察、侗、苗等少数民族。唐王朝为了稳定边疆，便启用土著陈文玉出任本州刺史。
陈文玉任职期间，精察吏治，巡访境内，消民疾苦，政教并行，使人民安居乐业，民皆富庶，风俗大变。在施行德政之余，文玉深感本州乃天南重地，四海有事，兵家必争，为使黎庶安宁，便大修城池，公款不足则自捐薪俸，不费民财，并具疏把古合州改名雷州。雷州之名乃始于唐贞观八年（公元634年）而沿用至今。
唐贞观十二年正月十五日，正当城工告竣，文武僚属欢欣巡城之际，文玉却生两翅，白日升天。百官见状，伏地而拜，文玉终年68岁。为了纪念这一个德政昭彰的地方官，郡民于州城西南五里英榜山立祠以祀，即今之“雷祖祠”。
祠依山而筑 ，北构南趋，山下是一望无垠的万顷洋田，其势极其雄伟壮观。祠分三进，由山门、正殿、侧殿、后殿、东西庑、钟鼓楼、碑廊等建筑组成，全部建筑沿中轴线布局。顺山门青石板台阶拾级而上可直通后殿，占地面积一万多平方米，是岭南地区最大的祠堂之一。山门依屋宇三间面宽洞开而三，为硬山顶，硬山檩式结构。山门门联：“霹雳开天南一祖，声名为海北同尊”，是对雷祖降世的美丽传说及“受职父母邦，德政彰明”的赞誉。二进为祠的建筑主体，分正殿及东、西侧殿。正殿前设有拜亭，整个建筑形制呈“凸”字形排列，依次供奉陈文玉（中）、李太尉（汉朝的李广，居左）及英山石神（右），俗称“雷词三殿”。正殿面宽进深各三间，硬山顶，四柱抬梁式梁架结构，举梁平缓，前檐廊出檐极宽，建筑风格独特，富有地方特色。沿着前檐廊可从东侧殿直通西侧殿，殿前屏风精雕细刻，玲珑剔透，巧夺天工。
雷祖祠历史悠久，词内文物十分丰富，有千年石人、乾隆御踢匾额及历代碑刻30余通。历代显宦名流，骚人墨客，游览之余无不留下感人的诗篇。寇准有诗，东坡有赋，丁谓作记，李纲题碑，这些诗赋碑刻历尽人世沧桑至今尚珍藏于祠内，堪称祖国文物之瑰宝。
雷祖祠神话传说纷经，其中千年石人就有一段美丽的传说：五代后梁开平四年，寇贼符益喜等不输税粮，倡乱骚扰，还煽动民族纠纷，闹得雷州无宁日。钦差都知司马陈襄，带领12只船的兵力，围剿征讨。当时，符益喜等驻师庙中，因朝廷官兵不熟悉情况，屡战不胜。后来，陈真虔祷雷祖，并于庙前张榜招兵。次日复战，陈襄远远望见雷祖陈文玉与汉太尉李广协同阴兵助战，这场战斗果获大胜，但贼首末擒。至夜，陈襄梦见雷祖对其目：“贼来降我，我收在庙前，化为石人。”黎明起视，果见四石人跪子庙庭，其中一个被杀了头。雷州从此得以太平，陈襄等拜谢雷祖，并具疏奏闻朝廷，于开平改元乾化二年，朝廷命郡它重建雷祖庙宇，并于雷祖庙西建李太尉庙，塑太尉像，与英山石神列而为三，称“雷词三殿”。
雷祖祠自唐贞观十六年始建，迄今已1350多年了。方志典籍多有记载，唐代刘恂的《岭表录异》、宋代《太平寰宇记》、《宋本方舆览胜》、明末清初的《广东新语》，《子不语｝｝以及当代出版的《华夏诸神》、《超凡世界》、《中国崇拜物》等书都均有记述。
古代闻名于世的“天下四绝”（雷州换鼓、钱塘江潮、广德埋藏、登州海市）中的“雷州换鼓”就是发生在雷祖祠的民俗事象。“雷州换鼓”是古代雷州人在雷祖祠内举行的一种隆重的“祭雷”仪式。《雷祖志》载：“至于-…。雷车雷鼓等物，各以板图藏于庙内，令郡民当里役者依样修造，逢上元日，齐候文武各官送太庙致祭，名日‘开雷’。又办酒席-…。官民同乐，始得风调雨顺，不然则岁悍年凶，自是有祷则应，雷郡获享国泰民安之福”。《广东新语》云：“六月二十四日，雷州人必供雷较以酬雷，祷而得雷公之墨，光莹如漆，则以治邪扭惊痌.”“雷公墨”即陨石，古代雷州人称为“雷公石”或‘“霹雳碪”、并当作一种驱邪避灾之物，可见古代雷州人把雷公作为一种能造福或降祸于人的强大力量象征而铭刻于心，所以’“祭雷”仪式的隆重也不言而喻了。现在，“雷州换鼓‘”早已失传，当代雷州人只能从典籍中窥见一二。
