“灵湖古寺”位于广海城东的象山脚下，坐北向南，始建于一千多年前的南北朝。左有莲花山，右有虎头山，宛如两臂向前延伸入海，堪舆学者称是青龙白虎盘踞护法。寺前有一开阔空地，再前有一条由海浪冲击堆积而成的沙堤。三里多长，横亘在莲花、虎头两山之间，截水形成一湖，古时称之为“圣塘”。附近有“龙祠”，唐宋年间，墨客骚人，把“龙祠”与唐代诗人刘禹锡“水不在深，有龙则灵”的名句联系起来，改称“灵湖”。“灵湖”向海不远处，有两个小岛屿，当地人称之为“大排、小排”，岛上树木葱茏，随风摇曳，状似“灵湖古寺”的灵台香烛。缕缕青烟，为海上的过往船只指点迷津，导正航向。“灵湖古寺”地理层次感很强，后依群山，前为空地，下有“灵湖”，不远处是茫茫大海，山青水美，海天相连，景色壮丽。
    宋朝乾道初年（1165），高僧永师辟道龙祠南侧，筑庵而居，名为永庵。嘉定初年（1207）,永从徒弟应玑将其师六永庵改建，并易名“灵湖寺”。清咸丰六年（1856）至同治二年（1863）土客纷争，寺宇禅寺堂俱被焚毁，仅存焦土。光绪十年(1884),广海奇石村彭凤桐乃倾全族之力，倡捐重修“灵湖堂”，并定名为“灵湖古寺”。1937年寺内遭歹徒盗窃。民国36年（1947）奇石协泰行建筑商余沛捐款将寺院略加修葺。1966年文化大革命期间庙宇被视为迷信场所，全部设施被砸毁，灵湖古寺变为荒滩杂草丛生，成为空寺。只留门庭“灵湖古寺”和对联石刻供人欣赏及怀古溯源。
    2003年9月市政府办公室发文批准重修，2006年7月台山市民族宗教局行文批准成立台山市广海镇修复灵湖古寺筹备委员会，2007年2月将灵湖古寺前殿堂修复一新。殿堂中央安座白玉雕塑三尊佛像和左右东西北角3个菩萨神像。2009年4月旅港乡亲伍坚石先生乐捐巨资，修复灵湖古寺大雄宝殿。随后，体操王子李宁家族以及马运斗、麦少娴、黎同瑞、李涛等善信捐资塑造了菩萨圣像。灵湖古寺建造工艺独特，传统古建筑，装饰精美，是侨乡佛寺第一家旅游胜地，矗立在广海古镇，具有千年历史文化文物，是台山市唯一镇级重点文物保护单位。
    “灵湖古寺”，因为它的“灵”，因为它的“古”，一千多年来，成为广海百姓心中一方神圣之地；又因为寺中和尚品德高尚，慈悲为怀，经常为周围的病患者施医赠药，带领周围的青年小伙习武健身，保卫家园而受到广海百姓的尊崇。而那些神乎其神的“渡江芦苇”、“晨钟暮鼓”、“圣塘传奇”等等传说，又为它披上一层令世人看不清其真面目的神秘面纱。