大庙山上古迹有钓龙台。相传东越王余善曾在此垂钓，故称。台高4丈，周围36步，台上可坐百余人。明末，曹学佺咏钓龙台诗云：“山河原属越王台，台下江流去不回，祗为百龙先一钓，纷纷鳞甲载江来”。台之西向有钓龙井，直径1.5米，井深水清，民间传闻系“龙泉”，可祛病。宋淳化四年(993年)，山上置钓龙院，院中有达观亭，碧光亭。宋蔡襄为达观亭作诗，诗云“峭峻钓龙台，飞亭压其端，旷达四无际，因之名达观”。宋程之邵为碧光亭作诗，咏曰：“寺压高台最上头，一亭新就得清游”。山上有一石碑，上刻“全闽第一江山”，是摹刻宋代著名书法家米芾之笔迹；尚有宋书法家赵汝愚所书“南台”两字。明洪武三年(1370年)，山上建有风云雷雨山川坛，西隅附祀日本、琉球、渤泥山川之神，春秋仲月上巳日合祭。清咸丰年间，潞河白让卿观察使游闽时，借居此山，题一对联：“卸远山，吞长江，西南诸蜂林壑尤美；送夕阳，迎素月，风雨之际枕簟生凉”。
清道光年三十年(1850年)，乡民集资修闽越王庙，并在其旁建“台江第一亭”，亭之右又建“榕阳山馆”，挹远山，瞰大江，堪称城南胜境。诗人陈雪樵题一联：“林气映天，竹阴在地；月明如昼，江流有声。”诗人吴梅臣亦作一联：“窗中列远岫，天际误归舟”。 清光绪三十二年(1906年)，林则徐裔孙林炳章等在山上建旨在反对贩售鸦片的“去毒社”。清光绪三十四年(1908年)，台江地区诗人于山上建“志社”；民国6年(1917年)，又建诗楼。陈宝琛为志社署额。楼前榕树双株，老干虬枝，日影不到。诗人萧梦馥曾书一联：“双树容听法，白云悠为怀”。诗楼外有一联：“山林一席供歌啸，城郭千家入画图。”诗楼南面旧墙上镶嵌着3大块青石石碑，系由清末诗人陈衍、林苍、唐瀚波撰文，书法篆刻名家洪亮、萧梦馥、陈廉撝各写一碑，载入《福建通志·名胜》卷。 闽越王庙后有“瓜莲精舍”，闽人于六月办“瓜莲会”，以祀越王。此处乃宴息之所，前有小池，旁即钓龙井，花石掩映，颇具幽趣，有一联曰：“瓜雨莲蓬池上社，柳烟梅月井边台”。
大庙山下龙岭顶，有新镌两副对联：一是“江潭水碧诗无尽，台榭花红意自如”；一是“龙腾巨浪开新局，岭跨长虹化坦途”。分别嵌入“台江”、“龙岭”两字。这两联是当代诗人刘长卿和陈涓音所撰。山巅有一块石头，传说是天上掉下来的陨石。旧时，每逢农历九月九日，有很多游人来此登高游玩。 1990年，大庙山碑刻及“去毒社”、“志社”旧址尚在，大庙等建筑已无存。