晋时为一小庙，唐云安禅师重建，旁有龙神堂、药师殿。南宋绍兴间行僧心庵再建。僧士性建尊胜幢以镇虎患，仍名伏虎寺，一说寺后山状如伏虎而得名。又称虎溪禅林。

明时建罗汉堂，塑500阿罗汉，技艺超绝，后毁。

清顺治八年（公元1651年）贯之和尚偕徒可闻、寂玩、帷密重修，历经20载告成，名虎溪精舍。太史蒋超题书额“伏虎寺”（今系补书）。计有殿宇13重，为山中大刹。光绪十年（1884年）僧静安继修。1953年整修，1979年全面大修，1982年在寺内建塔亭一座，将原圣积寺“华严铜塔”移此。

寺外有坊二：一名伏虎寺，一名布金林。廊桥三：虎浴、虎溪、虎啸。

寺前曾有太湖庵、三一庵。后有香岩寺（西域香岩尊者居此）。左有龙神堂、无量殿，右有玉皇楼。上行至解脱桥，左径至新开寺（明万历三年大用和尚创建），附近曾有蟠龙寺（唐慧觉禅师开建）、罗汉寺、佛到寺（亦称不到寺）、铁峰庵。西南面至高桥，曾有灵岩寺。古籍载灵岩寺为宝掌禅师结庐旧址，历朝增葺，宋绍兴五年太尉王陵、汉州知州王陟施资重修，易名护国光林寺，元季毁。

明初僧弘义、圆道重建，仍名灵岩。景泰间，僧宝峰增修三世佛殿，殿前为明王楼，东为伽蓝堂，西为祖师堂。成化乙酉（1465年）宪宗敕赐“会福寺”匾额。弘治间僧本印扩建。极盛时，有殿字48重，僧众千余，民间有“骑马烧香”之说。明末，大部毁于兵燹。上行曾有棋盘寺。