豸山寺建于明朝万历四年(1576)距今四百余年,豸山寺有两个独特的地方,一是佛、道、儒三教合一的建筑格局。古代这一片建筑依次是佛教的豸山寺观音阁、道教的吕祖阁、儒教的文昌阁,一字排开,连为一体。现在我们看到的是1984年县城从水口镇回迁沱江镇之后重建的格局。左边是豸山寺,右边是望江楼,还有前面建于民国年间的代表俗文化的六角凉亭——望江亭,为古今义渡小憩之所。吕祖阁与文昌阁毁于历代兵火,早已不复存在。走进山门,我们可以看到它的第二个独特的地方,就是豸山寺建于岩隙中,可以说是镶嵌在豸山的山体里面,我们沿着山势走进观音阁,可以直达山腰岩腹。这就是所谓的“山中有佛,佛在心中”。