豸山位于县城沱江镇东面，屹立于潇水之畔，“峭壁摹空，悬崖俯流。”因山形似古代传说中的独角兽(豸獬)而得名。
沱江镇作为江华的县城已有近550年的历史，豸山这一风水宝地也就成了豸山寺建于明朝万历四年(1576)距今四百余年。豸山寺有两个独特的地方，一是佛、道、儒三教合一的建筑格局。古代这一片建筑依次是佛教的豸山寺观音阁、道教的吕祖阁、儒教的文昌阁，一字排开，连为一体。现在我们看到的是1984年县城从水口镇回迁沱江镇之后重建的格局。左边是豸山寺，右边是望江楼，还有前面建于民国年间的代表俗文化的六角凉亭——望江亭，为古今义渡小憩之所。吕祖阁与文昌阁毁于历代兵火，早已不复存在。