芝山公园位于鄱阳县城北。原名土素山。唐龙朔元年（661年），山上产灵芝3枚，刺史薛振上贡朝廷谎称系灵芝山所产。从此，芝山名扬天下，成为遐迩闻名的游览胜地，亭台楼阁相继建立。南麓有芝山寺，始建于宋代，清嘉庆二十三年（1818年）重修。
寺后有碧云庵，据传是范仲淹游憩处。穿过花圃幽径，有浓荫遮蔽的98级台阶，拾级而上有芝山五老亭。范仲淹曾诗赞芝山：“楼殿冠崔巍，灵芝安在哉？云飞过江去，花落入城来。得食鸦朝集，闻径虎夜回。偶临西阁望，五老夕阳开。”献计献策人周道兴亦吟诗咏叹：“九月九日上危丘，止水英风万古留。山外夕阳生雨脚，浦边帆影出城头。寥天去雁题（啼）红叶，高树栖鸦乱素秋。王范遗诗空在壁，月明夜夜送江流。”诗中的“止水英风”是指南宋丞相江万里。其时元兵南下，饶州（治所鄱阳县）失陷，江万里罢相来饶，不甘屈节，举家投芝山止水池自尽。建国后，芝山主峰上建有人民英雄纪念碑。