此山又称烟筒砬子，是因山脚下有一神奇的石柱从潭水钻出，高大、挺拔、矗立，像过去百姓家房顶的烟囱，据说，这里埋藏大量宝藏，很多人与宝藏一起永远埋在这里，这根石柱像一条汉子，巍峨屹立、眼望家乡，泪洒成潭，故称望乡石。

鹿鼎山源于金庸笔下《鹿鼎记》中记载，清朝年间，康熙皇帝派亲兵都统韦小宝剿灭神龙教，擒拿假太后，在战乱中为躲避洪教主追杀，从海参崴向北接连走了十余日，在密林中骑鹿而行，一日在牡丹江巧遇三个通古斯人，喝酒席间得知“呼玛尔窝集山”之所在位置，韦小宝让双儿按藏宝图上说的山川名字，请当地老参客指点方位，果与图上所载丝毫无错，韦小宝想：那鹿鼎山原来离此地还有几千里，闲来无事，便雇一辆大车，坐了二十余日，越向北越寒冷，冰封雪积，车不能行，两人改乘马匹，又走数日，便来到黑龙江与呼玛尔河交汇处，双儿指那边山道：这就是鹿鼎山。

这座山，山势险峻，以“奇松、怪石、神泉、云雾”四绝而著称，呼玛尔河从它脚下蜿蜒流过，蒙语呼玛尔的意思是高山峡谷不见阳光的急流。站在山上远眺，呼玛秀美风光尽收眼底，有指点江山、风光无限、英雄所见略同的感觉。