战国时期，匈奴趁秦灭六国之机，大举南下。逼近黄河一线后，站到黄河边上看到山非常高，所以取名叫皋兰。

皋兰的来历人们有三种说法：

其一，皋兰是匈奴语译音。匈奴谓天为祁连，而皋兰、乌兰、贺兰诸山名，都和“祁连”发音相近，有高峻之意；

其二，出自羌语河的称呼；

其三，近代有人认为，皋兰来自山上的一种兰草。

“实际上，皋兰、乌兰、贺兰等指河，是匈奴人的称呼，现在蒙古仍有将河叫皋兰的。皋兰山就是河边的大山。应该得到确认的是：匈奴人在黄河北岸为皋兰山取名的说法是成立的。”兰州市地方志办公室副主任金钰铭说。

《史记》、《汉书·武帝纪》中记载霍去病攻打匈奴的河西战役时说：霍去病率军一直向西，抵达张掖，然后在皋兰山同匈奴展开大战。人们往往把这个皋兰山当作兰州皋兰山，从而混淆了霍去病西征的线路。实际上，汉代在今天的甘肃境内应该有 两个皋兰山。一个是 兰州的皋兰山，另一个就是 张掖附近的合黎山，这座山当时也被称之为皋兰山。霍去病同匈奴激战的皋兰山应该是张掖的合黎山。

从581年隋文帝开皇元年，在皋兰山脚下设置了兰州，历史上从此有了兰州这个名称，至今已经有1427年了。兰州就是因皋兰山而得名。

“从匈奴人命名皋兰山后，皋兰山也就成了兰州沧桑岁月的见证。”