远古时，景山同北海等处均为永定河故道。现在景山所处的河道地势较高，在永定河改道后逐渐成为土丘。辽代营建瑶屿行宫（今北海公园琼华岛）时，将余土堆积此处。金代大定十九年，金章宗在该地南侧建太宁宫，凿西华潭（今北海），在此地堆成小丘，建成皇家苑囿，称“北苑”。其山下环绕两重围墙，山上建瑶广楼，称为金中都十二景之一。
13世纪中期，元世祖忽必烈于至元四年（1267年）营建大都，土丘一带正处大都城中心，皇宫的核心建筑延春阁以北，故被辟为专供皇帝游赏的“后苑”。苑内有熟地8万平方米。元代皇帝曾在此躬耕，以昭示天下。时将原有金代小丘称作“青山”，作为土丘的名称。亦有说法认为元代此处又称“镇山”。
明洪武初年，工部郎中萧洵参与拆毁元故宫，亲览后苑景色以及金殿、翠殿、花亭、毡阁等建筑。永乐年间，明成祖朱棣在北京大规模营建城池、宫殿和园林。依据“苍龙、白虎、朱雀、玄武，天之四灵，以正四方”之说，紫禁城之北乃是玄武之位，当有山。故将挖掘紫禁城筒子河和太液、南海的泥土堆积在“青山”，形成五座山峰，称“万岁山”。明初，朝廷在景山堆煤，以防元朝残部围困北京引起燃料短缺。因此该山又称“煤山”。另据明代嘉靖年间的《北京城宫殿之图》（藏于日本宫城县东北大学图书馆），这里又名“梓金山”。
清顺治十二年（1655年）将“万岁山”改称“景山”。康熙十九年（1680年）春，康熙帝登景山眺望京师，见晨雾缭绕，霞光流云，一派春色，即作诗一首，其中有“云霄千尺倚丹丘，辇下山河一望收”之句。丹丘乃神仙居所，此处以其比喻景山。乾隆十四年（1749年），移建寿皇殿至景山正北面。乾隆帝在其《御制白塔山总记》中写道：“宫殿屏扆则曰景山。”
历史事件：
明崇祯十七年（1644年）三月十九日，李自成军攻入北京，明思宗朱由检缢死于万岁山东麓一株老槐树上。清军入关后，为笼络人心，将此槐树称为“罪槐”，用铁链锁住，并规定清室皇族成员路过此地都要下马步行。
光绪二十六年（1900年）庚子事变时，八国联军占领北京，景山受到严重破坏。法军进城后先上景山，十多人把守园门，不让日军进入，先放俄军进入后才让日军进入。在景山五亭内的佛像中，四尊被掠走，各殿陈设宝物也被洗劫一空。待帝后回銮，景山已风华不再。到宣统帝逊位后，根据《清室退位优待条件》，景山仍由清皇室使用。民国13年（1924年），冯玉祥部占领景山，架设大炮，驱逐溥仪出宫。此后景山一度荒芜，并时常有军队驻扎。