山西是典型的为黄土广泛覆盖的山地高原，地势东北高西南低。
境内大部分地区海拔在1500米以上，最高点为五台山主峰叶斗峰，海拔3061.1米，为华北最高峰，有“华北屋脊”之称；最低点在垣曲县境内西阳河入黄河处，海拔仅180米。高原内部起伏不平，河谷纵横，地貌类型复杂多样，有山地、丘陵、台地、平原，山多川少，山地、丘陵面积占全省总面积的80.1%，平川、河谷面积占总面积的19.9%。山西境内主要山脉：太行山、吕梁山、恒山、五台山、中条山、太岳山等。山西境内七大盆地：大同、忻州、太原、临汾、运城、长治、晋城盆地；此外，东部还散布着阳泉、寿阳、襄垣、黎城等小盆地。