山东和山西是相对的概念，太行山是山东和山西的分界线。
山东的山在古代有两层意思。一个是萧山，山东是秦萧山以东的广大中原地区。另一种是太行山，山东一般指太行山以东的地区。山东作为一个地理名称，始于战国时期，是一个区域性的总称。山东作为行政区划名称始于晋代，几经调整，形成了现在的行政区划。它是山西省太行山以西的地区。明代设为行省，清代有所扩展。直到今天也没有改变。
在中国的行政区划中，山东与山西不接壤，隔着河北，但人们习惯说太行山是山东与山西的界山。
