汉高祖十一年（公元前196年），汉高祖封武侯宣义为上军候，继而汉武帝封代共 王子郢客为上军侯，后于境内置上军县，县治设团城（遗址在团圆山 东侧左家塌村）。

北魏太平真君九年（448年），置岭西县（县 治仍在团城），兼为吐京郡治。

隋开皇十八年（598年），始改名石楼（县治在全县城），沿用至今。唐武德二年（619），县境置西德州，领石楼、长寿、临河三县。后西 德州废，长寿、临河并入石楼县。明朝万历四十年（1612年）由平阳府隰州划归汾州府。

民国元年（1912年），县属山西省府。抗日战争期间，县先属第六政治区，后属第四行政督察专员公署，是第二战区少数几个后方基地县之一。

民国三十四年（1945 年）9 月28 日，石楼县人民政府在李家寨成立，先后属晋绥边区吕梁四专署、晋绥九专署、晋南行政公署。

1949年10月1日改属汾阳专署。

1951年3月改属临汾专署。

1971年三月划归吕梁地区。