境内历史可追溯到新石器时代，前洋、青山两村已发现有新石器至西周的文化遗址4处。宋至清属仁风里。

民国期间设过乡。山下乡革命斗争历史悠久，民国17年(1928)10月，闽北红色武装在山下消灭民团部，首次获得10支步枪。

民国35年，中共闽北地委迁驻铁坑坪洋村。

1950年10月全面建政时，山下划为第五区，下辖10个乡，驻地山下村。

1956年9月，撤区建山下乡，隶属临江区，1961年7月，成立山下公社，下辖10个大队、2684户、11414人。

1964年人口普查为11733人。

1982年人口普查为15525人。

1984年9月2日，改制为乡。

1985年5月10日，枫溪等7个村析出，山下乡改辖9个村委会、96个村民小组。

1990年人口普查为有9777人。其中畲族15人，瑶族1人，其余为汉族。2000年11月1日人口普查时有8249人。2000年末下辖9个村委会、96个村民小组，人口2498户、9823人，其中男性5319人，非农业人口293人。2005年，据县公安局提供资料，山下乡2797户，10207人，其中男性5457人。