小孟镇因镇机关驻地为小孟村而得名。小孟村建村至少在金代。村内原有大明寺一座，清康熙十一年（1672年）《滋阳县志》记载：“大明寺在小孟，金大定六年（1166年）建。”明代称小蒙。村东首有一大土丘，传说是战国时孟尝君之墓，故村名后改称小孟。辖区内西吴寺遗址和西桑园遗址闻名于世。

清代属北达巷乡吴寺社。

1950年属滋阳县（今兖州区）第四区，1958年为共产主义公社，1962年设小孟公社，1966年改区，1986年建乡。

1996年，面积55.5平方千米，人口3.9万人，辖北门、南门、二村、北坡、后小孟、小孟后庄、北安、刘李、西吴寺、东吴寺、前吴寺、东桑园、西桑园、后桑园、陈家岗、体仁寨、沙窝、河庄、李楼、沙庄、太平、梅家营、南辛庄、北辛庄、贾家、李家桥、胡家函丈、陶家函丈、刘家函丈、张家王子、陈家王子、王家王子、白家王子、史家王子、苏家户、李家堂、郭家户、侯家店、肖家王子、梁家、王海子、李海子42个行政村。2002年7月，撤销小孟乡，设立小孟镇。