古泉镇原为团山乡。据史载，明代为乡都里制。清咸丰年间，改里为团，时有团山、荀范、桃花等团。

民国初年废乡都设团山公所。

民国二十八年称团山乡。解放初，宣州设7个区，团山属寒亭第四区。

1952年为第八区，辖敬亭、长桥、三元等10个乡。

1956年成立千又乡，1957年成立团山高级农业合作社。

1958年成立红专人民公社，同年改名团山人民公社。

1961年改大公社为小公社，1966年新增屠村、团山两个大队。

1969年撤区并社。

1982年改社为乡。

1989年3月，团山乡划出桃红、桃花园、岱山、荀范、九联、邵村6村，成立古泉镇，镇址在九连山东麓。

1992年3月，团山乡与古泉镇合并，成立新古泉镇。