玉皇庙创建年代不详，据庙内现存明代碑刻记载：“隋时居民聚之北阜，建庙宇三楹，内绘三清神像”。

北宋熙宁九年(1076年)在原址上重建，题名“玉皇行宫”。金泰和七年(1207年)庙宇多数坍塌，当地民众曾集资修复，金贞佑年间(1214—1216年)部分毁于兵火。

元至元元年(1335年)又重建，明清两代屡次修葺，始成今日规模。现存主要建筑玉皇殿建于宋，汤帝殿建于金，后院左右垛殿和东西配庑为元建，余皆明清所筑。