长淮街道的前身是合肥市郊区瑶海街道。

1992年11月7日，成立 “合肥市郊区瑶海街道办事处筹备组”，主要任务是配合合肥新火车站建设，做好征地转户、拆迁、安置和村民的生产生活安排。新站建设一次性征用了合肥市郊区城东乡石马坟村（长淮村）、七里塘镇胜利村、汪塘村、方庙村4个村的全部土地9021亩，85 53名农民一次性“农转非”。

1993年1月1日，将原属七里塘镇、城东乡管辖的胜利、汪塘、方庙、石马坟（长淮）4个行政村划归瑶海街道直接管理。

1993年4月17日，瑶海街道办事处正式挂牌成立，瑶海街道办事处筹备组自行撤销。瑶海街道辖区下设胜利居委会、汪塘居委会、方庙居委会、长淮居委会，辖区分别为原胜利村委会、汪塘村委会、方庙村委会、长淮村委会所辖范围。（面积8平方千米，人口2.2万）1999年7月22日，郊区瑶海街道整建制划归新站试验区代管。

2001年5月，合综试管秘[2001]1号文件《关于调整合肥新站试验区居委会行政区划的通知》，对原有的4个居委会的区域范围作调整，并重新设置6个居委会：

方庙居委会，其范围：东北至沿河路，南至铁路编组站，西南至双七路（北二环路），北至二十埠河，西北至天柱山路，面积为：3.422平方千米，主要包括瑶东新村、瑶海工业区等。

汪塘居委会，其范围：东至当涂路东侧，南至凤阳路，西至铜陵路，北至铁路编组站，面积为：1.697平主千米，主要包括铁路编组站、铁路新村、安徽大市场、磐龙小区、凤临苑等。

火车站广场居委会，其范围：东南至铜陵路，东北至双七路（北二环路），西北至张洼路，西南至站前路，面积为：1.12平方千米，主要包括站前广场、食品一条街、百川汇、宝文仓储、交警五大队等。

临泉中路居委会，其范围：东至铜陵路，东南至全椒路，西南至琅琊山路南侧，西北至胜利路，东北至站前路，面积为：0.813平方千米，主要包括新鸿安、胜利广场、新闻中心、客运总站、罗马花园一期、吟春园、玫瑰园、凯旋大院等。

长淮居委会，其范围：东南至胜利路、西南至明光路北侧，西北至皖西路，东北至临泉路，面积为：0.841平方千米，主要包括华府嘉园、罗马花园二期、管委会第三宿舍区、工商宿舍、建行营业部、新安苑、中州家具世界、瑶海家具世界、银屏花园、长淮新村、明珠广场、赵仓坊等。

胜利居委会，其范围：东北至站前路，东南至胜利路、濉溪路，西南至老铁路线，西北至张洼路西侧，面积为：0.921平方千米，主要包括五洲商城、管委会办公楼、红星机械厂宿舍及部分厂区、宝文装饰市场、长春花园、胜利小区等。

2001年10月22日，在原有的瑶海街道的基础上进行新的区域划分，设置两个街道：瑶海街道和方庙街道，瑶海街道包括：火车站广场、胜利、长淮、临泉中路4个居委会，方庙街道包括：方庙、汪塘两个居委会，将原有的瑶海街道一分为二。2002年3月6日，为区别合肥市大的行政区划的瑶海区，瑶海街道更名为长淮街道。2002年4月3日，长淮街道所属的4个居委会更名为社区：即胜利社区、临泉中路社区、火车站广场社区、长淮社区。2005年4月，三角线社区、红星村社区由瑶海区车站街道划归长淮街道管理。至此，长淮街道辖6个社区，51个居民小区。