乡名以驻地胡宅村命名。元代时，东阳名士胡善堂为避方国珍之乱，初迁烈桥，后子孙蕃衍聚居于此，人称胡宅。古代属东阳县二十七都，驻地杨树坞。

民国期间(1912～1949)，为玉山区二十七都乡。

1950年，在胡宅和前山畈分别建政，为胡宅乡和前山乡。

1956年，两乡合并，称友谊乡。

1958年9月，为玉山公社友谊管理区(大队) 。

1961年7月，为玉山区胡宅公社。

1983年，改称胡宅乡。10月，划出前山畈、后张、榧里、岭西等4个行政村重设前山乡。11月，两乡划入磐安县。

1992年4月，两乡合并，称胡宅乡，为县直属乡。