山南是西藏古文明的发祥地之一，传说当中神猴同罗刹女结合而诞出藏民之地，历史悠久，文化灿烂。大约在四、五万年以前，雅砻一带就有藏族先民繁衍生息。先民们在鸟兽群集、果木丛生的雅砻河谷过着以树叶为衣、野果为食的群居采集生活。经过漫长岁月，逐渐学会了制作弓箭、石器等工具，学会了饲养牦牛等动物和种植青稞等作物。今泽当附近萨热村的一块土地“索当”，是传说中西藏的第一块农田。

约在公元前2世纪初叶，居住在雅砻一带的人们逐渐形成部落，早期悉补野部落的首领第一代赞普聂赤统一牦牛部落，建立联盟政权，并确立了子孙世袭赞普制度。

从第八代赞普布德贡布杰到第十四代赞普伊肖烈，在雅砻河流域的青域先后兴建达孜、桂孜、扬孜、赤孜、孜母琼结、赤则崩都等6宫，把琼结作为雅砻部落的大本营。第八代赞普布德贡布杰在雅砻地区组织民众兴修水渠，将山水引入平地，开垦出块块农田，并自制木犁耕地。第十一代赞普茹烈，制订了以二牛一日耕的地为耕地面积单位，以“推”（藏语音）为计算牲畜头数的计量单位。到第二十七代赞普拉托托日年赞时期，佛教传入雅砻河俗，赞普将“天竺”僧人带来的经书、法器称为“宁布桑娃”，供奉在雍布拉康。

6世纪左右，雅砻一带进入奴隶社会，居民已能冶炼铁、铜、银，制造金属武器。第三十一代赞普囊日松赞时期不断扩张领地，使雅砻部落成为西藏最强大的部落。7世纪中叶，第三十二代赞普松赞干布先后征服苏毗、羊同及其他小部落，统一西藏高原，建立吐蕃政权，并逐步将政治、经济、文化中心由琼结向拉萨地区转移。

唐代，吐蕃初期将全境划为五茹（后为六茹，增加象雄茹），即卫茹、约茹、叶茹、拉茹、苏毗茹。今山南市由约茹管辖。乃东县昌珠乡是约茹的统治中心，设有正副茹本管理约茹事务。赞普们经常在雅砻举行重大活动。8世纪初，今山南桑耶地方是吐蕃赞普牙帐所在地之一，赞普赤松德赞出生在这里。赤松德赞执政40余年，吐蕃势力曾鼎盛一时。同时，赤松德赞还在哈布日山下建西藏第一座佛、法、僧三宝俱全的寺院——桑耶寺，七名藏族人剃度为僧（即“七觉士”）。赤松德赞从印度和大唐请来大批高僧，在桑耶寺翻译佛经，阐释教义，弘扬佛法，为佛教在西藏的传播奠定了基础。

在吐蕃繁荣背后，广大奴隶、平民却备受苦难。869年，爆发奴隶平民起义。今山南的乃东、琼结、扎囊一带是起义军进攻的主要目标。奴隶平民起义后，在西藏形成了11个割据统治的地方势力。各割据势力互相斗争，长期混战，人民陷入战乱和灾荒不断交替的苦难之中。山南市形成以觉沃王系割据的地方势力。11世纪，玛尔巴和米拉日巴等高僧在山南创立噶举派。1156年，帕木竹巴（简称帕竹）在噶举派中独树一帜。

南宋嘉熙四年（1240年），蒙古王子阔端派兵进入西藏，后经凉州会盟等，西藏纳入元朝中央政府有效管辖，结束了西藏400多年分裂割据局面。元世祖至元五年（1268年），元朝中央政府在西藏进行第三次户口清查，将西藏地方划为十三万户。山南属十三万户的帕竹、亚桑、羊卓、唐布切、恰域的领地。帕竹万户领地约在今泽当一带，有2438户；亚桑万户领地约在今乃东亚堆一带，有3000户；羊卓万户领地约在今浪卡子县一带，有750户；恰域万户领地约在今隆子县一带，有2950户；唐布切万户领地在今琼结县境内，是当时势力较小的万户。同年，帕竹被元朝封为万户，到第五世法王扎巴仁青开始自行兼任政教职位，正式成为政教合一的统治实体。

元英宗至治二年（1322年），降曲坚赞就任帕竹万户长之职。他励精图治，兴修水利，整田积肥，发展农牧业生产，整修道路和庄房，使雅砻河谷呈现繁荣景象。元至正十四年（1354年）降曲坚赞推翻萨迦地方政权，派人向朝廷纳贡，请求封赏。元朝赐封其为掌管西藏的大司徒，接管西藏地方政权事务。大司徒降曲坚赞执政后，废除万户制度，推行封建农奴庄园制，规定宗为基本行政单位，在乃东、贡嘎等地设置13个宗，委派各宗本，并赐给下属有功之臣大大小小的谿卡。同时，在乃东扩建帕竹地方政权的宫殿王城。帕竹政权共传12代，统治西藏262年，被第悉藏巴政权取代。

明崇祯十五年（1642年），在蒙古和硕特部首领固始汗的支持下，五世达赖推翻第悉藏巴政权，建立“甘丹颇章”地方政权。五世达赖是琼结人，曾游历山南境内的多数山川寺庙。五世达赖时，山南许多著名寺院都有过较大的修缮和扩建。期间，五世达赖授予拉加里法王统治拉加里地方的世袭权，使拉加里从萨迦和帕竹政权时期的相对独立变成半独立状态，接受格鲁派约束。

七世达赖格桑嘉措执政时期，遵照清朝乾隆皇帝的谕旨，于1751年成立噶厦。噶厦下设“基巧”、“宗”两级机构。山南基巧辖10余个宗，其中乃东、琼结、贡嘎由驻藏大臣直接监管。

民国元年（1912年），西藏地方政府在山南设立基巧又称洛基，驻地泽当，辖13个宗。之后，山南的行政区域作过数次调整。山南基巧辖宗按其大小分为三等。

1951年，山南基巧辖温宗、多宗、桑日宗、隆子宗、沃卡宗、嘉玉谿卡、拉加里、觉拉谿卡、乃东宗、错那宗、桑耶宗、泽当宗、贡嘎宗、颇章谿卡、堆谿卡、琼结宗、亚堆宗、门达旺、扎期谿卡、浪卡子宗、扎囊、玲谿卡、哲古谿卡、白地宗、达玛谿卡、夏洛谿卡、拉康、麻江宗、生格宗、杰德秀共30个宗。后来划入山南加查县和朗县的加查宗、拉绥谿、古如朗杰宗、朗宗、金东谿等，当时属塔工基巧。

1951年5月23日，西藏和平解放。12月底，中共西藏工委财委派驻山南采购站。

1952年，中共江孜分工委成立，山南属中共江孜分工委管辖。

1956年8月29日，成立山南基巧办事处。至11月，下辖加查宗、隆子、乃东、贡嘎、拉加里、多宗、琼结、扎囊、温宗办事处。

1957年，所有宗办事处撤销。

1959年4月，成立山南地区军事管制委员会，下辖加查、隆子、乃东、贡嘎、拉加里、多宗、琼结、扎囊、哲古、洛热、桑日、朗宗12个宗。

1959年4月6日，成立山南军事管制委员会，对山南地区实行军事管制，领导山南的平叛改革工作，同时宣布解散山南基巧办事处及各宗（谿）政府。5月，经中共西藏工委批准，将山南行政区划为12个县，62个区，293个乡。12月22日，成立山南专员公署。

1964年，属江孜专区管辖的打隆县并入浪卡子成立浪卡子县，划给山南地区管辖，山南辖13个县。

1967年，山南地区办社工作全面铺开。

1969年3月，山南地区革命委员会成立后，取代中共山南地委和山南专署，行使党政职权。

1970年7月，地区成立革委会党的核心领导小组。

1969年3月29日，成立山南地区革命委员会。下辖12个县革命委员会。

1972年2月8日至10日，召开山南地区首届党代会，恢复成立中共山南地区委员会，撤销地区革命委员会党的核心领导小组。

1978年10月，山南地区革命委员会改称山南地区行政公署。

2016年2月，国务院批复同意撤销山南地区和乃东县，设立地级山南市；山南市设立乃东区，以原乃东县的行政区域为乃东区的行政区域。