甘南历史悠久。新石器时代在三河一江流域就有人类开发这块亘古荒原，甘南的羌部逐渐建立自己的部落联盟或依附中原王朝。

秦时部分地方已属临洮管辖。西汉时，东部属陇西郡、北部属金城郡，设白石、羌道两县。

隋时的临洮郡、桴罕郡、宕昌郡分别管辖今甘南的西北和东南部部分地区。

唐朝初年废郡置州，甘南境内曾为洮州、芳州、迭州的全部和河州、宕州的部分，西北部属吐谷浑、吐蕃的范围。

元代属宣政院管辖，吐蕃等处宣慰司统领。

明代属陕西都司管辖，清乾隆时，州境大部属巩昌府，夏河由循化抚番厅管辖。

1913年废府设道，临潭县属兰山道，西固县（今舟曲县）属渭川道。

1928年建立夏河县、改属甘肃管辖，1937年成立卓尼设治局。

1949年9月～12月，临潭、卓尼、夏河、西固相继解放。

1952年7月设立甘南藏区委员会，1953年10月甘南藏族自治区成立，1955年7月1日改为甘南藏族自治州。州府设在合作市，是甘南政治、经济、文化中心。