新石器时代在三河一江流域就有人类开发这块亘古荒原，甘南的羌部逐渐建立自己的部落联盟或依附中原王朝。
秦时，部分地方已属临洮县管辖。
西汉时，东部属陇西郡、北部属金城郡，设白石、羌道两县。隋时，临洮郡、桴罕郡、宕昌郡分别管辖今甘南的西北和东南部部分地区。
唐朝，初年废郡置州，甘南境内曾为洮州、芳州、迭州的全部和河州、宕州的部分，西北部属吐谷浑、吐蕃的范围。
元代，属宣政院管辖，吐蕃等处宣慰司统领。
明代，属陕西都司管辖，清乾隆时，州境大部属巩昌府，夏河由循化抚番厅管辖。
民国二年（1913年），废府设道，临潭县属兰山道，西固县（今舟曲县）属渭川道。民国十七年（1928年），建立夏河县、改属甘肃管辖，民国二十八年（1937年），成立卓尼设治局。
1949年9月-12月，临潭、卓尼、夏河、西固相继解放。1952年7月，设立甘南藏区委员会。1953年10月，甘南藏族自治区成立。1955年7月1日，改为甘南藏族自治州。
