由于唐玄宗李隆基晚年的昏聩，内用佞臣李林甫、杨国忠，外用叛将安禄山、史思明，755年造成安史之乱，国家势力一溃千里，使得伊斯兰势力进占西域，从而使中华文化近500年无法占领西域，才使得伊斯兰一统中亚、西域，造成今天的新疆各族都被伊斯兰化 。
安史之乱后唐朝势力的衰退并退出西域 。
753年前后，正是唐朝经营西域的全盛时期，但是此后随着国内政局的的剧烈变化，唐朝在西域的势力也大大衰退，由高峰跌入了低谷 。755年(天宝十四载)，唐朝国内爆发了有名的安史之乱，由唐朝蛮族将领安禄山、史思明率领的东北边疆叛军长驱南下，攻陷东、西两京，唐玄宗怆惶逃出长安，南下四川盆地 。玄宗的儿子肃宗在灵武继位之后，调集西北边军勤王平叛，守卫西域的安西、北庭节度使属下的边兵也被大批调往内地 。
据记载，756年(至德元载)有三支西域唐军被调回内地，其中李嗣业、段秀实率精兵五千，安西行军司马李栖筠率兵七千，马磷精兵三千，三支军队共一万五千人返回凤翔，参加了收复长安的战争，以后在此基础上组成了战斗力很强的镇西北庭行营 。(见《新唐书》各人传记)
除了西域边兵之外，唐朝还征发了西域各国本地的军队帮助平叛 。《资治通鉴》卷218记载，756年肃宗在征发拔汗那兵马的同时，又使拔汗那"转谕城郭诸国，许以厚赏，使从安西兵入援 。"明确见于记载的有于阗王尉迟胜率领的本国兵马五千(《旧唐书·尉迟胜传》) 。另外与拔汗那一起发兵的还有大食等国 。最晚到 757年(至德二年)正月以前，他们就已经行进到了河西地区(《资治通鉴·卷219》) 。到了758年(乾元元年)秋天，吐火罗叶护乌那多与西域九国首领来朝，请求"助国讨贼"，肃宗派他们赴朔方行营效力[《册府元龟》卷973 《肋国讨伐》，参见《新唐书·吐火罗传》] 。西域边兵大批内调，对平定安史之乱起了重要的作用，但是却大大削弱了唐朝在西域的势力 。
这时西域的外部威胁主要是大食和吐蕃，西域防御能力的衰退，给他们提供了入侵的时机 。但是大食势力并没有趁机东进，而是派兵助唐叛乱，这说明大食从一开始就无意(或无力)进入葱岭以东的地区 。对吐蕃而言，这时唐朝不仅仅是撤回了安西、北庭的边兵，而且也调回了陇右、河西防备吐蕃的军队，入侵陇右、河西要比进 攻西城便捷得多，也有利得多，于是吐蕃大举进 攻河西 。在这种形势之下，西域反而得以保全，孤军坚守了将近半个世纪之久 。
到763 年(广德元年)时，吐蕃军队已经尽陷兰、廓、河、都、洮、岷、秦、成、渭等州，占领了河西、陇右的大部分地区(《资治通鉴·卷223》) 。此后西域守军与内地的联系断绝，但仍然奉唐正朔，坚守西域(吐鲁番出土的《高耀墓志》(发掘简报见《新疆社会科学》1985年，第4期)有广德四年(相当766年)年号 。实际上广德只有两年(763-764年)，765年代宗改元永泰(765-766年) 。墓志仍然沿用广德年号，说明在765年以前就己失去联系，不知长安改元永泰 。) 。而且四镇在这时还保持着一定的兵力，765年(永泰元年)左右，河西唐军抵挡不住吐蕃的进攻，遣使前往四镇，“索救援河西兵马一万人”(敦煌文书P.2942《河西节度使判集》)，这至少说明西域的形势这时要比河西稳定得多 。
大概到了768年(大历三年)左右，西域守军又与朝廷恢复了联系，朝野上下对他们“忘身报国”的精神感动得“酸鼻流涕”、唐代宗下诏褒奖，并向西域唐军通报内地情况，赞扬他们“不动中国，不劳济师，横制数千里，有辅车首尾之应 。以威以怀，张我右掖，凌振于绝域，烈切于昔贤 。微三臣(指河西节度使周鼎、安西、北庭都护曹令忠、尔朱某)之力，则度隍逾陇，不复汉有矣 。”