清凉寺北魏（386年－557年）初建于寺咀塔。经过100多年的王朝更替，历经战火，唐朝贞观（627年—649年）年间，由寺咀塔迁址至古寺圪堵。在明成化（1465年—1487年）年间、万历（1573年—1620年）年间两次进行扩建，但因古寺圪堵地形砭窄，道路难行，香火一直不旺?？滴?3年（1684年），开始在清凉山大石壳动工修建，历经3年，人工凿石窑，13孔，开砭路1条。
据原石碑记载，康熙26年（1687年），有白色狐狸口衔如来佛祖牌位至龙眼泉边，当地人认为此乃神喻，由贾氏一族带头，将寺院由石圪堵迁址清凉山，后改名清凉寺。并将散建在附近的龙王、药王、眼光、马王爷收聚在此。内凿石窟，外砌砖木，飞檐挑金，金碧辉煌?？吣诒诨鞑?，栩栩如生。正殿佛祖塑像高达两丈，鎏金镀身，有文殊、菩提侍奉两旁。正殿对面有韦陀手执降魔杖，身披护金甲，左边有龙王、药王、太白金星依次排列，右边眼光、山神、地藏等依次排列。上面则是玉皇大帝端坐天庭，威震全寺。最下面是供僧人居住的地方。其时为清凉寺历史上最为鼎盛的时期，曾有僧人百余，寺管土地数千亩，耕牛十二具。河对岸有大戏楼和马王庙以及私立学校一座。清光绪年间（1871年—1908年）再次扩建，人工凿窑，砭路改建，人工凿百十台阶而上。这时的清凉寺塑像工艺超群、美观；壁画精细，栩栩如生，观赏价值极高，僧人也多，香火旺盛。
1966年，文革期间“破四旧”时，清凉寺这个千年古寺遭到破坏。文革结束后，为了恢复这一历史古迹，当地百姓自发筹资，重建庙宇。从1984年开始至1991年，历经8年时间，基本恢复了庙宇原貌。这时的清凉寺利用天然石壳而建，各庙宇内凿石窑洞，外建砖木，庙宇高险，飞檐挑角，金碧辉煌，一年四季，到这里的游客络绎不绝。
