張掖大佛寺初建于西晉，原名“迦葉如來(lái)寺”。東晉隆安五年（401），沮渠蒙遜建北涼于張掖，迦葉如來(lái)寺正居張掖城南景門(mén)之內(nèi)，坐北面南，是北涼國(guó)都的中心寺院。約公元411年，印度著名翻譯家曇無(wú)讖到北涼弘法，在張掖門(mén)徒眾多，影響頗深。公元412年，北涼遷都姑臧（今武威），421年，曇無(wú)讖譯成《大般涅槃經(jīng)》40卷，涅槃宗自此形成，曇無(wú)讖成為中國(guó)涅槃學(xué)的宗師，張掖大佛寺也便是中國(guó)涅槃宗的重要發(fā)祥地。
 

1962年12月20日，甘肅省人民委員會(huì)公布張掖大佛寺為省級(jí)文物保護(hù)單位，甘肅省文化廳隨后派文物工作者對(duì)大佛寺藏經(jīng)進(jìn)行了清理登記，并采取保護(hù)措施。“文化大革命”期間，大佛寺先后經(jīng)歷了學(xué)校、公安局、劇團(tuán)、體育委員會(huì)的建設(shè)利用。

1970年曾在地下大范圍開(kāi)挖防空洞，寺院古建筑和文物遭受了極大地破壞，原有建筑僅存大佛殿、藏經(jīng)殿和土塔3座。

1979年9月甘肅省文化廳撥款維修大佛寺，并正式由文化館管理并對(duì)外開(kāi)放參觀。

1985年后，張掖地區(qū)、張掖市政府撥款遷入古建筑7座。

1987年成立張掖市博物館，駐大佛寺辦公。張掖市博物館成立后，負(fù)責(zé)大佛是寺文物保護(hù)管理、古建筑維修、對(duì)外開(kāi)放工作，并籌建了歷史文物、古代書(shū)畫(huà)、佛經(jīng)等幾個(gè)展廳，開(kāi)展文物收藏、展覽和研究工作，大佛寺的社會(huì)、經(jīng)濟(jì)效益逐年提高，影響不斷擴(kuò)大，成為張掖市對(duì)外開(kāi)放的重要窗口之一。20世紀(jì)90年代以后，由于國(guó)家領(lǐng)導(dǎo)人對(duì)大佛寺的文物保護(hù)和建設(shè)發(fā)展的不斷重視，中央財(cái)政共撥款1605萬(wàn)元，對(duì)大佛殿十大弟子進(jìn)行了扶正，修建文物庫(kù)房1座，仿古建筑2 座，并對(duì)大佛寺區(qū)域的基礎(chǔ)設(shè)施進(jìn)行了全面改造，大佛寺為之煥然一新。

1996年11月，張掖大佛寺被國(guó)務(wù)院公布為第四批全國(guó)重點(diǎn)文物保護(hù)單位。

1999年，大佛寺所在的張掖市博物館被國(guó)家公安部、國(guó)家文物局公布列為國(guó)家一級(jí)風(fēng)險(xiǎn)等級(jí)博物館。