Les travaux de construction ont commencé en 1694 sous la Dynastie Qing. Il servait à l'origine de résidence officielle pour les eunuques puis pour le prince Yongzheng (Yin Zhen). Après l'accession de Yongzheng au trône en 1722, une moitié du bâtiment a été convertie en lamaserie pour des moines de bouddhisme tibétain.

Après la mort de Yongzheng en 1735, son cercueil a été placé dans le temple.

Le temple survécut à la Révolution culturelle grâce à l'intervention du Premier ministre Zhou Enlai. Il a été rouvert au public en 1981. Une plaque à l'entrée de la première cour rappelle aux visiteurs la protection de Zhou Enlai.

Une salle latérale à l'est de la troisième cour expose des souvenirs des 14 Dalaï-lama et rappelle la longue durée des rapports entre l'empire chinois et le Tibet.