涵虚堂的前身为乾隆年间建成的三层高阁——望蟾阁，嘉庆时改建为一层的涵虚堂，是夏秋时节帝后赏月的绝佳之所。乾隆曾在此检阅香山健锐营的水军操演，一八六〇年被英法联军焚毁，光绪年间重建。慈禧太后曾在此检阅水师学堂的操演。