永睦寺初建于南北朝时期，唐时扩成九重大殿，北宋再扩成十二重殿，其南北长60余丈，东西宽20余丈。