明代，有南安吴氏三兄弟迁居于山坡地上，因人丁不振，故兄弟中一人，迁居于山坡南侧，坡地下面是成片山冢地，故称：“下墓”。尔后，其地人丁兴旺，深恐“下墓”字义庸俗，即谐音雅化为霞茂。