香梅乡位于永兴县县境北部，距县城18公里。东与金龟镇接界，南连黄泥乡、塘门口镇，西靠衡阳市的耒阳市大义乡，北邻耒阳市上架乡。