楚江乡位于临武县西北部，距县城12公里，海拔高度：395米。南邻武源乡、花塘乡，北抵万水乡，西接蓝山县新墟镇、田心乡，东连东山楚江与永州交界。