柴维乡位于县境北部，扎曲河东岸流域，平均海拔3400米。乡辖域南与日通乡相接，西与约巴乡相接，西北部、北部与嘎玛乡、面达乡相接，东部和拉多乡相接，面积为946.19平方公里。