缫舍乡位于浙江省安吉县西部，赋石水库尾部，东与孝丰交界，南接杭垓镇为邻，西北与安徽省广德县交界，东毗赤坞乡，西邻永和乡。