双桂乡位于文成县东南部，处于飞云江中上游，东连周山乡、公阳乡，南邻平阳县怀溪、晓坑乡，西接巨屿镇，北靠金垟乡，地势东南高西北低，三面环山一水西北流，像个“V”字形峡谷区，平均海拔400米。乡政府驻地桂溪村，距县城21公里。