桃溪位于街道中部，东连沙溪、桃陈，东南接西港，南邻下东浦，西与东沟接壤，北为董塘。周氏祖先周图溪于明成化十九年（1483）从泗水（今泗联居委和胪港镇泗和村）迁此定居，故既称“图溪”，也称“图溪”。建国改称“桃溪”。桃溪由桃内、桃外、桃新3个自然村组成，居民周姓为主，还有曾姓。