孙乙，字次木，曾祖父孙觉，祖父孙子实，皆是北宋进士，世代居于高邮州甓社湖畔（今金湖县闵桥镇）。父亲孙术，受元祐党人碑影响，后经理学家吕本中推荐任教职。1128年，金人南侵，孙氏迁居苏州。1133年，孙乙中进士，官承务郎，为揭阳孙氏始迁祖。