简文乐祖籍广东新会，一九四七年，他出生于广州，后随家人来到香港。简文乐的父亲和祖父均是贸易商，曾祖父早年亦在日本经商。