传说为唐代侠客，即挟持李益和霍小玉相见的豪士。因穿黄衫，故名。见唐蒋防《霍小玉传》。

清俞蛟《潮嘉风月记·丽品》：“柳南以世无黄衫客，恒鬱鬱。”