生于广东省南海县石头乡。家境贫困，父亲是铁锅匠。他14岁只身闯香港，在南海老乡开的杂货铺做学徒。父亲病故，霍芝庭回广州克绍箕裘，接手父亲留下的“福利铁锅铺”。