东晋初期郗鉴镇京口时所创，时至东晋孝武帝初年，因北方前秦强大，谢玄镇广陵之时，招募骁勇之士组建军队，此时徐（治京口）、兖（治广陵）之民参军，多原为郗鉴镇京口时组建的兵力。太元二年（377），朝廷因前秦强大，诏求文武良将镇御北方。朝廷拜谢玄建武将军、兖州刺史，领广陵相、监江北诸军事，镇广陵，召募劲勇，徐（治京口）、兖（治广陵）流民帅军队纷纷应募入伍。谢玄以刘牢之为参军，常领精锐为前锋，战无不捷。太元四年，谢玄加领徐州刺史，镇京口。东晋称京口为“北府”，所以称这支军队为北府兵。