第二代导弹是20世纪50年代末至60年代中期发展起来的。这一带导弹将陆基导弹由地面发时改为地下井发射；导弹的精度也有提高。美国有陆基洲际导弹“民兵”II，水下发射的潜地导弹“北极星”A2。前苏联在此期间发展了SS-9、SS-11、SS-13陆基洲际导弹和SS-N-4、SS-N-5潜地导弹。与此同时，还发展了对付中低空目标的发空导弹。第二代反坦克导弹也提高了命中精度，同时发展了车载、挤在反坦克导弹。