隋开皇二十年（公元600年）割云州之榆林、富昌、金河3县另置胜州，治所在榆林（内蒙准格尔旗二十连城乡所在地黄河南岸的台地上）。炀帝大业五年（公元609年）将胜州改为榆林郡，辖区不变。唐初，仍置胜州，领榆林、河滨2县。唐末，胜州城为党项所占。916年，辽兵攻入胜州，挟迫城内百姓迁往黄河东北岸的东胜州，胜州遂废。