38军是由东北人民解放军第1纵队改编而成，隶属第4野战军第13兵团建制，第一任军长为开国上将李天佑，政委梁必业兼政治部主任，副军长曹里怀兼参谋长。
第1纵队在东北作战部队中是林彪最倚重的战斗主力。有人说，李天佑是林彪的爱将。其实，他是邓小平领导的广西百色起义拉起的红7军部队出来的。
1928年平江起义后，彭德怀率起义部队上井冈山，组建红5军。1931年7月，红7军主力到达兴国县，划归红三军团。红7军特务连长李天佑随军归于彭德怀的麾下。长征路上，红三军团改称红3军。长征到达陕北后，红三军团番号取消，仅保留红4师，归红一军团指挥。1937年8月，红4师随红一军团改编为八路军115师686团，李天佑担任该团团长。
这个团就是后来38军的前身，李天佑可以说是这支部队的老领导。
解放后，李天佑离开38军，先后在广西军区、广州军区和总参谋部担任领导职务。原47军军长梁兴初调任38军军长。抗美援朝战争爆发后，梁兴初率38军打出了一个“万岁军”的美誉。
朝鲜战争后期，梁兴初因病回国休养，中央军委任命原38军副军长江拥辉为38军军长。
1957年10月，开国少将刘贤权成为38军第四任军长。
刘贤权是一位军政皆优的战将！1947年时，林彪和罗荣桓调他任1纵3师政委，次年3月再调他任1纵政治部主任。可是，爱打仗的刘贤权还是喜欢搞军事，不愿搞政治工作，两次要求从政治部主任降为师长。结果，1948年9月，他终于回到了3师任师长。
在之后的战斗中，刘贤权率领的3师一直是38军【原1纵】的主力之一。
1960年，刘贤权调任沈阳军区任参谋长，原第40军副军长邓岳任38军军长。1964年8月，开国少将李光军接替邓岳任38军第6任军长。
李光军将军也是从战斗中打出来的战将！抗战中，他先是在地方部队任军事干部，后来地方部队划归了八路军，他历任连长、营长、副团长、团长、师长、副军长、军长，战争年代的他，一直带兵在第一线作战。
1968年10月，李光军调离工作了4年多的38军，出任武汉军区副参谋长。接替他的是38军副军长刘海清，刘海清在1955年时授大校军衔，后来曾担任北京军区副司令员、兰州军区副司令员兼新疆军区司令员等职。
1973年2月，刘海清正式赴任北京军区副司令员。5月，朱月华接任38军军长。朱月华在1955年时授中校军衔，1960年晋升为上校，后曾担任广州军区副司令员。
之后是李连秀中将、李际均中将、徐勤先少将、张美远少将、刘丕训少将、黄信生中将，1995年至2002年为高中兴中将。
