朱元璋深知军队就是自己政治事业的坚实支柱，军队可以帮他打天下，也可以帮他看守天下，没有军队，旧王朝是不可能被推翻的。
自己的政敌也不可能被消灭，新王朝就会被风起云涌的农民起义所吞没。
总之，要想成为一个国家至高无的统治者，无论在什么时候，如果没有强大的军队做后盾，起到保驾护航的作用。
那是断然行不通的，因此朱元璋十分重视军队的建设。
朱元璋进行军队建设的起点便是募兵，这就涉及到了兵源的问题。
早在当年没有自己的队伍时，朱元璋就对兵源提出了很严格的要求。
他认为一支军队要有一支军队的纪律，无论入伍前士兵的职业是什么，只要一进入到军队里，就要按照军队的纪律来对其进行约束与要求。
必须要培养出一支能够打仗并且能够打胜仗的军队，否则要一帮庄稼汉来是不可能自立于群雄、自立于天下的。
朱元璋重视军队的纪律，他在检阅新军时，特别指出了这一点。
朱元璋恳切地劝诫将士们说：“你们原来是很大的部队，可是我毫不费事就收编了你们，原因在哪里呢？
一是将官没有纪律，二是士卒缺乏训练。
现在我们必须要有严格的纪律，进行严格的训练，才能够建功立业。”
朱元璋自起兵之日起就十分重视军队的建设，尤其重视军风、军纪和军队的素质方面的建设。
在攻下大都之后，他对军队的建设提出了更高的要求。
朱元璋认为创建一个新的王朝需要一支强大的军队，而夺取了天下之后，仍然需要一支强大的军队来进行保卫，只有这样才会使内外的敌人没有可乘之机。
无论是战时还是和平时期，军队担负的主要职责都是基本相同的，为此他一再告诫各部队将领：
有备无患，不论和平时期还是战时，都要随时准备迎击敌人。
对军事机构的改革与调整，也是加强中央集权体制的一项重要组成部分。
朱元璋登基后觉得大都督府的权力太大，在废除中书省的同时，他又采取了分权制衡的办法。
把大都督府分成中、左、右、前、后等五军都督府。
其长官为左右都督，分别管理京师及各地的卫所和都指挥使司。
此项改革在于化整为零，分散中央军事机关的权力，使军队的权力归皇帝直接掌握。
为使五军都督府和兵部能够互相牵制，朱元璋规定，五军都督府对军队无调遣权，只是负责各都司卫所军队的管理和训练，军队的调遣属于兵部。
遇有战事，由皇帝亲自派遣带兵的将领，战事结束后，将帅回朝复命，军队返回卫所。
这样的好处是使将不专兵，兵不专将，以避免将帅拥兵自立，从而威胁了朝廷。
朱元璋所建立的常备军是和农业生产密切结合、逐步建成的。
在攻克集庆以后，朱元璋主张实行屯田政策、广积粮食、供给军需。
他和刘伯温研究了古代的兵制，总结了历史经验：
征兵制的好处是举国皆兵，有事召集，无事归农，兵员素质好，来路清楚，平时的军费开支也少；
其缺点是兵员都出自农村，如果要是有长期战争，那就会影响到农业生产。
募兵制的好处是应募的多为无业游民，当兵是职业，训练的时间较长，作战能力也相对较高，兵员数量和服役时间不受农业生产的限制；
缺点是要维持庞大的军队，军费的开支是很大的，此外，招募的兵大部分来路不明，没有妻儿老小的牵挂，容易逃亡，也容易叛变。
较好的办法是扬长避短，将武装力量和生产力量结合起来，这样既可以灵活指挥，又可以避免财政出现过重的负担。
通过以情形，朱元璋和刘基共同创立了军队管理制度——卫所制，它是明代独有的军事管理制度。
在明朝时，军人有特殊的社会身份。在明代户籍中，军籍和民籍、匠籍是主要的户口。
军籍属于部督府，军人不受普通地方行政官吏的管辖，在身份、法律、经济的地位，也都是和民户不同的，军和民是截然分开的。
顾名思义，卫所是由卫和所组成的。卫即是卫指挥使司，所即是千户所、百户所。
在建制方面，如果是单一的一个郡，就设所，两个郡在一起相连则设卫。
卫所是一个个或大或小的管理基层部队的机关，就相当于现在的连、团、旅、师的建制。
这种严密的体制在历史无疑是个首创。在现实中，管理效果也是非常的好。
卫所的兵源有四种：一种是从征，即起事时所指挥的部队；
一种是归附，包括削平群雄所得的部队和元朝投降的军队；
一种是摘发，指因犯罪被罚充军的，也叫作思军，这种人在军队中是没有地位的；
一种叫探集，即征兵，是按人口比例进行的，一家有五丁或三丁出一丁为军。
前两种是原有的武装力量，而后两者则是补充的武力，特别是探集军在数量占了很大的比例。
这四种来源的军人都是世袭的，为了保障固定的军人数量，法律规定军人必须娶妻，世代继承下去。
如无子孙继承，则由其原籍家属中抽壮丁进行顶补。