他还亲自抓了各总部、各军兵种机关、军事院校和各大军区领导班子的配备工作。２０多个单位的领导成员，他一个一个地了解情况，一个一个地研究，花费了大量的时间和精力。他虽然年事已高，但每次研究情况时，总是端端正正坐在办公桌前，细心地听汇报，记笔记，考虑意见。即使时间再长，身体再累，他也坚持到底。按照他的意见，对于那些追随“四人帮”干坏事的人，不管其职位多高，也必须坚持将其从领导班子中清除出去。对于那些受林彪、“四人帮”迫害而又有领导能力的老干部，以及那些经过斗争实践考验且年富力强的干部，则坚决把他们安排到领导班子中来。叶剑英对军、师、团各级领导班子的配备，也提出了具体的标准和要求。所有这些，对从组织上保证人民军队领导权掌握在忠于马克思主义的人手里，使军队沿着无产阶级建军路线的轨道前进，起到了决定性作用。
１９７７年７月３１日，叶剑英在中共中央、国务院、中央军委召开的隆重庆祝中国人民解放军建军５０周年的大会上，发表了重要讲话。在这个讲话中，他回顾了人民解放军在中国共产党和毛泽东的培育领导下，战胜国内外强大敌人的光辉历史，全面系统地论述了毛泽东军事思想。他把毛泽东军事思想的内容概括为人民军队、人民战争和人民战争的战略战术三个方面，并分别作了具体阐述。他在讲话中，批判了林彪、“四人帮”破坏军队建设、毁我长城的罪行，并初步总结了粉碎“四人帮”近一年来军队拨乱反正的经验，提出了人民解放军在承前启后、继往开来的历史时期的光荣任务。他要求全国人民和解放军全体指战员，抓紧时间，加快速度，加强军队建设，加强民兵建设和人防建设，加强国防科学研究和国防工业生产。要认清形势，增强战备观念，充分做好反侵略战争的准备。要同台湾同胞一起，早日完成解放台湾、统一祖国的神圣大业。叶剑英的讲话，使全军指战员和亿万民兵受到了极大的鼓舞和教育。