由沪回粤。
直到1月16日，蒋介石才姗姗来到广州，面见孙中山。孙虽对蒋的迟迟不来有些不满，但“宰相肚里能撑船”，还是耐着性子请蒋坐下来，认真地听取他的旅俄考察汇告。蒋陈述了他对苏联不安的情绪(这也许是他临离莫斯科在车上“不尽感怆”的缘由罢)。孙中山的回答是：“未免顾虑过甚!”
此前，蒋介石曾在1923年12月15日寄给孙中山的那份《游俄报告书》中阐明自己的观点，但当即受到国民党左派廖仲恺等一些人的批评。因为蒋介石和孙中山在政治见解上发生了矛盾，对孙中山实行联俄、联共政策改组国民党极端不利。廖仲恺也认为蒋介石“顾虑过甚”，为此，蒋介石写信作答：
“对俄党问题，应有‘事实’与‘主义’之别，吾人不能因其‘主义’之信仰，而乃置‘事实’于不顾。以弟观察，俄党殊无诚信可言。即弟对兄言‘俄人之言只有三分可信’者，亦以兄过信俄人而不能尽扫兄之兴趣也。至其对孙中山个人致崇仰之意者，非俄国**，而乃国际**中之党员也。而我国党员之在俄国者，对于孙中山唯有诋毁与怀疑而已。”
这次蒋介石又当面向孙中山进一步说明，他仅赞成利用俄援和以苏联红军为榜样办校建军，但反对联俄的政策。
大元帅派中正为陆军军官学校筹备委员长。筹备委员七人：王柏龄、邓演达、沈应时、林振雄、俞飞鹏、宋荣昌、张家瑞。
中国国民党第一次全国代表大会开会期间，即1924年1月24日，孙中山委派蒋介石为陆军军官学校筹备委员会委员长，邓演达、王柏龄等7人为筹备委员。
这次代表大会中的重要事项之一，是“联俄容共”政策。为此，在24席的中央执行委员中有李大钊等，17席的候补中央执行委员中有**、张国焘等中**员容纳在内。这标志“国共两党第一次合作”。
此外，还推动有一个重要政策，就是创设“黄埔军官学校”。
对于建校，蒋介石于1951年4月所撰《过去军事教育的检讨和高级班成立之目的》及1969年3月所撰《革命历史的启示和革命责任的贯彻》中写道：
“总理内度中国之情势，外审世界之潮流，认为‘从根本着想，非整理党务，不足以及时奋起。’‘救亡之策，必先事吾党之扩张。’于是，乃于1924年1月召开本党第一次全国代表大会于广州。其目的，即在使‘本党重新担负起革命的责任’。一方面固然是要打倒军阀，一方面则尤其是要驱逐军阀所赖以为祸之烈的帝国主义，并主张废除不平等条约，‘为全国人民谋一生路’，主张‘召集国民会议，以谋中国之统一与建设。’”
“同时，即着手黄埔建军，培养革命的武力，并要使此革命的武力与国民相结合，赋予打倒军阀、又进而驱除帝国主义的使命。”
“我有一个志愿，就是希望我毕生能够办一个军事学校，照我自己的理想来训练一般有志的青年，完成建军、建国的使命。而且当时相信我这一个志愿如果实现，中**事教育一定可以成功。在这一种军事教育制度之下训练出来的官兵，不仅能够完成北伐，统一中国，并且还可以建立现代化的军队，建设现代化的国家。”
“其时，总理由于屡次革命失败的经验，认为会党和地方性的军队决不能形成建国的力量，坚决地主张要由本党自己来开办军官学校，训练军官，成立党军。……所以，我在民国十二、十三年之间，什么事都不愿做，而只要创办军官学校，教育全国青年军人，为我唯一的志愿。”
大元帅指定黄埔旧有广东陆军学校与广东海军学校为陆军军官学校校舍。
黄埔，是在广州的东面，由珠江顺流而大约10公里多一点距离之处的江心洲，一旁靠近长洲要塞，不啻是广州咽喉的要冲之地，也是训练军事干部的适当场所。同时，因为它靠近大都会，便于接受新思潮；背靠内陆面对大海，视野开阔，有利于培养军人的情怀；既是广州咽喉要冲，又能时刻呼唤军人的警觉。
分配各省区招收学生名额，拟定共324名。
假定东三省、热河、察哈尔共50名，直隶、山东、山西、陕西、河南、四川、湖南、湖北、安徽、江苏、浙江、福建、广东、广西，每省12名，共168名，湘、粤、滇、豫、桂五军各15名，共75名，本党先烈家属20名，尚余11名，另招备取30~50名。
当时，各省多为军阀所割据，不能公开招生，故而委托出席第一次全国代表大会的各省代表秘密介绍革命青年前来应试。结果报名投考者将近3000人。
应招投考第一期的学生，以广东省籍为最多，其次为邻近的湖南、福建、云南等省，合计达1200人。报考的学生中，有三分之一为中学及大专学校专业。籍贯偏于南方各省，是由于虽则秘密招生，但仍然受到军阀妨碍。军阀们唯恐培育出强大的革命军，故而都在瞪着眼睛监视本省青年，不使进入军官学校。举一个最显著的例子来说，贵州督军周西成就曾下令不准本省所有的青年出境。
偕邓演达往石井视察兵工厂。
当时最突出的问题是经费和装备都很缺乏。
成立之初的军官学校，在任何一方面都是荆棘载途，步履维艰。在外面，有陈炯明、洪兆麟、邓本殷等叛军环伺着军校的一举一动。在革命军内部，又有杨希闵(滇军)、刘震寰(桂军)等军阀滥施权力，强横支配广东财政，为所欲为。这些内外敌人都因为极端恐惧军官学校训练成功，而一致对此关心。他们或在公开或在暗地扼制着军官学校的经费来源。
在许多困难之中，最困难的是枪械的供应。当时，广州有石井兵工厂制造枪械，该厂实权被滇、桂军阀控制，所生产的兵器，都落到了他们的掌握之中。军官学校在新生于5月初入学之际，所得到的枪械，还是只有不足半数的230支。子弹也没有，简直是徒手状态。
黄埔军校要开设而无军械，这怎能行，于是蒋介石偕邓演达事先去石井兵工厂想办法。厂长马超俊为国民党员，肯大力帮忙，不久即秘密运来步枪500枝。所以日后蒋介石不仅可以夸言“我个人亲自指导出来的”黄埔一期学生约500人，而同数的步枪，也是他第一笔本钱。
据第一期学生邓文仪称，军校刚成立，即有断炊之虞。王柏龄也说及为了经费，蒋介石常亲身出面向外借钱。有一次借来尚是汪精卫夫人陈璧君之私蓄，日后加倍奉还。
赴肇庆参观西江讲武堂，对学生演说。
附蒋介石演说节录
今天来到肇庆，得以参观讲武堂，与诸位同志相见，觉得十分慰快。但同时有一种极沉痛的感想发生，因为你们邓前师长是我的一个至交，并且是十数年的同志，今日不能与他同来参观贵堂，实在是最悲伤的一件事。当邓师长在时。我常常与他商议两种计划，一为在兵工厂创设炼钢厂，一为开办军官学校。当时因为种种困难，不能照计划实行，延迟至今，差过了几年光阴，诚属可惜。但今日此地已有讲武堂的设立，足见你们的李督办(济深)及西江各军官长，在此困苦艰难之中惨淡经营、刻苦奋斗、不可多得的成绩。你们邓前师长后起有人，虽死犹生，这又是很可安慰的。我此次由省城到肇庆，一路看见交通阻滞、民生凋残、一片凄凉的景况，触目惊心，想起来真是十分难过。凡此种种，皆是我们革命军应任其咎的，与我们革命的本愿实在是大相剌谬。……我这次参观贵堂，承盛情招待，我且不感谢各位同志，我要先问诸君来讲武堂肆业是为什么。……我以为诸位同志将来毕业以后，有两种责任，一种是改良军队的责任，一种是实行三民主义的责任。……我们革命数十年，到现在仍未达到最后的目的。自民国以来，在北京政府做伪总统的人，如袁世凯、黎元洪、冯国璋、徐世昌、曹锟，没有一个不是为帝国资本主义的列强作傀儡，来压迫我中国自己的民族。假使外国列强不借款给他们，不卖枪械给他们，他们的伪总统无论如何做不成，种种卖国事业他们绝对不敢去做。照这样看起来，捣乱中国，使中国内争延长，至今不能组织一良好政府的人，不是中国北洋的军阀，实在是外国帝国资本主义的列强。他们站在北洋军阀的背后，操纵一切，嗾使他们扰乱，使中国陷于长期的混乱，竟致我们中国现在不能做一个真正独立的国家。中国不是独立国家，是什么呢?实在说起来是一个帝国资本主义国家的半殖民地。例如最近广州关税问题，按一国主权独立自由处分其管辖境内一切事物的原则，我们政府应有自由处理关税之权。但只知不问公理的英、美、法、日等国，竟派遣军舰进泊白鹅潭，表示横暴无理的威吓，欲干涉我政府行使职权，他们在中国的凶恶势力，可谓达到沸点了。凡我血气男儿，爱国同志，提及此事，没有不怒发冲冠、恨入骨髓的。所以本党革命，首先要破坏在北洋军阀背后发纵指示以捣乱我国家的列强势力，然后中国民族乃有独立的希望。民国元年，本党推倒满清帝政，建立共和民国，一般人都说三民主义中的民族主义可算做到了，其实不然。因为民族主义与种族主义是不同的，辛亥年中国革命党推倒满洲种族，只可算种族主义成功，不可算是民族主义成功，亦只可算帝制推翻，决不可算是民权主义成功。这种地方，应该要解释明白才好。……诸位既然明了以上的理由，还要彻底明白本党的主义，这个主义不是各个人能力所能实行的，所以我们要组织这个中国国民党。凡是革命的人，应该统统加入这个党，团结大多数的力量，来对抗敌人。果能如此，我们的三民主义没有不能实行的道理……
具禀总理，并呈中央执行委员会，统筹办学校职，径离粤。
蒋介石在国民党一大前没露出头角，就连中执委、中监委也没有入选。只是在大会闭幕后的2月3日，孙中山才任命他为中央执行委员会下属的军事委员会中的一个委员。特别是孙中山要蒋介石专心筹办军校，不必过问党务和军政大事，这对蒋介石无异是个很大的打击，使他“终日不安，如坐针毡”。因为蒋介石自命跟随孙中山多年，不仅在军事上有过贡献，而且对孙中山本人也是有功之臣。于是老毛病又犯了，2月21日，他又一次以辞职相要挟向孙中山和中央执行委员会呈递了辞办军校的呈文，没等孙中山和执行委员会批准，蒋介石就擅自离开了广州，回到奉化去了。
邓演达衔总理命，来奉挽我回粤。
孙中山将建立自己的革命军队的希望，完全放在创办军官学校上面，军校已经开始筹办，蒋介石突然擅自离职，使孙中山很着急。2月23日孙中山委派廖仲恺代理蒋介石为军校筹备委员会委员长，抓紧筹备工作。24日又派邓演达专程去奉化请蒋介石回粤。