熊式辉与日军会议后回报历受日人狰狞威逼，不胜愤慨。余慰而叹之曰：
“日本军人之作风如此，日本国家与人民将不胜其忧患矣!岂天将祸我东亚乎?”
1928年5月3日，发生济南惨案。这是中日两国最初正面发生的军事冲突，也是成为中日长期战争序幕的不幸事件。
第二次北伐的第一集团军贺耀组第三军团于5月1日进驻济南。在日本首相田中义一导演下，5月3日发生济南惨案，用割鼻、削耳、挖眼等残无人道的兽行，残杀我国外交人员蔡公时等16人，骇人听闻。
事件的肇端是这样的：当天早晨，有国民革命军第四十军(军长贺耀组)所属士兵1人生病，经战友送往中华民国外交部山东交涉署对面的基督教医院(在城外商埠区)治疗，日本兵阻止通行，由于语言不通而发生争执。虽然就只是这么一点小事，可是对于正在等待着挑衅机会的日军來说，就是很好的藉口。他们不问情由、不待理论便突然开枪，当场有革命军士兵及役佚各1人中弹毙命，其余的人侥幸逃入医院；日军则将医院包围，用机关枪乱射，一经点燃战火，便在全市展开枪击。
根据日本方面资料记载，陆军省于5月13日发表的《济南事件概要》，则是这样的说法：“3月上午9时半左右，日本人吉房长平在麟洋门外的满洲日报代销所中，有中国兵二三十人闯入，日本领事馆巡查冈田繁一立即前往该处，反而被中国兵殴打，是故乃由条川好春中尉率领自天津调來济南的一部分日军赶到现场，中国兵则进入附近兵营，兵营岗哨首先向日军开枪，日军不得已而还击。以此为开端，中国兵乃在各处同时开始攻击。”
惨案发生当时，蒋介石便同日军司令官福田彦助联系交涉，以免事态扩大。要求日军赶紧派人到我军总司令部來，日方不干，最后决定由双方派代表在中间地点――津浦铁路办事处进行交涉。
国民革命军方面的代表是熊式辉，日方代表则为参谋长黑田周一。
熊式辉是日本陆军大学的学生出身，他同福田司令部的参谋长(黑田)，和许多参谋都是同学，他又懂日本话。
可是交涉时，日方横蛮侮辱中方代表，其情形难以用言语形容!
日军所提出的停战条件是：(一)凡济南商埠(在城外)街道，不许中国官兵通过。(二)胶济路(青岛―济南)、津浦路(天津―济南―浦口)不许中国运兵。(三)中**队一律退离济南20里之外。
熊式辉表示：“这是重大问題，须向总司令请示，我不能签字。”避开立即答复；黑田周一等人则强横地说：“你不是代表蒋介石來的吗?应该可以马上签字的。”
就在这交涉的时间内，日军的挑衅行为越发加强，甚至用大炮射击过來，每两分钟发射一炮，把革命军的无线电台、交通机关统统破坏。
“这种炮轰，就是他想威吓我们会议代表和一般官兵，压迫我们军队向南撤退，以达到他们阻碍我们革命军不能越过黄河北进的目的，使革命军不能攻占北京，完成北伐，而使北洋军阀仍能割据河北，在日军保护下坐大。――这样就可使华北永远置于日军操纵之下。”〔蒋介石《誓雪五?三国耻》(1929年5月)〕
熊式辉拒绝签字坚持到底。等到他把日军方面的三个要求带回司令部时，已经是凌晨5时。
熊式辉的报告是这样的：“照现在的情形看，日本一定要与我们开战。我们只有两条路，一条是决心和他决裂，对抗应战；一条是忍辱一时，避免冲突，避免牺牲，将來再作计较。”熊的后一条路显然与蒋相一致。
如有一毫人心，其能忘此耻辱乎!何以雪之，在自强而已。
有雪耻之志，而不能暂时容忍，是匹夫之勇也，必不能达成雪耻之任务；余今日暂忍为人所不能忍者耳!
在济南城撤退的时候，仍有李延年团一团步兵及苏宗辙旅之一部分(计3000人)留在城内。
本來，对于中国领土的济南，当然不能轻易予以放弃；而且如果在济南城内沒有中**队，那么日军就一定会以“济南沒有军队维持秩序，所以不得不派兵担负维持秩序的任务”为藉口，而曲解其派兵是正当的。
不过，在被日本大军包围的城内，留下少数兵力，当然是非常危险的事。可是为了保护本国国民与土地，是必须要付出不得已的牺牲的。像这样，日军如果正式发动攻击來夺取济南，那么，他野蛮横暴的侵略行为就会暴露于全世界。
“我告诉李团长，你至少要固守两天以上，并且一定要等到日军真正向我城内來强行进攻之后，你才可自动的与苏部向泰安方面撤退。我留一架无线电报机给你，随时与我直接通电，听候命令。”〔蒋介石《誓雪五三国耻》(1929年5月)〕
果然，到了6日夜间，日军就对济南城发动了总攻击。
“我在离城30里(约17公里)的党家庄，日军枪炮的声音，都听得很清楚。想到我们的人民和军队有很多牺牲，十分痛心。”（同上）
当日军开始攻城之际，蒋介石便电令李延年自济南城内撤退，可是他们在敌军重重包围之下，退不出來。
李延年的部队打得很好，一次又一次地将逼近城垣的日军击退，不允许攻入城内。而且，只不过是4个营兵力，便阻遏住了日军一个师的攻势。
战斗持续到5月9日，日军终于放弃进攻，派人到李延年处要求停战。革命军也为避免再事流血，乃让出济南城。不料到了这个时候，日军却又表现出极其卑劣的背信行为。
“日军言明让东关给我军，保证向党家庄方面安全撤退，李团长才于9日晚与苏部由东门出城。可是不到城外3里路的处所，就被日军的机关枪伏兵在两侧乱射，我军到最后只剩得500余人回來，其余的人统统死在这次撤退的路上。”〔蒋介石《誓雪五三国耻》〕
日本兵更极尽其暴虐之能事，住在济南医院的革命军二十六军伤兵200余人被全体用机关枪射杀，连卖糖的孩童及短发的少女都被刺死。
李延年等留驻济南的部队，到了11日早晨全部撤离城内，双方正面决战的情势大致告一结束。
吾躬逢其惨，不能不为我部属痛耳!
余自定日课――以后每日6时起床，必作国耻纪念一次，勿间断，以至国耻洗雪净后为止。
事后，据调查济南惨案代表团于6月7日在南京所发表的调查报告，在惨案中死亡之中国人达3254人(其中男性2100人、女性66人、不明者1088人)，负伤者1450人。
另据日本外务省后來在同年12月向日本国会第五十六次议会提出报告：日本侨民在济南事件中被杀害者15人(包括失踪1人在内)，负伤者15人。
据报何成浚晤见福田，福田态度仍甚强硬，不可理喻，有必欲解散我第二、第三、第四各军团及对我三总指挥必欲处以严刑之要求云。是可忍，孰不可忍?攻破我之济南，在彼以为得意，不知中日两国之怨仇因此深结于人民心中而不可拔，东亚和平之基础亦从此动摇。是日本军阀之祸国殃民，乃更甚于中国之军阀矣!毒蛇猛兽豢养不除，必至反噬其主人，惜乎日本民众犹未能醒悟耳！大为中日两国民众之前途长太息也!
在李延年等部队业已自济南城撤退完毕，战火大致停熄的5月11日上午11时，蒋介石改派总参议何成浚为代表，再度进行交涉。此时向日方提出的答复是：四十军军长贺耀组业予免职，济南周围及胶济铁路20华里(约11公里)以内暂不驻兵，反日宣传并已禁止等项。
同时，对于日本方面处分其责任者的要求也未提出，表示最大的忍让。然而，福田彦助却以何成浚沒有带委任状为藉口，不承认其为代表，拒与交涉。
情况如此，已不可能寄望于由两军在当地解决问題，因此，蒋介石乃向国民政府主席谭延?报告，请循外交途径交涉，并决心继续北伐。
此际，国民政府已于5月10日致电国际联盟，要求调查事件真相，济南惨案大受国际注目。尤其是美国，且于15日在下院提出“由国务卿出面调停”的议案。
日本政府鉴于对国际舆论不能再事漠视，也于14日决定方针――不扩大战争，并循外交交涉收拾事态。遂即派遣参谋本部作战部长松井石根中将來到济南，与张群及王正廷之间进行交涉。但日本方面要求蒋介石陈谢，中国方面要求赔偿损失，意见对立，极难获得进展。
昨夜间张作霖在奉天皇姑屯为日本关东军埋设地雷炸伤毙命。今报载：奉天疑日人主使；日人则委谓系我方便衣队所为云。日人之阴狠如此，吾东北国防如何始能巩固也?
当张作霖由北京返回奉天的列车途次山海关时，黑龙江省督办吴俊升登专车迎迓，随同返回奉天。
列车行驶一个昼夜之后，于****(1928年)曙光已现的清晨，进入奉天市界。刚过城外西方京奉铁路皇姑屯站，张作霖在此即将抵达省垣之际，踱进展望车，舒徐地吞吐着晨起怡神的卷烟。
5时23分，列车正要钻过京奉铁路和南满铁路的立体交叉点。突然响起猛烈震撼奉天全市的爆炸声。张作霖所乘展望车只有车轩与车床还剩下原形，车厢四散纷飞，接在后面的餐车与卧车也都被炸成为废铁。
张作霖当即被护送到奉天城内。奉天省长臧式毅为防混乱扩大，仅对外发表被炸负伤，但实则是在上午10时死亡，终年55岁。吴俊升也立即死亡。日本顾问仪我诚也被暴风将衣服吹裂，但却只有足踝受了微伤。
在爆炸现场的附近，有被刺杀的****人尸体，手里握着苏制的炸弹。事件发生之后，日本关东军立即发表：“****人的行动可疑，经予刺杀；相信是南军(指革命军)便衣队所为。”
可是，爆炸物是120公斤左右的黄色炸药，被埋设在南满铁路的桥脚下。很多人根据直觉判断，认为像这样规模的爆炸装置，即使是有高度工兵技术的爆破者，其装置工作也得6小时左右；加以就其能计算得正好炸中张作霖所乘车厢的高度准确性看來，一般中国人固然办不到，就连日本人也恐怕只有关东军才会是具有如此能耐的真正凶手。
蒋介石是于当天在国民革命军的石家庄司令部得到消息的。
然而，虽则是关东军，也毕竟不能把阴谋隐瞒到底。在爆炸现场附近被刺的****人身份，立即被调查出來。他们是被奉天失业军人刘戴明收罗來的有吗啡瘾的游民；而刘戴明则是受到为关东军参谋河本大佐所授意的某日本浪人之所指使。刘戴明在6月3日的早晨，带了3个游民到开设在满铁附属地区之内的“福开泉”浴堂，剃头、洗澡。换上衣服，其中有一个姓王的感到害怕，乃在入浴时溜走，剩下的两个就是被刺杀而暴尸原野的人。
姓王的在爆炸事件发生后，便跑到张学良的部下那里，说出了以上情况。另一方面，“福开泉”浴堂老板也出于好奇而去看看****人的尸首，发现就是前一天來浴堂洗澡的客人。为之一惊，便急忙到奉天的日军宪兵队去报告。
两个死者手握的俄制炸弹，则被日本的在野党――民政党查出是日本奉天宪兵队长在奉天一家售货店所购买的。至此，已经可以明白推断得出：在事件背后，有关东军的存在。
虽然，在当时事件的全部真相是被不明不白地埋葬掉了，可是以上一些推断的正确性，则到了第二次世界大战后，根据远东国际军事法庭的调查、审判、乃至日本方面所公布的新发现的一些资料，得到了明确的证实。