1928年，南方北伐军之势已不可挡，奉系所属部队纷纷北撤，北伐军开到济南，日本出军进行野蛮干涉，济南事件由此发生。

4月中旬，孙（传芳）、鲁（张宗昌）两军在鲁西、鲁南战败时，日本政府即调天津、青岛一带日军开往济南，并动员熊本第六师团由门司出发。4月25日，该师团斋藤旅开到青岛后，即向济南出发。此时日舰集中青岛者达32艘之多。日本政府分别向南北政府致送觉书，说明日本出兵保护在山东的日本侨民，一俟战争停止，即当撤退。南北政府分别提出抗议，反对日本出兵。

30日张宗昌逃走后，济南日军在城外商埠区布置沙包，铁丝网等防御工事，第十一旅团司令斋藤公然张贴布告称，无论何军闯入日军警戒区内，一律勒令缴械。5月1日，第一集团军第一、第九、第四十等军开到济南，刘峙，陈调元、贺耀祖三总指挥也都先后入城。2日，蒋介石由泰安赶到，即在督署旧址设立总部，并派方振武兼任济南卫戍司令。晚间十时，外交部长黄郛应召到济南，以商埠区津浦路局为临时办公地点。同日，日军第六师团长福田彦一也到了济南，在正金银行楼上设立司令部。当天日军哨兵一律撤退，所布障碍物亦已拆除。

3日上午9时，第四十军宣传队在商埠四马路纬一路口魏家庄张贴标语，日军出而干涉，并开枪射击，击毙军民十余人，随后又到附近牌照税局围缴第四十军李益滋师的枪械，将该师一团人圈禁于邮政局内。蒋得到消息后，立刻下令禁止中国军队开枪还击，并派黄郛负责交涉日军停火。黄郛由总部回到路局时，站在短栅栏外的日兵忽然放了一阵排枪，随即一拥而入，黄急忙上楼开窗叫他们不要动武，有话可以商量。即有日本宪兵富田走上来，声称黄郛所携卫队二十余人必须交出武器。黄出示本人名片，告以外交人员随身卫土从无被缴械的先例，富田打电话向上级请示后，一面挥手叫楼下日军退出，一面要黄到日军司令部一谈。

黄到正金银行时，福田并不接见，派参谋长黑田告黄，华军仍有抵抗行为，必须迅速停止。黄打电话报告蒋介石，蒋又立刻下令严禁华军抵抗日军，且须一律退出日军的警戒区。当天商埠内华军因奉令不许抵抗而被日军包围缴械，津浦路路警也被缴械，黄郛被逐出路局，迁往总部办公，所携卫士只许徒手退出。日军认为形迹可疑之人，如南方口音和身着中山装者，多被屠杀，日军枪声到午后六时才逐渐停止。

晚间11时，日军又在警戒区内布置障碍物，并派梭巡队搜索界内华军，一时枪炮声大作，军民又死伤多人。蒋命师长熊式辉往日军司令部交涉，黑田竟大肆咆哮，并压迫熊签字承认，到4日上午七时为止，南军如在日军警戒区内尚未退出，听凭日军处置。当时济南人民听得大炮声五发和爆炸声多起，这是日军炮轰长清无线电台的声音，守台华军全部牺牲。

伺晚，日军二十余名借口在交涉署门外发现日侨尸体两具，即涌入署内，将当天接事的济南交涉员蔡公时及所属职员十二人集体屠杀，并将蔡的耳鼻割去。

4日清晨，日军警戒区内已无华军踪迹，但是日军枪炮声仍未停止，交通也未恢复，局势仍极严重。日军岩仓旅团也由青岛开到济南，日本政府继续从关东、朝鲜等处调兵到山东来。黄郛虽向日本兼外相田中提出抗议，但措词非常软弱，仅仅要求济南日军停止炮击，并将该军撤退。截至四日止，中国军民查明死亡者有一千余人，伤者不计其数。日本方面，根据东方社自己的报道，日军将士受伤者仅30人，并无一人死亡。日军毫无死伤。这天济南英、美两国领事曾经出面调停，日军置之不理。

5日，日军飞机十余架飞抵济南，投弹阻止南军继续开入济南。蒋得到冯玉祥乘车前来的消息，即下令各军一律从济南城退出，仅留第一军一营及第四十一军一团为卫戍部队，负责维持济南治安；又以防共为名，下令阻止人民举行反日运动，严厉取缔一切“有碍中日邦交”的标语和宣传文字。同时，致函日军第六师团长福田称；“三日不幸事件发生，本总司令以和平为重，严令所属军队全数撤离贵军所强占之设防区域。现在各军已先后离济，继续北伐，仅留少数部队维持秩序，本总司令亦于本日出发。盼贵军立即停止两日以来之一切特殊行动，借固中日两国之睦谊，而维东亚和平之大局”。由于铁路中断，蒋无法乘车南行，只得偕同黄郛乘马绕道到党家庄车站与冯相见。会谈后冯乘车回河南，蒋即留驻该地。

6日，日军飞机继续投弹轰击南军。蒋命黄郛先回南京，催促南京政府将日军强占济南事件提交国际联盟解决。

7日，日本田中内阁通过军部所提的“军事占领胶济路”一案，奏报日皇裁可，续调名古屋第三师团开往胶济路沿线一带(师团长安满中将)。这是日本对华的第三次出兵。同日，济南日军司令福田于正午十二时向蒋介石提出最后通牒：(1)济南肇事华军，须全部解除武装；(2)严惩肇事军队长官；(3)停止排日运动；(4)济南城及胶济线周围二十里内，严禁华军侵入；(5)辛庄、张庄华军限于十二小时内撤退。以上条件，限于十二小时内答复。

蒋接到通牒后，惊慌失措地连打电报催促王正廷、何成溶赶到济南办理对日交涉，未到前派战地委员会委员长蒋作宾到济南日本领事馆先作口头回答，对日方所提条件大体上可以接受，又电令在东京的张群迅速晤见田中，表示中，日间一切问题都可以通过外交方式和平解决。

福田因为蒋介石不亲自出面投递降表，却派一个无足轻重的人物前来搪塞，不禁冲冲大怒，8日凌晨4时派兵占领火车站、电报局、电话局及济南周围险要地带，并向普利门进攻。济南商会要求代理卫戍司令苏宗辙开放城门(外城)，日军即占领西关，南关，并向内城开炮迫令守军退出。守军奉有命令不许还击，但因未奉命令又不敢撤退。当天蒋派熊式辉由党家庄冒着日军炮火进城，向福田面递回文，承认了惩办肇事长官、济南及胶济沿线二十里内不驻兵等条，又称济南须留少数部队维持秩序，要求日军勿再阻断交通，其余一切问题，可用外交方式解决。福田怒容满面地在回文上大书“不可，不可”四个字，即拂袖而入。下午，日军占领张庄、辛店，方振武军不放一枪向党家庄退走。四时后，日军由白马山进攻党家庄，蒋向泰安退走。

日军炮轰济南城后，蒋即下令济南守军全部退出，“不留一兵一卒，表示我军对外毫无敌意”。又令各军必须“力持镇静，忍辱负重”，避免与日军发生冲突。由于全国人民不顾反动政府的高压，仍然出现了“对日抗战”、“经济绝交”的呼声，蒋又一再通电禁止人民群众举行集会和游行示威，“违者军法从事”。蒋的撤兵命令因为电信机关被日军占领而无法传达，不得已派飞机传达命令，又被日军飞机击回。是日，济南城内华军一团一营陷于进退维谷的境地，在日军的重重包围之中。

9日，日军在普利门城垛上继续炮轰城内督、省两署及卫戍司令部，并派兵破坏滦口铁桥及张夏至党家庄之间的铁路。入夜，炮声更密，火光烛天，城内居民躲在家里不敢出来，整夜看见日本飞机投下来忽明忽灭的照明弹，听到轰轰隆隆的大炮声。蒋介石认为这次济南事件是由第四十军兵士与日军发生冲突引起的，为了表示接受日军所提惩办肇事长官的条件，下令罢免贺耀祖的本兼各职，派毛炳文继任第四十军军长，谷正伦继任南京卫戍司令，方鼎英继任第三军团总指挥。又派何成溶乘中山号铁甲车到济南，行抵ND437山，前面铁桥已被破坏，于是步行入城会见了日军司令福田，说明日军所提的五个条件都已实现，请求停止攻城。福田冷酷地回答说：“我所愿意接见的代表，乃是受有贵总司令的全权委托，来此全盘接受条件者，否则不必空劳往返。”

到了这个时候，蒋认为一切事情都完了，唯一的办法只有退回南京，与北军划江而守，维持半壁苟安的局面。他把嫡系第一军团所属部队调回泰安，大汶口一带用以自卫，因此前方各军纷纷退下来，在泰安设立通信处或联络站，大家都不知道今后将要怎样办。十分明显，如果北伐军退回南京，必然会引起外交上和军事上更大的变化，南京政府将因此而全盘瓦解，连半壁苟安的局面也不可能维持下去；而在此时期，奉鲁军已经无力继续作战，张作霖9日下了停战撤兵的命令，北伐任务很快就可完成。

在这种情况下，南京政府推谭延闿乘车北上，阻蒋南行。10日，蒋、谭在兖州举行车中会议，谭提出各方面的意见，认为济南问题可以留待将来用外交方式解决，北伐军事仍应继续进行。最后决定，各军绕道渡河北伐，第二集团军孙良诚部由东阿、平阴渡河，第一集团军分别由济南北雒口、淄川北鸭旺口、长清北齐河口渡河。但是蒋介石已经成为惊弓之鸟，对前途完全丧失了信心，他不敢亲自出马，要把北伐任务交给冯玉祥去完成，愿意将山东地盘让予冯军，于是下令渡河各军一律归冯指挥，并以冯部孙良诚为山东省政府主席。

谭延闿于10日以国民政府主席名义电请国际联盟召开理事会解决济南问题，由于各国均未承认南京政府，国联置之不理。12日，谭又电请美国总统柯立芝调解中日争端，美国虽有意插上一手，但是日本却采取了拒绝第三国干涉中日问题的态度。

由于攻城战迄未停止，10日济南商会召集各界人土举行会议，要求守城军司令苏宗辙开放东、南两门，让城内居民出城逃难，苏却害怕日军乘势入城，拒而未允。其实，苏已经接到了蒋介石的撤退令，当晚十时，率部由新东门出城向龙洞退走，突围时受到重大的死伤。

11日，日军整队入城，公然在城楼上升起了旭日旗。他们一面派兵搜索济南周围二十里内的华军，一面把守各城门，只许人民出城不许入城。济南商会秉承日方意旨，推下台军阀何宗莲担任济南治安维持会会长，并以张宗昌的宪兵司令田友望为警察局局长，进行调查户口，搜集散枪等工作。电灯厂因中炮弹停止供电，夜间一片漆黑，日军派巡哨队驾驶钢板汽车往来巡查，遇有形迹可疑之人，不问情由，一律开枪打死。一直到14日，警察才恢复上岗，但是只有棍棒而无枪支。城内各机关人去楼空，到处一片断壁颓垣，红十字、红?字会派人分途掩埋尸体，出城避难的人民仍然络绎于途。胶济路客货车均已恢复，坊子，潍县以东仍为鲁军占领区，方永昌在临沂突围而出移驻潍县，祝样本、刘志陆等部仍驻胶东。