1944年5月初，日軍先頭部隊開始攻擊龍門，洛陽保衛戰正式打響。為了早日攻克河南重鎮洛陽城，岡村寧次不僅派出了第12軍的全部兵力，而且又從華北和華中地區調來師團，這樣參戰的兵力達到了5萬以上。可以說，日軍這次是下了很大本錢的，大有畢其功於一役的勢頭。

日軍重兵來犯，而中國軍隊的情况可謂不容樂觀。當時堅守洛陽的是第15軍軍長武庭麟。身為洛陽守備司令，他手裡可調動的只有三個師，分別是第15軍的64師和65師，這是一支河南地方軍，其出身很不光彩，是由土匪改編而來的。另外還有一個來自四川的第14軍94師，這是一支裝備很差的川軍。

按照國防部的部署，原計畫是按照12個團的兵力來防守洛陽的。但是計畫趕不上變化，日軍進展迅速，根本沒有時間進行詳細調兵。現在大敵當前，三個師的兵力只有7個團，人數加起來也只有1萬8，面對5萬日軍的進攻顯得异常單薄。

人數少得可憐，武器裝備也差得上天入地。中國軍隊的裝備大部分是輕武器，反坦克武器少之又少，反觀日軍，帶著100多門各種火炮，400多輛裝甲戰車就來攻城了，明顯是來打富裕仗的。

按照以前的套路，日軍仗著裝備好，兵員貭素高，常常以少打多，照樣打得中國軍隊節節敗退。現在兵力和裝備都處於優勢，拿下洛陽該不成問題。但開打之後，洛陽守軍的頑強出乎了日軍的意料之外。

守城的第15軍是地方部隊，官兵大多是豫西人。這支軍隊雖然是土匪武裝收編的，但也不願看到自己的家鄉淪喪，囙此保家衛國的熱情很高漲。當年曾參加過洛陽保衛戰的一比特姓羅的老兵羅說，保衛洛陽就是保衛家鄉，保住洛陽才能保護父老鄉親，所以大家都抱著必死的殺敵决心。

5月7日，日軍攻克龍門。洛陽失去天然屏障後，立刻處於險境之中。為了封锁敵人過河，守軍先後炸毀了通往洛陽兩座橋中正橋和林森橋，但效果不大。9日，山西日軍的第一軍第69師團渡過黃河，從西面向洛陽挺進。日軍第12軍主力在洛陽南面和西面繼續前進。隨著週邊各處陣地的遺失，洛陽被圍成了一座孤城。

為了打好守衛戰，軍長武庭麟將陣地劃分為三個防守區。川軍94師守城厢，64師守西工，65師守邙嶺，每個防區根據需要都在加緊進行工事準備。

隨著猛烈的炮火攻擊，日軍開始了進攻。中國守軍與敵人展開激烈的陣地戰。在雙方的攻防戰中，以史家屯的戰鬥最為激烈，僅在17日至19日的兩天中，敵我雙方就史家屯先後爭奪5次。最危險之時，日軍派出五千多人進行攻擊，而中國守軍則以手榴彈還擊，打到最後，手榴彈用盡了，戰士們端著刺刀進行白刃戰也死戰不退。

在洛陽保衛戰中，中國軍隊表現了很高昂的戰鬥士氣。在上清宮陣地，194團2連連長韓昆生活捉了一名日軍佐官，遭到大批日軍圍攻搶人。看到自己無法突圍，他當即刺死佐官，然後全力拼殺，最終壯烈犧牲。副連長看到連長死在了敵人刺刀下，抱起8枚手榴彈，怒吼著沖入了敵群，隨著一聲巨響，他與敵人同歸於盡。

看到各處陣地傷亡慘重，第14集團軍總司令劉茂恩建議國防部讓15軍撤出洛陽城。第15軍是第14集團軍的主力，他可不想主力被全殲。但當天下午，洛陽守軍收到蔣介石的空投命令，讓官兵堅守待援，不可輕易突圍。為了給守軍打氣，蔣介石出動了中美聯合空軍進行空中支援，不過空軍的支援有限，對戰局的影響不大。

正在守軍抱著必死决心打白熱仗的時候，對面的日軍卻罕見地提出了停戰，並要求進行談判。原來日軍指揮官內山英太郎看到戰況太慘烈，守軍太頑強。他不想再損失兵力去攻城，打算“和平”解决洛陽。

日軍空投了勸降書，裡面先是讚揚中國守軍作戰英勇，然後告訴守軍，洛陽已是死城，外面已無援軍，最後表明了態度，洛陽為日軍必得之地，遲早都要打下來的，與其互相傷亡，不如進行友好商談。

對於日軍送上來的“好意”，中國軍隊做出了回應，最後的幾發炮彈向日軍司令部射去，以此表示中國軍隊人在城在的决心。

看到勸降無果，23日，日軍調集30多架飛機和100多門大炮進行空中轟炸，400輛坦克和3萬步兵分兵6路向洛陽城發起總攻。下午，城牆經不住長時間的轟炸，東北角和西北角同時被攻破，守軍在彈藥將盡的情况下進行了激烈的巷戰。

24日，隨著湧入的日軍越來越多，全城進入混戰狀態。守城官兵利用民房努力抗擊敵人，並與其進行逐街逐巷爭奪，敵人每佔領一處高地都要付出巨大的代價。經過一天的激烈戰鬥，中國守軍傷亡3000多人，共斃傷敵人8000多人。

當晚，看到城破已無堅守希望，第15軍軍部命各部自行突圍，到洛陽城外集結待命。附少數人突出重圍外，堅守20天的洛陽淪陷了。

據戰後統計，原本1.8萬的守軍僅有官佐316人和阿兵哥1795人突圍成功，1萬6千人為國捐軀。不過，保衛洛陽的戰果也是很輝煌的，整個保衛戰中，中國守軍共斃傷敵軍2萬餘人，大大超出了敵我的想像，要知道，歷來戰鬥結束，日軍總是以較小的傷亡獲得了最大的戰果，而這次卻在洛陽保衛戰中栽了跟頭。