哈瓦立及派的出走不仅严重削弱了阿里的实力，穆阿维叶也暂时获得了喘息之机。很快，双方再次开战。这时，阿里又多了一个对手。为了全力进军叙利亚打击穆阿维叶，阿里还不得不首先镇压哈瓦利及派。公元659年，虽然他最终暂时将哈瓦利及派镇压下去，但却激起他们更大的仇恨。为此，哈瓦利及派不惜采取恐怖手段。他们选派了三名杀手，同时去暗杀阿里、穆阿维叶和阿慕尔。
公元661年1月24日，一个伊斯兰教历史上最悲哀的日子。当天清晨，阿里象往常一样，早早起来做功课。当他从库法的宅邸出来前往清真寺做晨礼时，等候在门外的哈瓦利及派刺客阿卜杜拉•拉赫曼•伊本•穆勒介姆突然冲出人群，用带毒的剑刺中阿里的脑部，刺客当场被抓。阿里顿时血流满面，被手下人抢救回去，而阿里却微笑着说：“指真主发誓，我确已获得成功”。
令人称奇的是，据说先知在世时曾对阿里说：阿里啊！将来你头上的鲜血将染红你的胡须。而就在遇害的前一天晚上，阿里在他的女儿家里做客吃开斋饭时，好像有预感似的，只用了点盐和大饼开了斋。开完斋后，他就全神贯注地礼拜。
据说先知在世时曾对阿里说：阿里啊！将来你头上的鲜血将染红你的胡须。
两天后，阿里由于伤势过重，不幸殉难，享年61岁。临终前，他还嘱咐他的儿子和手下们说：“伊本•穆勒介姆已成俘虏，要优待他，让他吃好，住好。如果我还能活，要么我饶恕他，要么按教法对等处罚；如果我去见真主了，按教法处以偿命，不要过分，不要虐待他”，并希望他们不要再与哈瓦利及派人厮杀。
就这样，一位伊斯兰教历史上的英雄去世了，他还没来得及为阿拉伯帝国作出更大的贡献，便因复杂的教派之争成为牺牲者。但无论如何，在后世的穆斯林中，阿里的名字成为英雄的代名词。而他的陵墓，后来则发展成为什叶派的圣地纳杰夫城。
在后世的穆斯林中，阿里的名字成为英雄的代名词。而他的陵墓，后来则发展成为什叶派的圣地纳杰夫城。