在先知去世后最初几任哈里发的产生过程中，阿里基本上做到了豪放大度而顾全大局。
艾布•伯克尔临终前指定欧麦尔为他的继任人，阿里也有想法，他认为指定继承人不符合伊斯兰关于协商的原则。但是为了伊斯兰国家的稳定，为顾全大局，他毫不迟疑地向欧麦尔宣誓效忠。欧麦尔被刺后，指定阿里等六名候选人协商，从他们中推选出一位哈里发。在协商的过程中，争论十分激烈，声音很高，每个候选人都为自己辩护，为自己竞争。阿里当时曾慷慨地争论说：“当初人们推举了艾布•伯克尔，以真主起誓，我是最有资格，最有权利当选，但是我听从了，我担心穆斯林内部发生冲突，成为叛教徒。后来又指定了欧麦尔，指真主发誓，我认为当时我最有资格，最有权当选，但是我又听从了，怕人们以刀兵相见，变成叛教徒。现在你们又要推举奥斯曼，这次我不听从。欧麦尔把我列入六人委员会，他没有认识到我的条件优越于其他人，而你们也没有认识到这一点。你们认为大家有同等的权利”，然后他列举了三十多条优越于别人的条件，一口气连续质问了三十多个问题，协商委员会的其他成员们都无言以对。
由于各种复杂的原因，奥斯曼最终当选第三任哈里发。阿里虽然感到难过，但为顾全大局，避免内乱，仍向奥斯曼宣誓效忠。
奥斯曼执政后期，由于他任人唯亲，委任伍麦叶家族的人和自己的亲属担任军政要职，赐予他们大量的封地和国库的钱财，激起民众不满，最终引起了民众暴动。公元656年，暴动者在麦地那包围了奥斯曼的住宅。当时，阿里竭尽全力维护哈里发，强调伤害哈里发意味着削弱伊斯兰国家，还曾派自己的两个儿子哈桑和候赛因前去保卫奥斯曼。但是，由于绝大多数暴动者扬言推翻奥斯曼后将拥戴阿里继任哈里发，也使阿里日后陷入了一场政治旋涡。
由于绝大多数暴动者扬言推翻奥斯曼后将拥戴阿里继任哈里发，也使阿里日后陷入了一场政治旋涡。
公元656年，年迈的奥斯曼最终被暴动者杀死。由于各方的压力，阿里在万不得已的情况下出来维护局势。同年6月4日，阿里就任第四位哈里发，开始了不到五年的执政。
就在阿里就任哈里发后不久，一向与他敌对的伍麦叶家族便在叙利亚总督穆阿维叶的率领下，以为奥斯曼复仇的名义起来反抗。由于担心穆斯林队伍分裂并爆发内战，阿里曾极力与反对者进行和谈，试图达成谅解，但未获成功。双方最终不得不兵戎相见，而这又直接导致了阿里的悲剧下场。