尽管先知穆罕默德在世时，阿里的表现是非常突出的，他对伊斯兰教及阿拉伯国家的发展也作出了巨大贡献。但是在先知于公元632年去世后，阿里却没有立即成为先知的继承人——哈里发。
在先知于公元632年去世后，阿里却没有立即成为先知的继承人——哈里发。
当先知穆罕默德去世后，经过一番斗争，最终迁士派首领艾布•伯克尔被推，阿拉伯历史从此进入早期哈里发时期。艾布•伯克尔是穆罕默德的挚友，曾跟随穆罕默德出生入死，后来又把自己喜爱的女儿阿伊莎许配给穆罕默德，成为穆罕默德的岳父。
获知艾布•伯克尔当选的消息后，当时正在办先知丧事的阿里等人，起初都感到忿忿不平。他们认为，阿里才是先知穆罕默德的当然接班人。不过看到当时半岛局势不稳，加上木已成舟，为顾全大局和面对现实，还是承认了艾布•伯克尔的哈里发地位。艾布•伯克尔于634年病逝，享年62岁。
艾布•伯克尔病重期间，为了避免身后发生争执，力荐精明强干的欧麦尔为其继承人。欧麦尔年富力强，富有远见，在广大穆斯林心目中享有很高的威望，他在艾布•伯克尔去世后继任哈里发乃众望所归。644年11月3日，欧麦尔在麦地那清真寺率领穆斯林举行晨礼时，被一个波斯籍拜火教徒用带毒的匕首刺伤。欧麦尔临终前，指定奥斯曼、阿里、赛尔德、阿卜杜•拉赫曼、祖拜尔、泰勒哈为候选继承人，并由他们6个人负责推选其中一人担任哈里发。
欧麦尔逝世后，经过一番激烈争吵，68岁的奥斯曼被推举为第三任哈里发。奥斯曼心地善良，待人宽厚，是较早信奉伊斯兰教的麦加贵族之一，深受穆罕默德的器重。不过，由于奥斯曼年老体衰，任人唯亲，引起一些穆斯林的不满和内哄，于656年6月在家中被艾布•伯克尔的儿子阿卜杜拉杀死。
至此，属于阿里的时代终于到来了。
必须指出，在先知去世后最初几任哈里发的产生过程中，阿里基本上做到了豪放大度而顾全大局。据记载，先知曾说过：“我的遗嘱执行人和继承人是阿里”，逊尼派也公认这一圣训，但他们认为这其中不包括哈里发的位子。早在艾布•伯克尔担任哈里发时，阿里自己也认为他是当之无愧的先知的继承人。但阿里出于对伊斯兰事业的责任感，曾表示 “哈里发位对我来说不值我的这双用椰枣纤维编成的鞋”。为了顾全大局，他拒绝了一些人的拥护，虽然对推举艾布•伯克尔有自己的看法，但不久还是向艾布•伯克尔宣誓效忠了。