什葉派支持穆罕默德的堂弟、女婿阿里•本•阿比•塔利卜(Ali ibn Abi Taleb),後者最初被排除在繼承人入圍名單外。阿里最終成為第4任哈里發,在麥地那經歷了5年的動蕩統治歲月,直至661年被殺。統治期間,阿里遭到了倭瑪亞王朝(Umayyad)創建者穆阿維葉(Muawiya ibn Abi Sufyan)的挑戰,後者接替阿里成為哈里發。
從歷史上看,確實有過什葉派在遜尼派統治下遭受迫害的時期,但是兩者也有過很多和平共處的時期。在16世紀,薩法維才在波斯宣告成立首個什葉派國家。發展迅速的薩法維帝國成為遜尼派的奧斯曼帝國的競爭對手和威脅。1514年,奧斯曼的蘇丹塞利姆一世(Selim I,蘇萊曼大帝(Suleiman I the Magnificent)的父親)宣告對被其視為異教徒的薩法維發動聖戰。兩大帝國圍繞南高加索和美索不達米亞地區的控制權幾乎不間斷地打了一個世紀的仗。在接下來的數代王朝中,奧斯曼和波斯之間周期性地爆發衝突,直到19世紀。時至今日,強硬的沙特人仍然使用「薩法維」一詞來侮辱伊朗領導人,想必是指責他們想讓所有遜尼派變成什葉派。這些沙特人認為,薩法維使波斯人脫離了遜尼派伊斯蘭教的正道。