1882’de istanbul’da doğdu.1905’te Harp Okulu’nu bitirdi. Balkan savaşları sırasında Edirne Cephesi’nde; 1. Dünya savaşı sırasında da Kafkas, Çanakkale , Irak cephelerinde görev aldı. Bu cephelerde elde ettiği başarılar üzerine generalliğe yükseldi.
1. Dünya Savaşı’nın sonlarında İran içlerine kadar ilerleyen Osmanlı ordularında görev aldı. Mondros Ateşkes Anlaşması sonrasında XV. Kolordu komutanı olarak Erzurum’a atanan Kazım Karabekir, Kurtuluş Savaşı’nı başlatmasında Mustafa Kemal’e büyük destek verdi.
TBMM’nin emrine giren XV. Kolordu, Ermenilerin yenilgiye uğratılıp Doğu Cephesi’nin kapanmasını sağladı.Kurtuluş Savaşı sonrasında Rauf bey,A. Fuat paşa ve Adnan (Adıvar) beylerle birlikte Mustafa Kemal’in kurduğu Halk Fırkası’na karşı, Terakkiperver Cumhuriyet Fırkası’nı kurdu.1926 yılında İzmir Suikastı davasında yargılandı ve beraat etti.
Ama Mustafa Kemal’in ölümüne kadar siyasi polis tarafından takip edildi.İnönü’nün çıkardığı afla siyasete yeniden döndü.1930’larda yazdığı İstiklal Harbimiz adlı kitabına matbaada el kondu ve imha edildi. 1948’de meclis başkanı görevini sürdürürken öldü. Bunun yanında İttihat ve Terakki Anıları, 1. Dünya Savaşı anıları diğer önemli eserlerindendir.