Родился 7 февраля 1934 в деревне Таваканово Кугарчинского района Башкирской АССР. Башкир.
После окончания в 1956 Уфимского нефтяного техникума работал оператором на Уфимском нефтеперерабатывающем заводе имени В. И. Ленина. В 1964 окончил заочное отделение Уфимского нефтяного института по специальности "инженер-технолог".
В 1970 перешел на Уфимский нефтеперерабатывающий завод им. XXII съезда КПСС, где работал начальником установки, заместителем начальника цеха, заместителем начальника производства, заместителем главного инженера, главным химиком.
В 1978 - 86 - главный инженер завода.
В 1986 - 90 - директор завода.
4 марта 1990 избран депутатом Верховного Совета Башкирской АССР. 6 апреля 1990
Рахимов был избран председателем Верховного Совета.
11 октября 1990 подписал принятую Верховным Советом Декларацию о государственном суверенитете Башкирской Советской Социалистической Республики.
12 декабря 1993 избран депутатом Совета Федерации РФ.
12 декабря 1993 избран президентом Башкирии.
В 1994 совершил малый хадж в Мекку в составе правительственной делегации. Организацией хаджа руководил Исламский культурный центр России.
С января 1996 - член Совета Федерации по должности.
14 июня 1998 был вновь избран президентом Башкирии.
20 ноября 1999 во время избирательной кампании в Государственную Думу Государственный совет Республики принял решение прекратить в Башкирии трансляцию программ телеканалов ОРТ и РТР. После переговоров
Рахимова в Москве решение было приостановлено.
Награжден орденами Трудового Красного Знамени, Дружбы Народов, "Знак Почета", "За заслуги перед Отечеством" II степени (1999).
Автор более 50 изобретений в области нефтепереработки.
Заслуженный рационализатор РСФСР, заслуженный нефтяник Башкирской АССР. Лауреат национальной общественной премии им. Петра Великого (1999).
Любит народную музыку.
Женат. Жена работает ведущим специалистом в Министерстве внешнеэкономических сношений Башкирии. Сын Урал.