Родился 7 ноября 1943 в Саратове в рабочей семье, русский.
В 1955, как сын погибшего в Великую Отечественную войну офицера, был принят в Саратовское Суворовское военное училище (СВУ), а после его расформирования переведен в Калининское СВУ, которое окончил в 1962. В 1965 окончил Ленинградское высшее военное общевойсковое командное училище им. С. М. Кирова, в 1972 - с отличием - Академию им. М. В. Фрунзе.
В 1967 - 75 служил в Калининграде (Прибалтийский военный округ).
С 1975 - в Северо-Кавказском военном округе.
С ноября 1980 по август 1982 - командир 5-й гвардейской мотострелковой дивизии, воевавшей в Афганистане. В 1982 получил звание генерал-майора.
Был заместителем командующего армией в Прикарпатском военном округе, с марта 1985 по апрель 1986 был генералом по особым поручениям начальника Генерального Штаба ВС СССР - начальником группы представителей Генерального Штаба в Афганистане. С апреля 1986 по июнь 1987 командовал армией в Белорусском военном округе.
С июня 1987 по февраль 1989
Громов командовал 40-й армией, то есть всем "ограниченным контингентом" советских войск в Афганистане. Одновременно был уполномоченным правительства СССР по делам временного пребывания советских войск в Афганистане.
В 1989 - 90 командовал Киевским военным округом.
В 1989 был избран народным депутатом СССР.
В декабре 1990 был назначен первым заместителем Министра внутренних дел СССР.
В 1991 баллотировался в вице-президенты в паре с Николаем Рыжковым.
После августовских событий был снят с поста 1-го заместителя Министра внутренних дел и возращен в распоряжение Министерства обороны.
С ноября 1991 - первый заместитель Главнокомандующего сухопутными войсками СССР (с 1992 - первый заместитель командующего силами общего назначения Объединенных Вооруженных Сил СНГ). С 24 июня 1992 по март 1995 - заместитель Министра обороны России.
17 декабря 1995 избран депутатом Государственной Думы.
В канун президентских выборов 1996 стал доверенным лицом Б. Н. Ельцина.
В сентябре 1997 вместе со Станиславом Говорухиным был доверенным лицом Иосифа Кобзона на выборах в Госдуму РФ.
С декабря 1997 - председатель Всероссийского общественного движения ветеранов локальных войн и военных конфликтов "Боевое братство".
19 декабря 1999 был избран депутатом Государственной Думы РФ третьего созыва.
9 января 2000 во втором туре выборов избран губернатором Московской области, в связи с чем 28 января 2000 сложил полномочия депутата Государственной Думы третьего созыва.
Полномочия члена Совета Федерации были признаны 16 февраля 2000.
Председатель Союза ветеранов-интернационалистов.
Награжден пятью орденами. Герой Советского Союза.
Владеет английским языком.
Первая жена погибла 3 мая 1985 в Афганистане. Вторая жена - Фаина Александровна
Громова. Имеет пятерых детей. Крестным отцом младшей дочери стал мэр Москвы Юрий Лужков.
