Родился 15 декабря 1950 во Владивостоке. Отец - военный летчик, участник Великой Отечественной войны. Мать работала учительницей. В 1954 семья
Грызловых переехала в Ленинград.
В 1973 окончил Ленинградский электротехнический институт связи (ЛЭИС) им. В. А. Бонч-Бруевича по специальности "радиоинженер".
Работал инженером в НПО им. Коминтерна (ВНИИ мощного радиостроения).
С 1977 работал в центре электроники ЛПО "Электронприбор".
В 1997 стал одним из учредителей ООО "Электронприбор".
Учредитель целого ряда как коммерческих, так и формально-некоммерческих организаций.
Был соучредителем предприятия "ПетроЗИЛ".
С 1996 - директор Учебно-методического центра новых технологий обучения Балтийского государственного технического университета им. Д. Ф. Устинова.
В декабре 1998 неудачно баллотировался в Законодательное собрание Санкт-Петербурга.
С 1998 по 1999 - президент Межрегионального фонда делового сотрудничества "Развитие регионов".
В 1999 возглавил Санкт-Петербургское отделение Межрегионального движения "Единство" ("Медведь").
19 декабря 1999 был избран депутатом Государственной Думы РФ третьего созыва.
С 12 января 2000 - председатель фракции "Единство".
26 мая 2000 был назначен представителем по связям с "Большой семеркой".
Воинское звание - майор (2000).
28 марта 2001 назначен министром внутренних дел РФ вместо В. Б. Рушайло.
Увлекается спортом.
Любит историю.
Жена, Ада Викторовна, - проректор института ускоренного обучения руководящих работников Санкт-Петербурга. Сын Дмитрий (1979), дочь Евгения (1980).