Родился 16 апреля 1903 г. в селе Голяевка (ныне село Вишневое Тамалинского района Пензенской области), в крестьянской семье.
Первоначальное образование получил в церковно-приходской школе. В 15 лет Крылов устраивается на работу и продолжает учиться в школе для рабочих. В 1919 г. его как добровольца зачисляют в Красную армию, он рядовым участвует в боях с белогвардейцами на Южном фронте. В конце года молодого красноармейца зачисляют на пехотно-пулеметные курсы, которые он окончил в 1920 г. Был направлен на фронт командиром взвода на Северный Кавказ, затем его часть переводят в Закавказье, и Крылова назначают командиром роты.

В 1921 г. часть переводят в Забайкалье, в состав 2-й Забайкальской стрелковой дивизии. Крылова назначают командиром батальона. Дивизия непрерывно участвует в боях с бандами Семенова и Калмыкова, ведет бои с японскими захватчиками, участвует в освобождении Спасска и Владивостока.

После Гражданской войны Крылов занимает должности командира батальона, помощника начальника штаба полка в соединениях Сибирского военного округа. В 1928 г. его направляют учиться на курсы "Выстрел", по окончании которых его назначают на должность заместителя начальника штаба Особой Дальневосточной Краснознаменной армии. Затем переводят по службе на должность начальника штаба Дунайского укрепленного района.

В 1941 г., перед Великой Отечественной войной, его назначают на должность начальника оперативного отдела Приморской армии в Одессе. С началом боевых действий Крылова назначают начальником штаба Приморской армии. В самый сложный период войны Крылов обеспечивал руководство воинскими частями при обороне городов Одессы, Севастополя, занимался организацией эвакуации частей и соединений армии из Одессы и Севастополя. Приморская армия отходила вместе с Южным и Северо-Кавказским фронтами.

В сентябре 1942 г. Крылов получил назначение на должность начальника штаба 62-й армии, которой командовал Чуйков. Армия обороняла Сталинград. В самые критические дни Сталинградского сражения Крылов руководил работой штаба 62-й армии. После разгрома немецких войск в Сталинграде армия продолжала их преследование до полного уничтожения. Затем армия в апреле 1943 г. была переименована в 8-ю гвардейскую армию. Крылов был начальником штаба этой армии, которая сражалась в составе Южного и Юго-Западного фронтов.

В июле 1943 г. Крылова назначают командующим 21-й армией, которая ведет бои под Ельней и Дорогобужем. В октябре 1943 г. его назначают командующим 5-й армией 3-го Белорусского фронта на Богушевском направлении. Наибольшего успеха армия под командованием генерал-полковника Крылова добивается при вводе в прорыв конно-механизированной группы и 5-й гвардейской танковой армии. При максимальных оперативных возможностях и минимальных потерях армия позволила оперативной группе прорваться далеко вперед. Был освобожден город Борисов. В Восточно-Прусской операции войска армии под руководством Крылова занимались ликвидацией Земландской группировки противника.

Война с Германией вступила в завершающую фазу. В соответствии с решениями Ялтинской конференции 5-я армия перебрасывается на Дальний Восток, там формируется театр военных действий с Японией. Армию включают в 1-й Дальневосточный фронт на главное направление Маньчжурской стратегической операции по разгрому Квантунской японской армии. С началом военных действий в августе 1945 г. армия прорвала мощную укрепленную полосу долговременных оборонительных сооружений и вышла на оперативный простор. Успешное наступление советских войск вынудило Японию капитулировать.

За боевые заслуги в 1945 г. Крылов дважды удостаивался звания Героя Советского Союза. После окончания войны Крылов был назначен на должность заместителя командующего войсками Приморского военного округа. Затем в 1947 г. в связи с реорганизацией войск был создан единый Дальневосточный военный округ. Генерал армии Крылов был назначен на должность заместителя командующего войсками этого округа.

В 1953 г. его переводят на должность командующего войсками Дальневосточного военного округа, которыми он командует до 1956 г., когда его перевели на должность командующего Уральским военным округом. В 1957 г. Крылова назначают командующим Ленинградским военным округом. В 1960 г. Крылов полу чает новое назначение на должность командующего Московским военным округом.

В 1962 г. Крылову присваивают воинское звание маршал Советского Союза. В марте 1963 г. маршал Крылов назначается на должность главнокомандующего Ракетными войсками стратегического назначения, одновременно он является заместителем министра обороны СССР.

С этого времени Крылов ведет большую организаторскую и научную работу по развитию и совершенствованию ракетного оружия страны. С 1961 г. Крылов член ЦК КПСС, неоднократно избирается депутатом Верховного Совета СССР.

Награжден четырьмя орденами Ленина, орденом Октябрьской Революции, четырьмя орденами Красного Знамени, орденом Суворова 1-йстепени, почетным оружием и многими медалями.

Крылов автор работ "Стратегические ракеты", "Ядерный век и война", "Не померкнет никогда", "Навстречу победе", "Огненный бастион", "Люди бессмертного подвига" и других сочинений.

Умер Крылов 9 февраля 1972 г. Похоронен на Красной площади в Москве.