Родился в селе Новая Гольчиха Никитинской волости Кинешемского уезда Костромской губернии в 1895 году в семье священника Михаила Александровича Василевского.

Окончил церковно-приходскую школу, духовное училище. После окончания духовного училища Василевского призвали в армию, направили в Алексеевское юнкерское училище города Москвы. В мае 1915 года ему присвоили воинское звание прапорщик. Молодого прапорщика направили в г. Ростов Ярославской губернии в запасной батальон, в котором находилось более 100 офицеров, окончивших училище и готовых для отправки на фронт.
Василевского назначили командиром маршевой роты, которая через 10 дней была отправлена на Юго-Западный фронт в 9-ю армию генерала П.А. Лечицкого. Василевского назначили полуротным в 103-ю пехотную дивизию под Каменец-Подольск. В Новохоперском 409-м полку этой дивизии он получил боевое крещение. Весной 1916 года, в период подготовки Брусиловской операции, Василевского назначили командиром роты, присвоили ему воинское звание поручик. После Февральской революции Василевскому присвоили воинское звание штабс-капитан, назначили командиром батальона в Одессе. После Октябрьской революции Василевский был уволен из армии в связи с ее сокращением и в декабре 1917 года вернулся домой.

В апреле 1919 года Василевского призывают в Красную армию на должность помощника командира взвода. Летом 1919 года, когда белогвардейцы стремились к Москве, Василевский уже был командиром батальона Тульского полка. В начале октября 1919 года Василевский получает назначение на должность командира 5-го полка 2-й Тульской дивизии. В ноябре 1919 года 2-я Тульская дивизия была отправлена на Западный фронт. Дивизию переименовали в 48-ю стрелковую, а полк стал 427-м. Василевского назначили помощником командира этого полка. Дивизия вошла в состав 15-й армии Западного фронта. В июле 1920 года Василевский назначается командиром 427-го полка 48-й стрелковой дивизии, но по прибытии в дивизию его назначили помощником командира 429-го полка, поскольку должность комполка была уже занята. Затем его сместили с этой должности и назначили командиром взвода. В этой должности Василевский был награжден орденом Красного Знамени, его назначили командиром батальона. В октябре 1920 года война с Польшей закончилась. 48-ю дивизию передислоцировали в Смоленскую губернию. Василевского назначили на должность помощника командира 424-го полка 48-й дивизии. В 1921 году 48-ю дивизию передислоцировали в Тверь. Василевского назначили начальником штаба 142-й бригады.

В 1926 году Василевский был направлен для обучения на курсы "Выстрел". В 1927 году, по окончании курсов, Василевский вернулся в свой полк на должность командира полка. Весной 1931 года Василевского зачислили в Управление боевой подготовки РККА инспектором. На этой должности он работает до 1934 года. Одновременно Василевский занимался редактированием "Бюллетеня боевой подготовки". В 1934 году Василевского назначают на должность начальника боевой подготовки Приволжского военного округа. В 1936 году ему присваивается воинское звание полковник. Осенью 1936 года Василевского зачислили слушателем в академию Генерального штаба. После окончания академии Василевского назначили начальником кафедры оперативного искусства академии Генштаба. Через месяц его с этой должности отозвали и в октябре 1937 года назначили начальником отделения оперативной подготовки Генерального штаба РККА. На этой должности Василевский оставался до 1939 года, после чего его назначили заместителем начальника оперативного отдела. Ему было присвоено звание генерал-майор.

Началась Великая Отечественная война. На всем протяжении границы завязались ожесточенные бои. На второй день войны была создана Ставка главного командования с образованием при ней института постоянных советников. Было организовано Советское Информационное бюро, руководство которым было возложено на генералов Василевского и Голикова. Ставку 30 июля 1941 года переименовали в Ставку Верховного главнокомандования. Василевский назначается начальником Оперативного управления и заместителем начальника Генштаба, в должность начальника Генштаба вступил Маршал Советского Союза Б. М. Шапошников.

В октябре 1941 года в Москве была организована оперативно-стратегическая группа во главе с Василевским, который стал первым заместителем начальника Генерального штаба. Группа непосредственно работала в Ставке. Василевскому присвоили воинское звание генерал-лейтенант.

В июне 1942 года, в связи с ухудшением состояния здоровья, Маршал Советского Союза Шапошников подал в отставку. Ставка назначила Василевского начальником Генерального штаба, присвоила ему воинское звание генерал-полковник, одновременно он назначался заместителем народного комиссара обороны страны.

В ходе сталинградской стратегической операции Василевский занимался координацией действий Юго-Западного, Донского и Сталинградского фронтов. В результате под Сталинградом были окружены 6-я и часть 4-й танковых немецких армий. Василевскому присвоили звание генерала армии. После разгрома окруженной группировки врага в Сталинграде 16 февраля 1943 года наши войска развернули наступательные действия по планам операции между Доном и Волгой. В феврале и марте 1943 года немецкая группа армий "Юг" во главе с фельдмаршалом Манштейном перешла в наступление в районе Донбасса и Харькова, но была разгромлена. 16 февраля 1943 года Василевскому за координацию действий войск по разгрому группы армий "Юг" было присвоено воинское звание Маршал Советского Союза. В Курском сражении Василевский координировал действия войск Воронежского и Степного фронтов.

Позднее, Василевский принимает самое деятельное участие в Курском сражении, в результате которого Советские Вооруженные силы нанесли сокрушительное поражение фашистской Германии, привели агрессора к смертельному кризису. В дальнейшем военные действия велись согласно разработанному Генштабом под руководством Василевского стратегическому плану на летне-осеннюю кампанию 1943 года. После Курского сражения Василевский координирует действия войск Юго-Западного, Степного и Воронежского фронтов, перед которыми стояла задача выйти к Днепру и форсировать эту водную преграду.

Фронты с поставленной задачей справились, успешно завершили кампанию 1943 года по освобождению Левобережной Украины. В течение зимы Ставкой ставилась задача развернуть наступательные операции от Ленинграда до Черного моря, освободить Правобережную Украину, Крым и весной выйти на государственную границу СССР. После утверждения Ставкой директивы на наступательные операции, Василевский координировал действия 3-го Украинского и 4-го Украинского фронтов по освобождению Черноморского побережья. После разгрома крымской группировки противника, Василевский занимается с Генштабом разработкой Белорусской стратегической операции. Еще при планировании операций на зимний период 1944 года прорабатывалась и задача войскам на летний период 1944 года. Велись расчеты сил и средств для операций: состав войск, запасы боевой техники, вооружения, боеприпасов, снаряжения, продовольствия и других материальных ресурсов.

В апреле 1944 года началась разработка оперативного плана Белорусской стратегической операции. 20 мая 1944 года план был уже утвержден Ставкой, операция получила кодовое наименование "Багратион". К операции привлекались 3-й Белорусский, 1 -и и 2-й прибалтийские фронты. Василевский совместно с Жуковым координировали действия войск этих фронтов.

В наступившем 1945 году Василевский занимается разработкой Восточнопрусской наступательной операции нескольких фронтов. При овыполнении боевых задач в ходе Восточнопрусской операции, 18 февраля 1945 года, был смертельно ранен командующий 3-м Белорусским фронтом Черняховский. Василевский был освобожден от должности начальника Генштаба и назначен командующим 3-м Белорусским фронтом. Одновременно Василевский был включен в состав Ставки Верховного главнокомандования. Фронт вел ожесточенные бои по разгрому группировок противника, оборонявшего всю Восточную Пруссию. После ударных боев 9 апреля 1945 года был взят штурмом город-крепость Кенингсберг.

По окончании Восточнопрусской операции Василевского отозвали с фронта в Москву. Позднее он был назначен главнокомандующим войсками Дальнего Востока.

В конце 1945 года штаб главнокомандующего войсками Вооруженных сил СССР на Дальнем Востоке был расформирован. Василевский в январе 1946 года был назначен начальником Генерального штаба Вооруженных сил СССР, вернулся в Москву. С 1949 года Маршал Советского Союза Василевский стал министром обороны СССР, а с 1950 по 1953 год - военным министром СССР. В связи с реорганизацией армии, с 1953 по 1957 год Василевский занимает должность первого заместителя министра обороны СССР.

Однако ухудшившееся здоровье маршала требовало продолжительного лечения. В 1959 году Василевский подал в отставку и продолжал работать в армии в группе Генеральных инспекторов. С 1952 по 1961 год Василевский член ЦК КПСС, неоднократно избирался депутатом Верховного Совета СССР.
За заслуги перед Родиной маршал дважды награжден звездой Героя Советского Союза (27 июля 1944 г. и 8 сентября 1945 г.), 7-ю орденами Ленина, двумя орденами "Победы", орденом Октябрьской Революции, двумя орденами Красного Знамени, орденом Суворова 1-й степени, орденом Красной Звезды, 14-ю орденами иностранных государств, многими медалями.

Скончался Василевский в 1977 году.